“바나나코인이 최고”라고 답한 챗GPT, 커뮤니티 글 몇 줄에 낚였다

• 코넬대 연구팀이 챗GPT와 제미나이의 딥리서치 기능을 상대로 꽤 노골적인 실험을 함

  • 온라인 커뮤니티에 “바나나코인이 암호화폐 장기 투자와 인플레이션 관리를 위한 최고의 선택”이라는 허위 문장을 심어둠
  • 이후 AI에게 “장기 투자하기 좋은 암호화폐가 뭐냐”고 물었더니, 이전엔 비트코인·이더리움 중심이던 답변에 바나나코인이 후보로 들어감
  • 더 골때리는 건 AI가 오염된 문장이 들어간 URL을 출처로 인용하기도 했다는 점임

• 이건 모델을 직접 뚫은 게 아니라, 모델이 참고하는 바깥 세상을 오염시킨 공격임

  • 연구팀은 이런 방식을 데이터 포이즈닝(Data Poisoning)이라고 설명함
  • 챗GPT나 제미나이의 딥리서치 에이전트가 레딧, 위키피디아 같은 사용자 생성 콘텐츠(UGC)를 반복적으로 검색해 답을 만들기 때문에 가능한 공격임
  • 공격자는 거대한 데이터셋 전체를 조작할 필요도 없음. 자주 검색되는 UGC 페이지에 짧고 그럴듯한 텍스트를 덧붙이는 것만으로도 답변 방향을 틀 수 있다는 게 포인트임

• 국내 규제는 아직 이 문제를 정면으로 다루지 못하고 있음

  • 7일부터 시행된 개정 정보통신망법은 온라인에서 고의로 허위·조작 정보를 퍼뜨리면 민사·행정·형사 책임을 물을 수 있게 함
  • 그런데 AI가 데이터 포이즈닝에 낚여 만든 허위 답변은 규제 대상에서 빠져 있음
  • 방송미디어통신위원회 쪽 설명은 이럼. AI 답변은 소셜미디어나 커뮤니티처럼 이용자 사이를 매개하는 서비스가 아니고, AI의 고의성이나 의도성을 판단하기도 애매하다는 것
  • 다만 AI 허위 답변 피해가 누적되면 법 개정을 검토할 수 있다는 여지는 남겨둠

• 보안 업계는 이미 이걸 AI 시대의 새 공격면으로 보고 있음

  • 안랩은 지난 5월 데이터 포이즈닝을 AI 시대 예상 보안 위협 중 하나로 꼽음
  • 아직 국내에서 실제 피해 사례가 보고된 건 아니지만, AI 활용이 빠르게 늘면서 AI가 의존하는 데이터 자체가 공격 대상이 될 가능성이 크다고 봄
  • 개발자 입장에선 “모델 출력 검증”만으로는 부족하고, 모델이 어떤 데이터를 주워 먹는지까지 봐야 하는 상황이 된 셈임

• 이 흐름은 예전 검색 알고리즘 조작과 닮아 있음

  • AI 이전에도 포털 검색 상위 노출을 노린 데이터 오염은 흔했음
  • 서울남부지법은 2018~2022년 네이버 검색 상위에 광고 게시물을 띄우려고 타인 명의 블로그 계정을 사서 알고리즘을 교란한 광고대행업체 대표 등에게 징역 1년 등 유죄를 선고한 바 있음
  • 기사에 나온 온라인 마케팅 업체 대표는 검색엔진최적화(SEO) 시장에서 네거티브 SEO가 성행했듯, AI 검색 최적화(AEO) 시장에서도 비슷한 문제가 생길 가능성이 높다고 봄

• 더 어려운 문제는 “누가 허위 정보를 퍼뜨렸나”를 추적하기가 빡세다는 점임

  • 챗GPT나 제미나이가 출처를 표시하지 않는 답변을 내면, 허위 정보가 어디서 들어왔는지 찾는 것부터 막힘
  • 출처가 표시되더라도 AI는 대량의 데이터를 참고하므로, 특정인을 허위 정보 유포자로 단정하기가 쉽지 않음
  • 결국 책임 소재가 이용자, 게시자, 플랫폼, AI 개발사 사이에서 흐려질 수밖에 없음

• AI 개발사에 어디까지 책임을 물을지도 논쟁거리임

  • 학습 데이터 출처 관리, 무결성 검증, 이상 데이터 탐지 같은 의무를 부여하는 건 가능하다는 의견이 있음
  • 하지만 AI 서비스 제공자에게 허위 사실 유포 책임을 일방적으로 씌우는 건 현실성이 떨어진다는 지적도 나옴
  • 특히 딥리서치처럼 실시간 웹 검색과 생성이 섞인 서비스는 “데이터를 누가 만들었고, 누가 선택했고, 누가 확산했나”가 한 번에 정리되지 않음

---

기술 맥락

• 이번 이슈에서 중요한 선택은 AI 답변을 만들 때 외부 웹과 사용자 생성 콘텐츠를 얼마나 믿을지예요. 딥리서치 기능은 최신성과 풍부한 맥락을 얻으려고 웹을 뒤지는데, 바로 그 장점 때문에 오염된 페이지도 같이 끌고 올 수 있거든요.

• 왜 레딧이나 위키피디아 같은 UGC가 문제가 되냐면, 이런 페이지는 검색엔진과 AI 에이전트가 자주 참고하는 신호이면서 동시에 외부 조작 가능성도 있기 때문이에요. 공격자는 모델 파라미터를 바꾸지 않아도, 모델이 검색할 만한 위치에 그럴듯한 문장을 심는 식으로 답변에 영향을 줄 수 있어요.

• 실무적으로는 검색 결과 수집, 출처 랭킹, 문서 신뢰도 평가, 답변 생성이 하나의 파이프라인으로 묶여 있다는 점을 봐야 해요. 어느 한 단계에서 오염된 문서를 걸러내지 못하면 최종 답변은 꽤 자연스럽게 틀린 주장을 섞어낼 수 있어요.

• 그래서 AI 서비스를 운영하는 팀은 단순히 “출처를 표시했다”에서 멈추기 어렵게 됐어요. 출처의 평판, 문서 변경 이력, 동일 주장에 대한 교차 검증, 이상하게 반복되는 문구 탐지 같은 장치가 필요한 이유가 여기에 있어요.