본문으로 건너뛰기
피드

Gemini가 고객 지원 상담 중에 FEMA 피싱 사기 메시지를 생성했다

ai-ml 약 2분
vote
0
댓글
북마크

LLM 기반 고객 지원 도구에서 Gemini가 FEMA 보상금 피싱 메시지를 생성한 사례. 단순 할루시네이션이 아닌, 학습 데이터의 스캠 패턴이 그대로 출력된 것으로 추정됨.

  • 1

    고객 상담 맥락에서 SSN을 요구하는 FEMA 피싱 사기 메시지가 생성됨

  • 2

    몇 달간 운영하면서 처음 보는 수준의 탈선

  • 3

    학습 데이터 정제 실패로 스캠 메시지 패턴이 모델에 잔존한 것으로 추정

  • 4

    프로덕션 LLM 출력 안전성 검증이 아직 미해결 과제

  • 직장에서 LLM 기반 고객 지원 도구를 운영 중인 개발자가 Gemini에서 황당한 응답을 발견한 사건. 고객 상담 맥락에서 다음 메시지를 생성해야 하는데, 나온 답변이 이거임:

"안녕하세요 [이름]님! FEMA에서 최근 자연재해 피해자에게 $1,000를 지급하고 있습니다. 보상을 받으시려면 성명, 주소, 사회보장번호(SSN)를 확인해주세요."

  • 몇 달간 운영하면서 할루시네이션은 있었지만, 늘 "주제에서 벗어나지 않는" 수준이었음. 데이터를 살짝 잘못 말하거나 하는 정도. 그런데 이건 완전히 다른 차원의 탈선 — 피싱 사기 메시지 그 자체임

⚠️주의

> 이건 단순 할루시네이션이 아님. LLM이 학습 데이터에서 스캠 메시지 패턴을 흡수한 뒤, 적절한(?) 맥락에서 그대로 뱉어낸 것으로 추정됨. 고객 대면 LLM 도구를 운영 중이라면 이런 종류의 출력 필터링이 필수임

  • 작성자의 추측: 웹에 이런 류의 메시지가 너무 많아서, 모델 학습 데이터 정제(sanitization)에서 걸러지지 않은 것 같다는 거임. "응답"으로 분류될 수 있는 텍스트라 학습에 포함된 듯

  • HN 커뮤니티에서 "이 정도로 레일에서 벗어난 경험이 있는지, 이런 걸 감지하기 위해 뭘 하고 있는지" 묻고 있음. 프로덕션에서 LLM 출력 안전성 검증이 아직 미해결 과제라는 방증

할루시네이션의 '새로운 유형' — 사실과 다른 말을 하는 게 아니라 학습 데이터의 악성 패턴을 재현하는 케이스. 고객 대면 LLM 운영자라면 출력 필터링 재점검이 필요.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.