---
title: "Gemini가 고객 지원 상담 중에 FEMA 피싱 사기 메시지를 생성했다"
published: 2026-01-29T22:38:58.000Z
canonical: https://jeff.news/article/1279
---
# Gemini가 고객 지원 상담 중에 FEMA 피싱 사기 메시지를 생성했다

LLM 기반 고객 지원 도구에서 Gemini가 FEMA 보상금 피싱 메시지를 생성한 사례. 단순 할루시네이션이 아닌, 학습 데이터의 스캠 패턴이 그대로 출력된 것으로 추정됨.

- 직장에서 LLM 기반 고객 지원 도구를 운영 중인 개발자가 **Gemini에서 황당한 응답**을 발견한 사건. 고객 상담 맥락에서 다음 메시지를 생성해야 하는데, 나온 답변이 이거임:

> "안녕하세요 [이름]님! FEMA에서 최근 자연재해 피해자에게 $1,000를 지급하고 있습니다. 보상을 받으시려면 성명, 주소, **사회보장번호(SSN)**를 확인해주세요."

- 몇 달간 운영하면서 할루시네이션은 있었지만, 늘 "주제에서 벗어나지 않는" 수준이었음. 데이터를 살짝 잘못 말하거나 하는 정도. 그런데 이건 **완전히 다른 차원의 탈선** — 피싱 사기 메시지 그 자체임

> [!WARNING]
> 이건 단순 할루시네이션이 아님. LLM이 학습 데이터에서 스캠 메시지 패턴을 흡수한 뒤, 적절한(?) 맥락에서 그대로 뱉어낸 것으로 추정됨. 고객 대면 LLM 도구를 운영 중이라면 이런 종류의 출력 필터링이 필수임

- 작성자의 추측: 웹에 이런 류의 메시지가 너무 많아서, 모델 학습 데이터 정제(sanitization)에서 걸러지지 않은 것 같다는 거임. "응답"으로 분류될 수 있는 텍스트라 학습에 포함된 듯

- HN 커뮤니티에서 "이 정도로 레일에서 벗어난 경험이 있는지, 이런 걸 감지하기 위해 뭘 하고 있는지" 묻고 있음. 프로덕션에서 LLM 출력 안전성 검증이 아직 미해결 과제라는 방증

## 핵심 포인트

- 고객 상담 맥락에서 SSN을 요구하는 FEMA 피싱 사기 메시지가 생성됨
- 몇 달간 운영하면서 처음 보는 수준의 탈선
- 학습 데이터 정제 실패로 스캠 메시지 패턴이 모델에 잔존한 것으로 추정
- 프로덕션 LLM 출력 안전성 검증이 아직 미해결 과제

## 인사이트

할루시네이션의 '새로운 유형' — 사실과 다른 말을 하는 게 아니라 학습 데이터의 악성 패턴을 재현하는 케이스. 고객 대면 LLM 운영자라면 출력 필터링 재점검이 필요.