AI 업계가 챌린저호 폭발 때와 같은 실수를 반복하고 있다

"일탈의 정상화"가 AI에서도 벌어지고 있음

• 사회학자 Diane Vaughan이 챌린저호 사고를 분석하며 만든 개념이 "Normalization of Deviance(일탈의 정상화)"임
• 챌린저호 때 O-링 문제가 반복적으로 발견됐지만, 이전 발사가 성공했다는 이유로 계속 무시됨. 사고가 안 났다는 것을 안전하다는 증거로 착각한 것
• AI 업계에서도 똑같은 패턴이 관찰됨 — LLM의 비결정적이고 확률적인 출력을 마치 신뢰할 수 있는 것처럼 취급하고 있음

LLM은 기본적으로 신뢰할 수 없는 액터임

• LLM 출력은 비결정적이고, 확률적이며, 적대적 입력에 취약함. 보안 제어(접근 검사, 인코딩, 새니타이징 등)는 반드시 LLM 출력의 하류(downstream)에 적용해야 함
• 간접 프롬프트 인젝션 익스플로잇이 계속 나오고 있다는 건, 시스템 설계자들이 이 문제를 모르거나 그냥 수용하고 있다는 뜻
• "지난번에 잘 됐으니까"라는 이유로 점점 사람의 감독을 생략하게 됨 — 이게 정확히 일탈의 정상화 패턴임

이미 실제 사고가 발생하고 있음

• 에이전트가 하드디스크를 포맷하거나, 랜덤한 GitHub 이슈를 생성하거나, 프로덕션 데이터베이스를 날려버린 실제 사례가 있음
• Anthropic 연구에 따르면 소량의 문서만으로 모델에 백도어를 심을 수 있음
• 시나리오 예시: 공격자가 특정 날짜에 트리거되는 백도어를 모델에 학습시켜, 코드 실행을 통해 사용자를 공격하는 것이 가능함
• LLM 생태계가 중앙집중화되어 있고, 자연어는 모든 LLM이 이해하므로 공격이 여러 시스템과 벤더에 걸쳐 전이될 수 있음

조직 내 문화적 표류

• "임시" 단축 경로가 조용히 새로운 기준선이 되는 과정임
• 자동화 경쟁 압박, 비용 절감, 선점 경쟁, 전반적인 하이프 속에서 속도와 승리의 인센티브가 보안의 인센티브를 압도함
• 시간이 지나면서 가드레일이 왜 존재했는지조차 잊어버리게 됨

주요 벤더들이 스스로 위험을 문서화하면서도 출시는 계속함

• Microsoft: 프롬프트 인젝션이 "데이터 유출이나 멀웨어 설치 같은 의도하지 않은 동작"으로 이어질 수 있다고 경고
• OpenAI Atlas: "규제, 기밀, 프로덕션 데이터가 관련된 맥락에서는 주의를 권장"한다고 명시. 고위험/민감 데이터에 Atlas를 신뢰하지 말라는 뜻
• Anthropic Claude: 브라우징 기능을 통해 데이터 유출이 가능하다고 인정. 모니터링하면서 예상 밖 데이터 접근이 보이면 중지하라고 권고
• Google Antigravity: 간접 프롬프트 인젝션을 통한 원격 코드 실행(RCE)이 출시 시점부터 알려진 이슈
• Windsurf Cascade: MCP 도구 호출에 human-in-the-loop 기능이 없음

결론: "Trust No AI"

• AI가 끝났다는 얘기가 아님. 저위험 워크플로우는 이미 충분히 구현 가능함
• 고위험 워크플로우도 적절한 위협 모델링, 샌드박싱, 최소 권한 원칙, 임시 자격 증명 등을 적용하면 가능함
• 다만 이를 위해서는 투자와 리소스가 필요함
• 핵심: "모델이 알아서 올바른 일을 하겠지"라는 기대는 위험함. Assume Breach 원칙을 AI에도 적용해야 함
• 고위험 맥락에서는 AI가 사람 주도(human-led)로 남아야 최선의 결과를 얻을 수 있음