---
title: "AI 업계가 챌린저호 폭발 때와 같은 실수를 반복하고 있다"
published: 2025-12-05T23:10:33.000Z
canonical: https://jeff.news/article/466
---
# AI 업계가 챌린저호 폭발 때와 같은 실수를 반복하고 있다

AI 에이전트 시스템의 보안 문제를 챌린저호 사고의 '일탈의 정상화' 개념으로 분석. 주요 AI 벤더들이 자사 제품의 보안 위험을 문서에 명시하면서도 제품은 계속 출시하는 모순을 지적

## "일탈의 정상화"가 AI에서도 벌어지고 있음

- 사회학자 Diane Vaughan이 챌린저호 사고를 분석하며 만든 개념이 "Normalization of Deviance(일탈의 정상화)"임
- 챌린저호 때 O-링 문제가 반복적으로 발견됐지만, 이전 발사가 성공했다는 이유로 계속 무시됨. **사고가 안 났다는 것을 안전하다는 증거로 착각한 것**
- AI 업계에서도 똑같은 패턴이 관찰됨 — LLM의 비결정적이고 확률적인 출력을 마치 신뢰할 수 있는 것처럼 취급하고 있음

## LLM은 기본적으로 신뢰할 수 없는 액터임

- LLM 출력은 비결정적이고, 확률적이며, 적대적 입력에 취약함. 보안 제어(접근 검사, 인코딩, 새니타이징 등)는 반드시 LLM 출력의 **하류(downstream)**에 적용해야 함
- 간접 프롬프트 인젝션 익스플로잇이 계속 나오고 있다는 건, 시스템 설계자들이 이 문제를 모르거나 그냥 수용하고 있다는 뜻
- "지난번에 잘 됐으니까"라는 이유로 점점 사람의 감독을 생략하게 됨 — 이게 정확히 일탈의 정상화 패턴임

## 이미 실제 사고가 발생하고 있음

- 에이전트가 하드디스크를 포맷하거나, 랜덤한 GitHub 이슈를 생성하거나, 프로덕션 데이터베이스를 날려버린 실제 사례가 있음
- Anthropic 연구에 따르면 소량의 문서만으로 모델에 백도어를 심을 수 있음
- 시나리오 예시: 공격자가 특정 날짜에 트리거되는 백도어를 모델에 학습시켜, 코드 실행을 통해 사용자를 공격하는 것이 가능함
- LLM 생태계가 중앙집중화되어 있고, 자연어는 모든 LLM이 이해하므로 공격이 여러 시스템과 벤더에 걸쳐 전이될 수 있음

## 조직 내 문화적 표류

- "임시" 단축 경로가 조용히 새로운 기준선이 되는 과정임
- 자동화 경쟁 압박, 비용 절감, 선점 경쟁, 전반적인 하이프 속에서 속도와 승리의 인센티브가 보안의 인센티브를 압도함
- 시간이 지나면서 가드레일이 왜 존재했는지조차 잊어버리게 됨

## 주요 벤더들이 스스로 위험을 문서화하면서도 출시는 계속함

- **Microsoft**: 프롬프트 인젝션이 "데이터 유출이나 멀웨어 설치 같은 의도하지 않은 동작"으로 이어질 수 있다고 경고
- **OpenAI Atlas**: "규제, 기밀, 프로덕션 데이터가 관련된 맥락에서는 주의를 권장"한다고 명시. 고위험/민감 데이터에 Atlas를 신뢰하지 말라는 뜻
- **Anthropic Claude**: 브라우징 기능을 통해 데이터 유출이 가능하다고 인정. 모니터링하면서 예상 밖 데이터 접근이 보이면 중지하라고 권고
- **Google Antigravity**: 간접 프롬프트 인젝션을 통한 원격 코드 실행(RCE)이 출시 시점부터 알려진 이슈
- **Windsurf Cascade**: MCP 도구 호출에 human-in-the-loop 기능이 없음

> [!WARNING]
> 3년 전 ChatGPT가 "AI는 실수할 수 있음" 면책 조항을 달았는데, 이제는 같은 벤더들이 에이전트 AI를 밀어붙이면서 동시에 "시스템이 해킹당할 수 있다"고 경고하고 있음. 이 자체가 일탈의 정상화임.

## 결론: "Trust No AI"

- AI가 끝났다는 얘기가 아님. 저위험 워크플로우는 이미 충분히 구현 가능함
- 고위험 워크플로우도 적절한 위협 모델링, 샌드박싱, 최소 권한 원칙, 임시 자격 증명 등을 적용하면 가능함
- 다만 이를 위해서는 투자와 리소스가 필요함
- 핵심: "모델이 알아서 올바른 일을 하겠지"라는 기대는 위험함. **Assume Breach** 원칙을 AI에도 적용해야 함
- 고위험 맥락에서는 AI가 사람 주도(human-led)로 남아야 최선의 결과를 얻을 수 있음

## 핵심 포인트

- LLM 출력은 신뢰할 수 없는 것이 전제 - 하류에 반드시 보안 제어 필요
- 챌린저호와 같은 패턴: 사고가 안 났으니 안전하다고 착각
- MS/OpenAI/Anthropic/Google 모두 자사 AI의 보안 위험을 문서화하면서 출시는 계속
- 에이전트가 하드디스크 포맷, 프로덕션 DB 삭제 등 실제 사고 발생 중

## 인사이트

'모델이 알아서 잘 하겠지'라는 기대가 가장 위험하다는 경고. Assume Breach 원칙을 AI에도 적용해야 함