의료 AI가 쓴 퇴원 요약에 서명한 의사 — '정보 세탁' 구조와 거버넌스 설문조사

• 서울아산병원 유소영 교수가 의료 AI 사고의 본질을 "정보 세탁"으로 규정한 설문조사 결과를 공개함
  • 앞선 사례 — 식도 정맥류 출혈 환자 퇴원 요약지에 AI가 "차가운 우유를 드십시오"라는 임상적으로 위험한 권고를 삽입했고, 주치의가 그대로 서명해 환자에게 전달됨
  • 핵심 문제는 "AI가 틀렸다"가 아니라 "AI 결과물이 의사 서명을 통해 공식 의료 기록으로 세탁되는 구조"
• 형식이 완벽하면 내용이 맞는 것처럼 느껴지는 '형식 편향(Format Bias)' 연구로 뒷받침됨
  • 2026년 2월 Lancet Digital Health에 게재된 마운트 시나이 아이칸 의대 연구
  • LLM 20개에 340만 건 이상의 프롬프트를 투입
  • 동일한 허위 의료 정보라도 SNS 게시물 형식보다 퇴원 요약지 형식일 때 AI 수용률이 현저히 높음
  • 사람에게도 같은 원리가 작동 — 유창한 문장 = 맞는 내용이라는 착각이 '자동화 편향'을 통해 서명 행위로 이어짐

설문조사 개요

• 앞선 칼럼 독자 108명이 자발 참여한 편의 표본. 통계적 대표성은 없지만 문제의식을 이미 공유한 집단 내부에서도 직군별 인식 구조가 완전히 달랐다는 게 핵심 발견
• 응답자 직군 — 일반 시민, 보건의료 전문가, 산업계 종사자, AI·데이터 전문가, 정책·제도 설계자

Q1 원인 귀속 — "누구 탓이냐"가 직군마다 갈렸다

• 기술적 불완전성(28.7%)과 시스템 거버넌스 부재(26.9%)가 1, 2위
• 일반 시민은 기술적 불완전성을 1순위로 지목 — "AI를 고치면 해결된다"는 관점
• 산업계 종사자(41.2%), AI·데이터 전문가(35.7%)는 시스템 거버넌스 부재를 1순위로 선택 — "AI가 완벽해져도 관리 체계 없으면 사고는 반복된다"
• 보건의료 전문가(임상 현장)만 유일하게 '전문가 주의 의무'(28.6%)를 1순위로 꼽음
  • 서술형에 "더 꼼꼼히 봐야 하는 건 알지만 현실적으로 어렵다"가 반복 등장
  • 자동화 편향이 가장 직접적으로 작동하는 위치에 있는 사람들

Q2 책임 귀속 — 원인 진단과 책임 소재가 일치하지 않음

• "환자 보호자라면 누구에게 먼저 책임을 물을 건가?" — 전체 43.5%가 담당 의사 개인 지목
• Q1에서 시스템 탓이라 답했던 직군들도 보호자 입장으로 바꾸면 의사 개인에게 책임 귀속
  • 시스템 차원 원인 진단 + 개인 차원 책임 귀속이 공존 → 구조적 개선은 지연되고 개인 사후 귀책만 반복되는 패턴 (조직사고이론이 지적하는 고전적 실패 구조)
• AI·데이터 전문가는 '알고리즘 투명성 공개 요구'(25.0%)를 다른 직군의 2배 수준으로 선택
  • 개인 책임보다 임상검증 이력·안전성 평가 자료 공개가 먼저라는 시각

Q3 AI 허용 범위 — 규범 설계자와 임상 현장의 간극

• 보건의료 전문가 39.3%, 일반 시민 36.8%가 "AI는 의료 기록에 개입 금지 또는 의사가 처음부터 새로 작성해야"라고 응답
• 산업계(17.6%), AI·데이터 전문가(21.4%)는 같은 응답이 20% 안팎
• 정책·제도 설계자 54.5%가 "AI 초안 + 의사 검토·수정이면 충분"이라고 답변
  • 규범을 만드는 집단이 임상 현장보다 AI 기록 활용에 더 우호적
  • 향후 나올 가이드라인이 현장 불안과 어긋날 가능성

Q4 우선 대응 — 5개 집단이 5가지 다른 해법을 선택함

• 보건의료 전문가 → AI 리터러시 교육(37.5%) 1순위
• 일반 시민 → 사후 안전망
• 산업계·AI 전문가 → 기술적 설계 변경
• 정책·제도 설계자 → 법적 책임 입증 법제화(36.4%)
• 각자 자신이 직접 개입 가능한 영역을 우선순위로 두는 편향이 관찰됨
  • 그런데 이 대응들은 상호 의존적 — 교육 효과는 책임 구조가 명확해야 작동, 책임 법제화는 AI 기록 추적 가능성이 기술적으로 확보돼야 현실적, 사후 모니터링은 원본 데이터 전송 기준이 있어야 소급 확인 가능
  • 조율 없이 병렬 실행되면 제도적 공백이 발생하는 정합성 결여 거버넌스가 만들어진다는 경고

• 연구자가 강조한 결론 — 거버넌스는 설계되기 전에, 그것을 설계하는 사람들과 감당하는 사람들이 같은 문제를 어떻게 '다르게' 보는지 먼저 확인해야 함
• 조사의 한계 — 편의 표본, 직군별 소규모(정책·제도 설계자 11명, AI·데이터 전문가 14명), 선택 편향 내재. 후속 대규모 연구 필요

---

기술 맥락

이 칼럼의 핵심 개념은 '형식 편향(Format Bias)'이에요. LLM이 단순히 '팩트가 틀렸다'가 아니라, 어떤 형식으로 제시되느냐에 따라 허위 정보를 받아들이는 비율이 달라진다는 게 핵심이거든요. Lancet 연구에서 SNS 포맷보다 퇴원 요약지 포맷으로 주면 수용률이 현저히 높았다는 건, 의료 도메인에서 RAG나 템플릿 기반 생성을 할 때 '공식 문서 포맷'이 오히려 안전장치를 해제하는 트리거로 작동한다는 뜻이에요.

자동화 편향(Automation Bias)은 HCI에서 오래된 개념인데, 사람이 자동화 시스템 결과물에 더 높은 신뢰를 부여하는 경향이에요. 의료 임상의처럼 인지 부하가 높은 환경에서 AI 초안이 유창하게 생성되면 '서명 = 내용 확인'이 아니라 '서명 = 형식 통과'로 바뀌는데, 이게 바로 칼럼이 말하는 '정보 세탁' 구조예요.

거버넌스 관점에서 흥미로운 건 조직사고이론(Organizational Accident Theory) 프레임이에요. 원래 항공·원전 분야에서 쓰이던 건데, 시스템 차원 원인 진단과 개인 차원 책임 귀속이 공존하면 구조적 개선이 늦어진다는 고전적 실패 패턴이 의료 AI에서도 재현되고 있다는 게 이번 조사의 시사점이에요.

책임 구조와 기술적 추적 가능성의 결합도 실무 관점에서 봐야 해요. AI가 생성한 초안과 의사가 수정한 부분을 diff 레벨에서 기록하고 감사 추적이 가능해야, 법적 책임 귀속이 가능해지거든요. 대부분의 의료용 LLM 시스템이 아직 이 수준까지 안 왔어요. 이걸 어떻게 설계하느냐가 향후 의료 AI 규제의 최대 실무 이슈가 될 거예요.