AI 헬스 도구 쏟아지는데 독립적 검증은 어디에? — 벤치마크와 실사용 간극 문제

AI 헬스 도구 쏟아지는데, 실제로 얼마나 잘 작동하는가

• AI 헬스 도구가 빅테크 전반에서 동시다발적으로 출시되고 있음
  • Microsoft Copilot Health, Amazon Health AI, ChatGPT Health, Anthropic Claude 등이 일반 사용자 대상으로 릴리스
  • Microsoft는 하루 5천만 건의 건강 관련 질문을 받고 있으며, 모바일 앱에서 가장 인기 있는 주제가 건강임
  • 수요 자체는 명확함 — 의료 접근성이 낮은 인구에게 24시간 이용 가능한 챗봇은 매력적인 대안

독립적 평가 없이 출시되는 문제

• 이 기사에서 인터뷰한 6명의 학계 전문가 전원이 독립적 제3자 평가 없는 출시에 우려를 표명함
  • 운동 계획 추천이나 진료 전 질문 제안은 상대적으로 무해하지만, 트리아지나 진단/치료 계획은 실질적 위험이 있음
  • ChatGPT Health 등에 "진단/치료 목적이 아님"이라는 면책 문구가 있지만, 사용자들은 무시하기 쉬움
  • Beth Israel Deaconess Medical Center의 Adam Rodman: "환자들이 진단과 관리에 사용할 거라는 건 다 알고 있음"

벤치마크와 현실 사용 사이의 간극

• OpenAI의 HealthBench에서 GPT-5는 이전 모델 대비 크게 개선되었지만 여전히 완벽과는 거리가 있음
  • 특히 사용자에게 추가 정보를 요청해야 하는 대화에서 상대적으로 성능이 낮았음
  • GPT-5.4(현 플래그십)가 GPT-5.2보다 맥락 탐색 능력이 오히려 떨어진다는 결과도 있음
• Oxford 연구(Andrew Bean)에서 결정적인 발견이 나옴
  • LLM 자체는 가상 시나리오에서 의료 조건을 정확하게 식별할 수 있었음
  • 그러나 비전문가 사용자가 LLM 도움을 받아 같은 조건을 식별한 비율은 1/3에 불과
  • 사용자가 어떤 정보가 중요한지 모르거나, LLM 응답을 잘못 해석하는 경우가 많았음
• 이 간극은 HealthBench 같은 벤치마크가 포착하지 못하는 부분임 — 벤치마크는 "모델 성능"을 측정하지, "사용자+모델 성능"을 측정하지 않음

Google AMIE 연구 — 긍정적이지만 공개 계획 없음

• Google이 이달 초 AMIE(Articulate Medical Intelligence Explorer) 연구를 발표함
  • 환자가 AMIE와 의료 상담 후 의사를 만나는 설계, 진단 정확도가 의사와 동등했음
  • 주요 안전 우려도 발견되지 않음
• 그러나 Google은 AMIE 공개 계획이 없다고 밝힘
  • 형평성, 공정성, 안전성 테스트에 대한 추가 연구가 필요하다는 입장
  • 별도로 CVS와 파트너십으로 Health100 플랫폼을 구축 중이며, Gemini 기반 AI 어시스턴트가 포함될 예정

제3자 평가의 현실적 한계

• Stanford의 MedHELM 프레임워크가 현재 가장 포괄적인 외부 평가 도구임
  • 다양한 의료 작업에서 모델을 테스트하며, 현재 GPT-5가 최고 점수를 기록 중
  • 다만 개별 응답만 평가하며, 멀티턴 대화 평가는 아직 미구현
• MedHELM 리더 Nigam Shah(Stanford): 다음 버전에서 멀티턴 대화 평가를 구축할 예정이지만 시간과 자금이 필요함
  • "기업의 제품 출시를 막을 수는 없으니, 우리가 할 수 있는 건 벤치마크 펀딩을 마련하는 것"
• 임상 시험 패러다임이 생성 AI에 항상 적합하지 않다는 의견도 있음 — 모델이 빠르게 업데이트되기 때문에 Oxford 연구 자체도 이미 구형 모델(GPT-4o) 기반

핵심 딜레마

• 의사도 실수하고, 의료 접근성이 낮은 사람에게는 가끔 틀리더라도 항상 접근 가능한 LLM이 현 상태보다 나을 수 있음
• 하지만 현재 증거로는 이 도구들이 실제로 개선인지, 위험이 이익을 초과하는지 확실히 알 수 없음

핵심 포인트: 문제는 AI 헬스 도구의 성능 자체가 아니라, "모델 벤치마크 성능"과 "실제 비전문가 사용자의 활용 성능" 사이의 간극이 독립적으로 검증되지 않은 채 제품이 출시되고 있다는 점임