의료 AI의 다음 숙제, 벤치마크보다 현실 이해와 환각 제어

의료 AI 평가는 리더보드 숫자만 보면 망할 수 있음

• 대한의료인공지능학회 워크숍의 큰 화두는 “의료 AI를 어떻게 믿을 수 있게 만들 것인가”였음

  • 참석 대상은 의료 AI 개발자와 의대생이었고, 평가 방법론·월드 모델·환각 제어·의료 영상 도메인 적응까지 꽤 실전적인 주제가 이어짐
  • 공통된 문제의식은 단순 성능 지표보다 안전성, 신뢰성, 공정성을 같이 봐야 한다는 것임

• 연세대 강민석 교수는 챗봇 아레나 같은 범용 벤치마크 1위가 곧 좋은 AI는 아니라고 짚음

  • 평가 프롬프트를 들여다보면 코딩이나 AI 기술 같은 특정 분야에 쏠려 있거나, 너무 단순한 질문이 많을 수 있음
  • 수학 잘하는 모델과 글쓰기 잘하는 모델이 다르듯, 의료·영상 분석에서는 실제 사용자 목적에 맞춘 데이터셋이 더 중요함

• 생성형 AI는 정답만 체크하는 방식으로 평가하기도 어렵다 보니, 평가 자체도 사람이 계속 개입해야 함

  • 대규모 언어 모델(LLM)을 심사관으로 쓰는 방식도 있지만, 그 모델 역시 편향을 가질 수 있음
  • 그래서 에러 컴퍼레이터 같은 시각화 시스템으로 사람이 개별 사례를 보고 실패 원인과 패턴을 분석해야 함
  • 특정 답변 형식이 좋아 보여서 높은 점수를 받은 건 아닌지, 가설을 세우고 계속 검증해야 한다는 얘기임

월드 모델은 그럴듯한 영상에서 현실 시뮬레이션으로 넘어가는 중

• KAIST 김승룡 교수는 비디오 생성 모델이 현실 기반 월드 모델로 진화하는 흐름을 소개함

  • 예전 모델이 텍스트를 넣으면 프레임을 그럴듯하게 만들어내는 데 가까웠다면, 최근 월드 모델은 특정 행동 뒤 환경이 어떻게 변할지 예측하는 방향으로 발전 중임
  • 이미지와 영상 AI 구조도 디퓨전 트랜스포머(DiT) 중심으로 재편됐고, 대규모 데이터를 학습할수록 성능이 비례해 좋아지는 장점이 커졌다고 봄

• 연구 흐름은 시각·텍스트·오디오·행동 데이터를 하나의 AI망에서 처리하는 옴니모달 형태로 확장 중임

  • 문제는 많은 월드 모델이 아직 물리적 현실을 반영하기보다 그럴듯한 가상 세계를 만드는 데 머문다는 점임
  • 이를 넘기 위해 연구팀은 120만 개 네이버 지도 스트리트 뷰 데이터를 써서 실제 서울 기반 모델링을 진행함

• 실제 지도를 연속된 영상 모델로 만들다 보니 시공간 단절 문제가 핵심 난제로 튀어나옴

  • 촬영 시점이 달라 사람이나 차량 같은 동적 사물이 섞이는 문제는, 모델이 정적인 배경만 학습하도록 강제하는 크로스 템포럴 페어링으로 풀었음
  • 일정 간격으로 찍힌 이미지 사이의 공간적 단절은 키 프레임을 강제로 보간해 더 부드러운 시뮬레이션 환경을 만드는 방식으로 접근함
  • 이런 모델은 자율주행 에이전트뿐 아니라 특정 지역 홍수 같은 가상 재난 시나리오에도 활용될 수 있음

환각은 의료 AI에서 그냥 불편한 오류가 아니라 치명타임

• 고려대 이정범 교수는 대규모 언어 모델(LLM)과 시각언어모델(VLM)의 환각을 줄이는 방법을 발표함

  • 의료 도메인에서는 AI가 짧은 순간이라도 틀린 정보를 만들면 의사의 최종 판단에 치명적인 영향을 줄 수 있음
  • 그래서 “말을 잘하는 모델”보다 “팩트에 기반해 답하는 모델”이 더 중요해짐

• 연구진은 트랜스포머 내부의 수천 개 정보 처리 단위 중 일부가 사실 여부 판별에 관여한다는 점을 확인함

  • 특정 질문의 답이 참인지 거짓인지 구분하는 소수의 신뢰성 헤드가 모델 중후반부 연산 단계에 존재했다는 것임
  • 이 특성은 텍스트 모델에 시각 정보를 더해 목적에 맞게 파인튜닝하는 과정에서도 유지됐다고 함

• 이 원리를 라바 메드(LLaVA-Med) 같은 의료 특화 기반 모델에 적용함

  • 사실 판별 점수가 높은 정보 처리 단위의 비중을 높이고, 점수가 낮은 단위는 배제하는 선별 기법을 썼음
  • 막대한 비용이 드는 모델 재학습 없이도 환각을 억제하고 정확도를 높이는 데 성공했다는 설명임

병원마다 다른 데이터, 다시 학습하지 않고 적응시키는 방법도 나옴

• 고려대 이상민 교수는 의료 영상 세그멘테이션에서 도메인 시프트 문제를 다룸

  • 특정 병원이나 장비 데이터로 학습한 모델은 다른 병원 데이터를 만나면 성능이 크게 떨어질 수 있음
  • 의료 데이터는 원본 공유가 어렵기 때문에, 새 환경마다 모델을 다시 만드는 방식은 프라이버시·확장성·망각 현상 문제를 동시에 일으킴

• 대안으로 제시된 건 AI망 전체를 다시 학습시키지 않고, 적용 병원의 데이터에서 가벼운 피처 벡터만 생성하는 방식임

  • 새 병원 데이터가 들어오면 모델 중간에 이 데이터 조각만 추가해 영상을 분할함
  • 정답 데이터가 없는 환경을 보완하기 위해 주파수 변환으로 영상 질감을 바꾸고, 회전·뒤집기 같은 기하학적 변환 전후 결과가 같도록 학습시킴

• 성능 수치도 꽤 구체적임

  • 갑상선 및 경동맥 영상 분석에서 적응 과정을 거치지 않았을 때보다 16% 성능이 좋아짐
  • 기존 방식과 비교해도 6~7% 이상 성능 향상이 있었음
  • 연산 자원 소모가 적어 현장의 소형 의료 기기, 즉 엣지 디바이스에도 적용하기 쉽다는 장점이 제시됨

---

기술 맥락

• 이 기사에서 반복되는 선택은 “큰 모델 하나로 다 해결”이 아니라, 의료 현장의 제약에 맞게 평가·신뢰성·적응 방식을 쪼개서 설계하는 거예요. 의료 데이터는 민감하고 병원마다 다르기 때문에 범용 AI 서비스처럼 한 번 배포하고 끝내기가 어렵거든요.

• 벤치마크를 맹신하지 말라는 얘기는 평가 데이터가 실제 사용 목적과 어긋날 수 있기 때문이에요. 의료 영상 판독이나 진단 보조에서는 모델이 평균 점수를 잘 받는 것보다, 어떤 케이스에서 왜 실패하는지 사람이 추적할 수 있어야 해요.

• 월드 모델 쪽에서는 실제 서울 거리 데이터 120만 개를 쓴 게 중요해요. 가상의 그럴듯함이 아니라 물리적 현실과 이어지는 시뮬레이션을 만들려면, 촬영 시점 차이와 공간 단절 같은 데이터 문제를 모델링 단계에서 해결해야 하거든요.

• 환각 제어 연구는 모델 전체를 다시 학습하지 않고 내부의 신뢰성 헤드를 활용한다는 점이 실용적이에요. 의료 모델 재학습은 비용도 크고 검증도 까다로워서, 기존 모델 안에서 사실 판별 능력이 강한 부분을 더 쓰는 방식은 현장 적용 가능성이 좋아요.

• 도메인 시프트 해결도 같은 맥락이에요. 병원별 원본 데이터를 공유하지 않고 가벼운 피처 벡터만 붙여 적응시키면, 개인정보 보호와 성능 개선을 동시에 노릴 수 있어요.