MIT, LLM의 과신을 잡아내는 새로운 불확실성 측정법 제안

• MIT 연구진이 LLM의 "자신만만하지만 틀린 응답"을 더 정확히 식별하는 불확실성 측정 방법을 제안함
  • 기존 방식: 같은 프롬프트를 여러 번 넣어서 self-consistency 확인 (aleatoric uncertainty)
  • 문제점: 모델이 일관되게 같은 답을 해도 그 답이 틀릴 수 있음
• 핵심 아이디어는 cross-model disagreement로 epistemic uncertainty를 측정하는 것
  • ChatGPT에 같은 질문을 반복해서 같은 답이 나와도, Claude나 Gemini에 물어봤을 때 다른 답이 나오면 epistemic uncertainty가 높다는 의미
  • 타겟 모델의 응답을 비슷한 크기/아키텍처의 LLM 그룹 응답과 비교
  • 의미적 유사도(semantic similarity)를 기준으로 divergence 측정
• 두 가지 uncertainty를 합산한 Total Uncertainty(TU) 메트릭을 제안함
  • Aleatoric(자기 일관성) + Epistemic(모델 간 불일치) = TU
  • 10개 태스크(QA, 요약, 번역, 수학 추론)에서 테스트
  • 기존 방법 대비 일관되게 더 나은 성능으로 불안정한 예측을 식별함
• 앙상블 구성은 의외로 단순한 방법이 가장 잘 동작함
  • 다양한 회사에서 학습된 모델을 사용하는 것이 복잡한 방법보다 효과적
  • 다양한 응답 커버리지, 타겟 모델과의 적절한 거리, 신뢰도 기반 가중치 필요
• TU 측정이 aleatoric uncertainty만 계산하는 것보다 더 적은 쿼리를 요구함
  • 연산 비용과 에너지 절감 효과
• 한계: epistemic uncertainty는 정답이 하나인 태스크(factual QA)에서 효과적이고, open-ended 태스크에서는 성능이 떨어질 수 있음

기술 맥락: Epistemic uncertainty는 "올바른 모델을 쓰고 있는가"에 대한 불확실성으로, 이상적 모델과의 괴리를 측정하는 개념임. 기존 LLM uncertainty quantification은 대부분 aleatoric(데이터 자체의 노이즈)에 집중했는데, 이 연구는 모델 간 비교라는 실용적 방법으로 epistemic 측면을 보완한 것이 핵심임. Hallucination 탐지나 학습 시 confidently correct 답변 강화에 직접 활용 가능함.