큰 모델이 답은 아니다: GPT-5.5가 GLM-5.2보다 환각을 3배 더 냈다는 주장

• 글쓴이의 핵심 주장은 꽤 직설적임. “큰 모델이 무조건 더 좋은 모델”이라는 공식이 깨지고 있다는 것

  • 최신 대형 모델들이 여전히 벤치마크 상위권을 먹고 있는 건 맞음
  • 그런데 오픈 웨이트 모델인 GLM-5.2가 훨씬 큰 폐쇄형 모델과 점수 차이를 크게 좁히면서, 단순 스케일링만으로 지능이 계속 오른다는 믿음에 금이 갔다고 봄

• 숫자로 보면 이 주장이 왜 나왔는지 감이 옴

  • GLM-5.2는 전체 7530억 파라미터, 실제 활성 파라미터는 약 400억 규모로 소개됨
  • GPT-5.5와 Opus 4.8은 폐쇄형 모델이고, 보수적으로 1조~2조 파라미터급으로 추정된다고 함
  • 그런데 Artificial Analysis 지능 지수에서 GLM-5.2는 GPT-5.5와 4점 차이, Fable 5와 9점 차이까지 따라붙었다는 게 글의 포인트임

• 더 흥미로운 건 환각률 비교임. 큰 모델일수록 답을 더 잘 맞히는 게 아니라, 틀린 답을 더 자신 있게 낼 수도 있다는 얘기

  • AA-Omniscience 벤치마크 기준 DeepSeek V4 Pro는 환각률 94%로 제시됨
  • GPT-5.5도 86%로 높게 나왔고, Fable 5는 48%, Opus 4.8은 36%, GLM-5.2는 28%였다고 함
  • 이 벤치마크에서 환각률이 높다는 건, 풀 수 없는 질문에서 “모르겠다”고 말하는 대신 답을 지어낸 비율이 높다는 뜻임

• 글쓴이는 파이썬 질문 하나로 이 차이를 보여줌

  • 문제는 단일 스레드 작업이 절대 양보하지 않고 시스템 폴링도 쓰지 않으면서 멀티플렉스 입출력(I/O)을 처리할 수 있느냐는 식의 구조적 모순을 포함함
  • 쉽게 말하면 배달 기사가 트럭을 한 번도 멈추지 않고 세 집에 동시에 택배를 내려놓으라는 요구에 가까움
  • GLM-5.2는 약 12초, 추론 토큰 약 800개로 “이건 기술적으로 불가능하다”는 점을 짚었다고 함
  • 반면 DeepSeek V4 Pro는 거의 10배 많은 추론 토큰을 쓰고도 자신감 넘치는 오답을 만들었다고 함

• 여기서 중요한 건 추론 예산을 많이 준다고 항상 답이 좋아지는 게 아니라는 점임

  • DeepSeek V4 Pro는 3분 26초 동안 추론 루프를 돌며 계산 자원을 쓰고도, 결국 보기 좋은 틀린 답을 냈다고 함
  • 글쓴이는 이걸 “추론 토큰 많이 쓰기”, “말뭉치 더 넣기”, “파라미터 더 키우기”가 만능이 아니라는 사례로 봄
  • 특히 코딩 어시스턴트에서는 틀린 답을 예쁘게 포장하는 능력이 오히려 독이 될 수 있음

• 글의 결론은 현대 대규모 언어 모델(LLM)을 세 가지 축으로 봐야 한다는 것

  • 첫 번째는 원시 성능임. 어려운 문제를 얼마나 잘 푸는지, 벤치마크에서 얼마나 높은지에 해당함
  • 두 번째는 불확실성 보정임. 모르는 문제를 만났을 때 그럴듯한 헛소리를 하지 않고 멈출 수 있는지임
  • 세 번째는 계산 효율성임. 같은 답을 내기 위해 얼마나 많은 시간과 토큰, 비용을 쓰는지임

• 개발자 입장에서는 꽤 실용적인 경고임

  • “제일 비싼 모델”, “제일 큰 모델”, “벤치마크 1위 모델”을 무지성으로 고르는 게 항상 최선은 아닐 수 있음
  • 코드 생성보다 더 중요한 건 코드의 전제 조건, 불가능한 요구사항, 아키텍처 결함을 잡아내는 능력일 때가 많음
  • 특히 실무에서는 모델이 틀렸을 때 얼마나 빨리 들키는지가 비용을 좌우함. 자신감 있는 오답은 리뷰 시간을 태우고, 더 나쁘면 장애로 이어짐

---

기술 맥락

• 이 글에서의 기술적 선택은 “더 큰 모델을 쓸 것인가, 더 잘 보정된 모델을 쓸 것인가”예요. 파라미터 수가 큰 모델은 어려운 문제를 풀 가능성이 높지만, 모르는 문제까지 답하려는 성향이 강하면 코딩 업무에서는 오히려 리스크가 커져요.

• GLM-5.2가 흥미로운 이유는 전체 7530억 파라미터, 활성 파라미터 약 400억이라는 조건에서 GPT-5.5와 지능 지수 차이를 4점까지 좁혔기 때문이에요. 이 정도면 “닫힌 초대형 모델만이 답”이라는 판단을 다시 봐야 하거든요.

• 환각률은 실무 모델 선택에서 꽤 중요한 지표예요. 코드 생성 모델이 틀린 라이브러리 호출이나 불가능한 동시성 구조를 자신 있게 제안하면, 개발자는 답을 검증하는 데 더 많은 시간을 써야 해요.

• 추론 토큰도 마찬가지예요. DeepSeek V4 Pro 사례처럼 3분 26초 동안 많이 생각해도 틀릴 수 있다면, 긴 추론이 곧 신뢰도라는 뜻은 아니에요. 문제의 전제가 깨졌는지 빠르게 감지하는 능력이 별도 축으로 필요해요.