AGI 달성 주장은 과장됐다 — Gary Marcus 등 Nature 반박 기고

Chen et al.(2026)이 Nature에 "AI가 이미 인간 수준 지능을 달성했다"고 주장한 논문에 대해, Gary Marcus, Walter Quattrociocchi, Valerio Capraro가 반박 기고를 게재함. 핵심은 벤치마크 성능과 범용 지능을 혼동하고 있다는 것.

AGI 정의가 점점 약해지고 있음

• AGI의 원래 정의는 "다양한 환경과 과제에서 견고하고 유연한 역량"을 갖춘 시스템이었음 (Legg & Hutter, 2007)
• Goertzel(2014)도 개방적 학습과 도메인 일반적 문제 해결을 강조했음
• 최근에는 AGI를 벤치마크 성능이나 경제적 유용성으로 재정의하는 흐름이 있는데, 이는 원래 기준을 크게 약화시킨 것임
• Hendrycks et al.(2025)는 견고성, 신뢰할 수 있는 일반화, 체계적 실패 저항성이 AGI의 필수 기준이라고 재확인했으며, 현재 시스템은 이에 미달함

벤치마크는 게임할 수 있음

• 벤치마크는 통제된 조건에서 특정 능력을 평가하는 것으로, 진정한 일반화와 패턴 인식을 구분하기 어려움
• Eugene Goostman 챗봇이 튜링 테스트를 "통과"한 사례가 대표적 — 피상적 대화 단서와 비전문 평가자의 취약점을 이용한 것임
• 금전적 이해관계가 커지면서 벤치마크에 직접 학습하거나("teaching to the test") 유사 합성 데이터를 사용하는 경우가 늘고 있음
• 의료 분야 연구(Gu et al., 2025)에서 모델이 핵심 입력이 누락돼도 정확도를 유지하다가, 분포가 조금만 바뀌면 불안정해지는 현상이 확인됨

경제적 증거도 AGI 주장을 뒷받침하지 않음

• Acemoglu(2025) 분석: AI 자동화가 10년간 총요소생산성을 최대 0.66%만 증가시킨다고 추정
• AI 도입으로 경제적으로 의미 있는 수익을 보고하는 기업은 소수에 불과함 (Nanda, 2025)
• 직업 자동화 분석에서도 최첨단 시스템이 일반적 직업에 필요한 과제 중 극히 일부만 안정적으로 수행 가능함

LLM은 같은 결과를 다른 과정으로 만들어냄

• 유사한 행동이 근본적으로 다른 프로세스에서 나올 수 있다는 인지심리학의 교훈이 핵심임
• 비둘기 실험 비유: 비둘기가 복잡한 시각 자극을 구별할 수 있지만, 이것이 추상화나 유연한 추론을 의미하지 않음
• 뉴스 소스 신뢰성 평가 실험에서, LLM과 인간이 최종 분류는 비슷했지만 판단 기준이 체계적으로 달랐음
• 인간은 증거가 부족하거나 상충할 때 확신을 낮추는 반면, LLM은 불확실성이 명시적으로 신호되어도 높은 확신으로 분류함
• 이를 "epistemia"라고 명명 — 인식론적 평가 대신 생성적 그럴듯함으로 대체하는 현상

현재 시스템의 한계

• 현재 LLM은 지속적 목표가 없고, 장기 추론에 어려움을 겪으며, 과제 설정·평가·교정에 인간 스캐폴딩에 크게 의존함
• 수학 난제 풀이 성과에 대해 Terence Tao는 기존 기법의 빠른 검색·재조합·반복이지 진정한 도메인 일반적 문제 해결 전략은 아니라고 평가
• 프롬프트 프레이밍에 민감하고, 큐레이팅된 평가 환경 바깥에서 일관성이 떨어짐
• 저자들의 결론: "점점 정교해지는 통계적 근사를 범용 지능과 혼동하는 것은 개념적 오류일 뿐 아니라 전략적 오판"임