본문으로 건너뛰기
피드

LLM의 '추론' 능력, 여전히 심각하게 부족하다는 연구

ai-ml 약 3분
vote
0
댓글
북마크

칼텍과 스탠퍼드의 공동 리뷰 논문이 최신 LLM의 추론 능력이 여전히 심각하게 결함이 있음을 체계적으로 보여줌. Gary Marcus가 14년간 지적해온 딥러닝의 추론 한계가 최신 '추론 모델'에서도 해결되지 않았다는 내용.

  • 1

    칼텍-스탠퍼드 공동 논문이 최신 추론 모델 포함 LLM의 추론 실패를 체계적으로 분류

  • 2

    2012년부터 지적된 딥러닝의 인과관계·논리추론 한계가 14년 후에도 미해결

  • 3

    실리콘밸리는 비판을 무시하고 스케일링에 올인 중이나 AGI는 여전히 미달성

  • Gary Marcus가 또 한 번 LLM의 추론 능력 문제를 지적함. 근데 이번엔 혼자 떠드는 게 아니라, 칼텍(Caltech)과 스탠퍼드(Stanford) 공동 리뷰 논문이 나옴. 제목은 "Large Language Model Reasoning Failure"

  • Marcus는 2012년 뉴요커 기사에서부터 딥러닝의 추론 한계를 이야기해왔음 — "인과관계 표현 능력 부재, 추상적 개념 습득의 어려움, 논리 추론 불가능" 등. 14년이 지났는데 핵심 문제는 여전함

  • 실리콘밸리의 대응은 줄곧 "우리가 알아서 할게, 학자들 무시해"였음. Subbarao Kambhampati, Judea Pearl, Melanie Mitchell, 심지어 Yann LeCun이나 최근에는 Ilya Sutskever까지 회의적인데도. AAAI 대규모 설문조사에서도 "LLM으로는 AGI 못 만든다"는 결론이 나왔고, 애플 연구도 있었는데 전부 무시당함

  • 칼텍-스탠퍼드 논문은 최신 딥러닝 시스템을 체계적으로 분류(taxonomy)해서 살펴봤는데, "추론" 시스템이라고 마케팅하는 모델들까지 포함해서 어딜 봐도 추론 문제가 심각했다는 결론임

  • 논문 공저자 중 한 명인 Noah Goodman은 Marcus의 첫 스타트업 Geometric Intelligence(나중에 Uber가 인수)에서 함께 일한 사이임

  • Marcus의 결론: 실리콘밸리는 두 가지 중 하나를 선택해야 함. 비판을 계속 무시하면서 마법 같은 해결책을 기도하거나, 현실을 직시하고 LLM의 대안을 찾기 시작하거나

중요

> AGI는 매년 "내년에 온다"고 했지만 아직 안 왔고, LLM은 여전히 할루시네이션을 만들고 어이없는 실수를 함. 추론은 핵심 미해결 과제로 남아있음

매년 반복되는 'AGI 내년에 온다' 약속과 달리 핵심 추론 문제는 제자리. LLM의 대안을 찾아야 한다는 주장에 힘이 실리는 시점.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.