본문으로 건너뛰기
피드

AI 모델들, 프리미어리그 모의 베팅에서 전원 손실 — 8개 중 파산 안 한 건 2개뿐

ai-ml 약 3분
vote
0
댓글
북마크

런던 AI 스타트업 제너럴리즈닝이 8개 AI 모델에 프리미어리그 가상 베팅을 시킨 '켈리벤치' 연구 결과를 공개했는데, 3회 시도에서 파산을 면한 모델은 클로드 오퍼스 4.6(-11%)과 GPT-5.4(-13.6%) 둘뿐이었음. 나머지 6개는 최소 한 번은 전액 손실하거나 기권 처리됨.

  • 1

    8개 AI 모델에 각 10만 파운드를 주고 프리미어리그 2023-2024 시즌 가상 베팅 시행

  • 2

    클로드 오퍼스 4.6과 GPT-5.4만 3회 모두 파산을 면함

  • 3

    전략 정교도 평가에서도 1위 클로드가 32.6%로 만점의 1/3 미만

  • 4

    AI가 전략을 표현할 수는 있지만 안정적으로 실행하고 조정하는 데는 실패

  • AI 모델 8개한테 프리미어리그 모의 베팅을 시켰더니 전원 손실 — 런던 AI 스타트업 제너럴리즈닝이 '켈리벤치' 논문으로 공개한 결과임
    • 2023~2024 시즌을 가상으로 재현, 각 모델에 초기 자금 10만 파운드(약 1.7억 원)를 주고 경기 결과와 득점수에 베팅하게 함
    • 약 30년 치 과거 경기 데이터를 줬지만 인터넷 접속은 차단 — 커닝 불가

중요

> 3회 시도에서 파산을 면한 모델은 클로드 오퍼스 4.6(-11%)과 GPT-5.4(-13.6%) 딱 둘뿐이었음. 나머지 6개는 최소 한 번은 올인 파산하거나 아예 베팅을 완수 못 해서 기권 처리됨.

  • 클로드와 GPT가 그나마 버틴 이유 — 전략 재조정 능력과 자본 보존 판단

    • 새 경기 데이터에 맞춰 전략을 수정하고, 우위가 없으면 베팅을 줄이는 식으로 체계적으로 움직임
    • 나머지 모델들은 유망한 전략을 "말로는" 제시하면서도 실행에서 따르지 못하는 '지식-행동 격차'를 보임
  • 전략 정교도 평가에서도 처참한 결과

    • 베팅 전문가 자문으로 전략 품질을 채점했더니, 1위 클로드 오퍼스 4.6이 32.6%, 2위 GPT-5.4가 31.8% — 만점의 1/3도 안 됨
    • 제미나이 3.1 프로, 그록 4.20은 각 9.8%로 바닥
  • 결론이 꽤 의미심장함 — AI는 "버그 수정"처럼 목표와 기준이 명확한 과제는 잘 해결하지만, "수익 극대화"처럼 정해진 해법이 없는 장기 목표는 아직 못함

    • 코드를 짜고 실패를 진단하고 전략을 "표현"하는 건 잘하는데, 그걸 안정적으로 실행하거나 안 되면 접근법을 바꾸는 데서 반복적으로 실패
    • 코딩 에이전트의 한계를 다른 각도에서 보여주는 연구라 개발자 입장에서도 눈여겨볼 만함

코딩 벤치마크에서는 갈수록 높은 점수를 찍는 AI 모델들이, 정해진 해법 없이 불확실한 환경에서 장기적으로 의사결정하는 과제에서는 아직 한참 부족하다는 걸 보여주는 연구. 에이전트 기반 자동화를 설계할 때 '잘 정의된 태스크 vs 열린 목표'의 경계를 인식해야 한다는 교훈이 있음.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.