본문으로 건너뛰기
피드

AI 모델들, 프리미어리그 모의 베팅에서 전원 손실 — 8개 중 파산 안 한 건 2개뿐

ai-ml 약 3분
vote
0
댓글
북마크

런던 AI 스타트업 제너럴리즈닝이 8개 AI 모델에 프리미어리그 가상 베팅을 시킨 '켈리벤치' 연구 결과를 공개했는데, 3회 시도에서 파산을 면한 모델은 클로드 오퍼스 4.6(-11%)과 GPT-5.4(-13.6%) 둘뿐이었음. 나머지 6개는 최소 한 번은 전액 손실하거나 기권 처리됨.

  • 1

    8개 AI 모델에 각 10만 파운드를 주고 프리미어리그 2023-2024 시즌 가상 베팅 시행

  • 2

    클로드 오퍼스 4.6과 GPT-5.4만 3회 모두 파산을 면함

  • 3

    전략 정교도 평가에서도 1위 클로드가 32.6%로 만점의 1/3 미만

  • 4

    AI가 전략을 표현할 수는 있지만 안정적으로 실행하고 조정하는 데는 실패

  • AI 모델 8개한테 프리미어리그 모의 베팅을 시켰더니 전원 손실 — 런던 AI 스타트업 제너럴리즈닝이 '켈리벤치' 논문으로 공개한 결과임
    • 2023~2024 시즌을 가상으로 재현, 각 모델에 초기 자금 10만 파운드(약 1.7억 원)를 주고 경기 결과와 득점수에 베팅하게 함
    • 약 30년 치 과거 경기 데이터를 줬지만 인터넷 접속은 차단 — 커닝 불가

중요

> 3회 시도에서 파산을 면한 모델은 클로드 오퍼스 4.6(-11%)과 GPT-5.4(-13.6%) 딱 둘뿐이었음. 나머지 6개는 최소 한 번은 올인 파산하거나 아예 베팅을 완수 못 해서 기권 처리됨.

  • 클로드와 GPT가 그나마 버틴 이유 — 전략 재조정 능력과 자본 보존 판단

    • 새 경기 데이터에 맞춰 전략을 수정하고, 우위가 없으면 베팅을 줄이는 식으로 체계적으로 움직임
    • 나머지 모델들은 유망한 전략을 "말로는" 제시하면서도 실행에서 따르지 못하는 '지식-행동 격차'를 보임
  • 전략 정교도 평가에서도 처참한 결과

    • 베팅 전문가 자문으로 전략 품질을 채점했더니, 1위 클로드 오퍼스 4.6이 32.6%, 2위 GPT-5.4가 31.8% — 만점의 1/3도 안 됨
    • 제미나이 3.1 프로, 그록 4.20은 각 9.8%로 바닥
  • 결론이 꽤 의미심장함 — AI는 "버그 수정"처럼 목표와 기준이 명확한 과제는 잘 해결하지만, "수익 극대화"처럼 정해진 해법이 없는 장기 목표는 아직 못함

    • 코드를 짜고 실패를 진단하고 전략을 "표현"하는 건 잘하는데, 그걸 안정적으로 실행하거나 안 되면 접근법을 바꾸는 데서 반복적으로 실패
    • 코딩 에이전트의 한계를 다른 각도에서 보여주는 연구라 개발자 입장에서도 눈여겨볼 만함

코딩 벤치마크에서는 갈수록 높은 점수를 찍는 AI 모델들이, 정해진 해법 없이 불확실한 환경에서 장기적으로 의사결정하는 과제에서는 아직 한참 부족하다는 걸 보여주는 연구. 에이전트 기반 자동화를 설계할 때 '잘 정의된 태스크 vs 열린 목표'의 경계를 인식해야 한다는 교훈이 있음.

댓글

댓글

댓글을 불러오는 중...

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.