본문으로 건너뛰기
피드

최신 AI 모델 8개한테 프리미어리그 베팅 시켜봤더니 — 전원 손실

ai-ml 약 4분
vote
0
댓글
북마크

영국 AI 스타트업이 GPT-5.4, 클로드 오퍼스 4.6 등 8개 모델에 프리미어리그 베팅을 시킨 '켈리벤치' 실험 결과를 공개함. 파산을 면한 건 클로드(-11%)와 GPT-5.4(-13.6%) 둘뿐이었고, 현실의 동적 환경에서 AI 성능이 아직 부족하다는 결론.

  • 1

    8개 최신 AI 모델 전원 손실, 파산 안 한 건 클로드와 GPT-5.4뿐

  • 2

    클로드 오퍼스 4.6이 최고 성적이지만 평균 -11%

  • 3

    정적 벤치마크 vs 동적 현실 환경 간 AI 성능 격차를 보여주는 실험

  • 영국 AI 스타트업 제너럴리즈닝이 최신 AI 모델 8개한테 프리미어리그 베팅을 시켜봤는데 — 전원 손실

    • 2023-2024시즌을 가상 재현하고, 모델별로 초기 자본 10만 파운드(약 2억원)씩 줌
    • 인터넷 차단 상태에서 과거 데이터만으로 수익 극대화 모델 구축 후 매 경기일 베팅
    • 모델별 3회 시도, 경기 후에는 결과와 선수별 상세 통계 피드백 제공
    • 대상: GPT-5.4, 클로드 오퍼스 4.6, 제미나이 3.1 프로, 그록 4.20 등 8개
  • 그나마 선방한 건 클로드 오퍼스 4.6 — 그래도 평균 수익률 -11%

    • 세 번 중 가장 나은 시도도 -0.2%에 그침 (본전치기도 못 함)
    • 파산을 면한 건 클로드와 GPT-5.4(-13.6%) 둘뿐

중요

> 8개 최신 AI 모델 중 파산 안 한 건 딱 2개. AI가 정적 벤치마크에서는 뛰어나도, 계속 변하는 현실 환경에서는 아직 한참 부족하다는 걸 보여주는 실험임.

  • 가장 극적이었던 건 제미나이 3.1 프로

    • 한 번은 34% 수익을 올렸지만, 다른 시도에서 파산 — 평균 -43.3%
    • 그록 4.20은 한 번 파산에 나머지 두 번은 베팅 자체를 완수하지 못함
  • 연구진의 핵심 메시지: AI가 목표가 명확한 절차적 작업에는 뛰어나지만, 현실처럼 환경이 계속 변하는 상황에서의 성능은 제대로 검증되지 않고 있음

    • 선수 부상 후 기량 변화처럼 시간에 따라 조건이 달라지는 상황에서 AI가 적응하는 데 한계를 보임
    • 논문은 아직 동료 평가를 거치지 않은 상태
  • CEO 로스 테일러: "AI 자동화에 대한 기대가 크지만, 장기적인 환경에서 AI를 평가하는 시도는 많지 않다"

    • 현실 세계의 복잡성을 반영한 평가가 필요하다고 강조함

기술 맥락

  • 이 실험이 재밌는 이유는 AI 벤치마크의 한계를 정면으로 보여주기 때문이에요. 보통 AI 성능은 고정된 테스트셋에서 측정하는데, 현실 세계는 시시각각 변하거든요
  • '켈리벤치'라는 이름은 켈리 기준(Kelly Criterion)에서 따온 거예요. 확률 기반으로 최적 베팅 금액을 정하는 수학적 전략인데, AI가 이 전략을 제대로 구현하지 못했다는 점이 시사적이에요
  • AI 모델이 절차적 작업(코딩, 요약, 번역)에서 뛰어난 건 학습 데이터에 정답이 있기 때문이에요. 반면 스포츠 베팅은 불확실성이 본질인 영역이라 과거 패턴만으로는 미래를 예측하기 어렵거든요

AI 벤치마크가 대부분 고정된 테스트셋 기반인데, 이 실험은 시간에 따라 조건이 변하는 현실 환경에서의 AI 한계를 보여줌. 에이전트 AI 시대에 꼭 필요한 종류의 평가.

댓글

댓글

댓글을 불러오는 중...

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.