본문으로 건너뛰기
피드

ARC-AGI-3 등장: AI가 진짜 AGI인지 측정하는 새 벤치마크 나왔다

ai-ml 약 3분
vote
0
댓글
북마크

ARC Prize 팀이 ARC-AGI-3를 공개했는데, 기존 정적 퍼즐 풀기가 아니라 AI가 새로운 환경을 탐색하고 즉석에서 목표를 파악하는 '적응형 추론' 능력을 측정함. 인간 수준으로 게임을 클리어하면 100점인데, 아직 AI와 인간 사이에 격차가 있는 한 AGI가 아니라는 기준을 제시하는 거임.

  • 1

    정적 퍼즐이 아닌 동적 환경에서의 '경험 기반 학습' 평가

  • 2

    자연어 명령 없이 환경 자체에서 목표와 전략을 스스로 습득해야 함

  • 3

    AGI 달성 기준을 'AI-인간 학습 격차 = 0'으로 명확히 수치화

  • ARC-AGI-3는 AI 에이전트가 새로운 환경을 탐색하고 목표를 즉석 습득하는 인터랙티브 추론 벤치마크
  • 기존처럼 정답 맞추기 방식 아님 — AI가 경험을 통해 직접 학습하는 방식으로 평가
  • 100% 점수 = 인간만큼 효율적으로 모든 게임 클리어 가능
  • 자연어 명령이나 사전 지식 없이, 환경에서 스스로 전략 적응 해야 함
  • "AI-인간 학습 격차가 있는 한 AGI 아님" — AGI 기준을 수치화하겠다는 선언

상세 내용

ARC-AGI-3가 뭔데?

ARC-AGI-3는 AI 에이전트가 얼마나 인간처럼 '적응하며 배우는가'를 테스트하는 벤치마크임. 기존 ARC 벤치마크들이 정적인 퍼즐을 풀게 했다면, 이번엔 에이전트가 낯선 환경 속에서 직접 경험하며 목표를 파악하고 전략을 수정해야 함.

자연어 명령도 없고, 미리 숨겨둔 프롬프트도 없음. 환경을 직접 인식하고, 행동을 선택하고, 결과를 보며 전략을 바꿔야 하는 구조.

어떻게 지능을 측정함?

  • 환경은 100% 인간이 풀 수 있는 수준으로 설계
  • 단순히 최종 답이 아니라 시간에 따른 스킬 획득 효율성 측정
  • 희소한 피드백 속에서 장기 플래닝(Long-horizon planning) 평가
  • 여러 스텝에 걸쳐 경험 기반 적응력 테스트

특히 포인트는 "마지막 정답"이 아니라 시간의 흐름 속 지능을 측정한다는 것. 계획 수립 범위, 기억 압축, 새 증거가 나왔을 때 믿음을 업데이트하는 능력까지 평가함.

설계 원칙 4가지

  1. 인간이 빠르게 이해하고 시작할 수 있어야 함 — 직관적인 환경
  2. 사전 지식이나 숨겨진 프롬프트 금지 — 순수 적응력만 측정
  3. 명확한 목표 + 의미 있는 피드백 제공
  4. 암기식 풀이 불가능한 참신함 — 브루트포스 메모라이제이션 방지

핵심 메시지

"AI와 인간의 학습 격차가 존재하는 한, 우리는 AGI를 달성하지 못한 것이다."

ARC-AGI-3는 이 격차를 측정 가능한 수치로 만들겠다는 게 목표임.

기존 LLM 벤치마크들이 '얼마나 많이 알고 있냐'를 측정했다면, ARC-AGI-3는 '얼마나 빠르게 새로운 걸 배우냐'로 게임 룰을 바꾼 거임. GPT-4o나 Claude가 이 테스트에서 어떤 점수 받는지 ㄹㅇ 궁금한데, 결과 나오면 AI 업계 뒤집힐 듯 ㄷㄷ

댓글

댓글

댓글을 불러오는 중...

ai-ml

오픈AI, 브로드컴과 만든 첫 자체 추론 칩 ‘할라페뇨’ 공개

오픈AI가 브로드컴과 함께 만든 첫 자체 추론 프로세서 ‘할라페뇨’를 공개했다. 아직 테스트 단계지만, 실시간 코딩 모델 같은 추론 워크로드에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 좋다는 초기 결과를 내세웠다.

ai-ml

가트너 “네오클라우드, 2030년 AI 클라우드 시장 20% 먹는다”

생성형 AI 확산으로 GPU 기반 고성능 컴퓨팅 수요가 폭증하면서 AI 전용 클라우드 사업자인 네오클라우드가 커지고 있다는 분석이 나왔어. 가트너는 2030년 약 2,670억 달러 규모 AI 클라우드 시장에서 네오클라우드가 20%를 차지할 수 있다고 봤어. GPU 확보, 가격 경쟁력, 데이터 주권 대응이 핵심 포인트야.

ai-ml

스페이스X, 오픈소스 AI 스타트업에 초대형 컴퓨팅 파워 판다

리플렉션 AI가 스페이스X의 대형 데이터센터 인프라를 쓰기 위해 2029년까지 최대 63억달러 규모 계약을 맺었다는 내용이다. 월 1억5000만달러를 내고 엔비디아 GB300 기반 컴퓨팅 자원을 확보하는 구조이며, 스페이스X는 남는 AI 인프라를 외부 고객에게 파는 플랫폼 사업으로 확장하려는 흐름을 보인다. 오픈소스 AI 모델을 내세우는 리플렉션 AI가 정부·안보 시장에서 빠르게 커지고 있다는 점도 포인트다.

ai-ml

AI가 청소년의 ‘생각 훈련’을 건너뛰게 만든다는 경고

이 글은 생성형 AI가 청소년과 주니어에게 편리한 도구를 넘어 사고력 발달을 약화시킬 수 있다는 우려를 다뤄. 핵심은 AI 사용 자체가 문제라기보다, AI가 단일한 관계와 정보 통로가 되고 글쓰기·판단·고민의 과정을 대신해버릴 때 인지 훈련 기회가 사라진다는 점이야.

ai-ml

성남시, AI로 고독사 위험과 고령자 주차 문제를 같이 실증한다

성남시니어산업혁신센터가 AI 돌봄 자동화 플랫폼과 AI 스마트 주차관리 시스템의 실증기관으로 선정됐어. 각각 14억2500만 원, 30억 원 규모 사업이고, 고령자 돌봄과 교통약자 주차 편의라는 생활밀착형 문제를 AI로 풀어보겠다는 내용이야.