본문으로 건너뛰기
피드

$500 GPU 하나로 Claude Sonnet 코딩 벤치마크 넘었다는 ATLAS 시스템

ai-ml 약 5분
vote
0
댓글
북마크

ATLAS 시스템이 RTX 5060 Ti 단일 GPU에서 frozen Qwen3-14B로 LiveCodeBench 74.6%를 달성해 Claude 4.5 Sonnet(71.4%)을 넘었다고 주장. 다만 best-of-3 + repair 파이프라인이라 진정한 pass@1이 아니고, 태스크셋도 달라서 직접 비교에는 한계가 있음.

  • 1

    RTX 5060 Ti 16GB에서 Qwen3-14B-Q4_K_M으로 LiveCodeBench pass@1-v(k=3) 74.6% 달성 (V2 대비 약 2배)

  • 2

    PlanSearch+BudgetForcing이 +12.4pp, Self-verified PR-CoT repair가 +7.3pp 기여

  • 3

    태스크당 전기료 $0.004로 Claude API($0.066) 대비 1/16 비용, 완전 로컬 실행

  • 4

    진짜 pass@1이 아닌 best-of-3 + repair 메트릭이고, 비교 대상과 태스크셋이 다름

  • 5

    V3.1에서 Qwen3.5-9B 전환, 태스크 병렬화, 목표 80-90% 예정

$500 GPU 하나로 Claude Sonnet 코딩 벤치마크 넘었다는 ATLAS 시스템

ATLAS(Adaptive Test-time Learning and Autonomous Specialization)라는 시스템이 RTX 5060 Ti 16GB 단일 GPU에서 frozen Qwen3-14B-Q4_K_M 모델로 LiveCodeBench pass@1-v(k=3) 74.6%를 달성했다는 거임. V2에서 36~41%였던 걸 거의 두 배 끌어올린 셈.

핵심 파이프라인 구조

PlanSearch + BudgetForcing + Geometric Lens + PR-CoT repair 파이프라인으로 동작함:

  • Phase 1 (PlanSearch + BudgetForcing + DivSampling): 베이스라인 54.9%에서 67.3%로 +12.4pp 상승. 제약 조건 추출하고 다양한 플랜 생성하는 단계
  • Phase 2 (Geometric Lens 라우팅): +0.0pp. 학습 데이터가 60개밖에 안 돼서 사실상 기여 없음. V3.1에서 재학습 예정
  • Phase 3 (Self-verified PR-CoT repair): +7.3pp 추가 상승. 모델이 자체 테스트 케이스 생성해서 반복 수정하는 방식. 42개 실패 태스크 중 36개 복구(85.7%)

다른 모델과 비교

시스템 LCB pass@1 태스크당 비용
DeepSeek V3.2 Reasoning 86.2% ~$0.002
GPT-5 (high) 84.6% ~$0.043
ATLAS V3 74.6% ~$0.004
Claude 4.5 Sonnet 71.4% ~$0.066
Claude 4 Sonnet 65.5% ~$0.066

Claude 4.5 Sonnet(71.4%)보다 3.2pp 높고, 비용은 전기료 기준 태스크당 $0.004로 Claude API 대비 약 1/16 수준임. 완전 로컬 실행이라 데이터가 외부로 나가지 않음.

주의할 점

ℹ️참고

> 진짜 pass@1이 아님. best-of-3 후보 생성 + Lens 선택 + 실패 시 반복 수리까지 포함된 pass@1-v(k=3)이라는 자체 메트릭임. 비교 대상들은 전부 single-shot pass@1.

  • ATLAS는 599개 태스크, 비교 대상(Artificial Analysis)은 315개 태스크로 태스크셋 자체가 다름. 통제된 비교가 아니라는 거임
  • GPU 소비전력 약 165W 기준 599개 태스크에 약 1시간 55분 소요. 레이턴시는 API 대비 훨씬 느림
  • GPQA Diamond 47.0%, SciCode 14.7%로 코딩 외 벤치마크는 아직 최적화 안 됨

V3.1 로드맵

  • 모델을 Qwen3.5-9B(DeltaNet 선형 어텐션)로 교체 예정. 네이티브 MTP로 처리량 3~4배 향상 기대
  • Geometric Lens C(x) 재학습, G(x) 메트릭 텐서 재설계 또는 제거
  • 태스크 병렬화 추가
  • 목표: LCB 80~90% pass@1-v(k=3)

로컬 추론 인프라가 프론티어 API 모델과 경쟁 가능한 수준까지 올라왔지만, 벤치마크 방법론 차이를 감안하면 아직 정확한 비교는 어려움. 비용 효율성과 데이터 프라이버시 측면에서는 확실한 장점.

댓글

댓글

댓글을 불러오는 중...

ai-ml

오픈AI, 브로드컴과 만든 첫 자체 추론 칩 ‘할라페뇨’ 공개

오픈AI가 브로드컴과 함께 만든 첫 자체 추론 프로세서 ‘할라페뇨’를 공개했다. 아직 테스트 단계지만, 실시간 코딩 모델 같은 추론 워크로드에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 좋다는 초기 결과를 내세웠다.

ai-ml

가트너 “네오클라우드, 2030년 AI 클라우드 시장 20% 먹는다”

생성형 AI 확산으로 GPU 기반 고성능 컴퓨팅 수요가 폭증하면서 AI 전용 클라우드 사업자인 네오클라우드가 커지고 있다는 분석이 나왔어. 가트너는 2030년 약 2,670억 달러 규모 AI 클라우드 시장에서 네오클라우드가 20%를 차지할 수 있다고 봤어. GPU 확보, 가격 경쟁력, 데이터 주권 대응이 핵심 포인트야.

ai-ml

스페이스X, 오픈소스 AI 스타트업에 초대형 컴퓨팅 파워 판다

리플렉션 AI가 스페이스X의 대형 데이터센터 인프라를 쓰기 위해 2029년까지 최대 63억달러 규모 계약을 맺었다는 내용이다. 월 1억5000만달러를 내고 엔비디아 GB300 기반 컴퓨팅 자원을 확보하는 구조이며, 스페이스X는 남는 AI 인프라를 외부 고객에게 파는 플랫폼 사업으로 확장하려는 흐름을 보인다. 오픈소스 AI 모델을 내세우는 리플렉션 AI가 정부·안보 시장에서 빠르게 커지고 있다는 점도 포인트다.

ai-ml

AI가 청소년의 ‘생각 훈련’을 건너뛰게 만든다는 경고

이 글은 생성형 AI가 청소년과 주니어에게 편리한 도구를 넘어 사고력 발달을 약화시킬 수 있다는 우려를 다뤄. 핵심은 AI 사용 자체가 문제라기보다, AI가 단일한 관계와 정보 통로가 되고 글쓰기·판단·고민의 과정을 대신해버릴 때 인지 훈련 기회가 사라진다는 점이야.

ai-ml

성남시, AI로 고독사 위험과 고령자 주차 문제를 같이 실증한다

성남시니어산업혁신센터가 AI 돌봄 자동화 플랫폼과 AI 스마트 주차관리 시스템의 실증기관으로 선정됐어. 각각 14억2500만 원, 30억 원 규모 사업이고, 고령자 돌봄과 교통약자 주차 편의라는 생활밀착형 문제를 AI로 풀어보겠다는 내용이야.