본문으로 건너뛰기
피드

최고의 코딩 에이전트를 맞추려 하지 마라, 여러 개 돌려서 골라라

ai-ml 약 3분
vote
0
댓글
북마크

211개 실제 작업과 18개 에이전트 데이터 분석 결과, 최고 에이전트 하나의 승률은 24%에 불과하지만 상위 7개를 병렬로 돌리면 91%까지 올라감. 예측(prediction)이 아닌 선택(selection)으로 프레이밍을 전환하는 best-of-N 전략을 제안함.

  • 1

    Top-1 에이전트 승률 24%, Top-3은 51%, Top-7은 91%로 코호트 효과가 극적

  • 2

    상위 티어 내 에이전트 간 신뢰 구간이 크게 겹쳐서 순위가 통계적으로 불안정함

  • 3

    7개 이후로는 수확 체감 - 8~18위 추가해도 개선폭 미미

  • 4

    토큰은 싸고 인간 엔지니어 시간은 비싸다는 경제적 논리

  • "어떤 코딩 에이전트가 최고인가?"라는 질문 자체가 잘못되었다는 주장임
  • 에이전트 성능은 언어, 작업 유형, 시점에 따라 크게 달라지기 때문에 하나를 고르는 건 예측(prediction) 문제임
  • 대신 여러 에이전트를 병렬로 돌려서 가장 나은 결과를 고르면 됨. 예측 문제를 선택(selection) 문제로 전환하는 것

211개 실제 작업, 18개 에이전트의 실전 데이터

  • Voratiq 팀이 실제 업무에서 수개월간 이 워크플로우를 운영한 데이터임 (벤치마크가 아님)
  • 작업 대부분은 풀스택 TypeScript 제품 작업: 기능 구현, 버그 수정, 리팩토링 등
  • 스펙을 작성하면 여러 에이전트가 격리된 worktree에서 병렬 작업하고, 사람이 diff를 비교해서 최선을 선택함
  • Bradley-Terry 모델로 Elo 스타일 레이팅을 산출함

중요

> 핵심 수치:

  • Top-1 에이전트 단독 승률: 24%
  • Top-3 코호트 승률: 51% (2배 이상)
  • Top-7 코호트 승률: 91%
  • 7개 이후로는 수확 체감. 8~18위 에이전트를 추가해도 승률 개선폭이 미미함
  • 상위 티어 내에서는 신뢰 구간이 크게 겹침. 1위와 2위의 레이팅 차이가 약 40포인트 겹쳐서 통계적으로 구분 불가능함
  • 즉 리더보드가 무의미한 건 아니지만, 하나를 고르는 용도보다는 코호트를 구성하는 용도로 써야 함
  • "토큰은 싸고, 인간 엔지니어의 시간은 비쌈" - 에이전트 몇 개를 더 돌리는 비용이 더 나은 결과물, 적은 수정, 적은 버그로 돌아옴
  • 예측에서 선택으로의 프레이밍 전환이 핵심임. 최고의 에이전트를 미리 알 수 없다면, 여러 개를 돌려서 사후에 선택하는 것이 합리적인 전략

원문 보기 (Voratiq)

리더보드에서 1위를 찾는 것보다 상위 티어 코호트를 구성해서 병렬 실행하는 게 실전에서 훨씬 효과적이라는 데이터 기반의 주장임. 에이전트 성능 비교에 매몰되기보다 선택 파이프라인을 구축하는 쪽이 더 현실적인 전략.

댓글

댓글

댓글을 불러오는 중...

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.