500달러짜리 RL 파인튜닝으로 9B 오픈 모델이 프런티어 모델을 이긴 사례

왜 ‘AI 도입’만으로는 돈이 안 되는가

• 글의 출발점은 꽤 현실적인 질문임. 회사들이 2022년 ChatGPT 이후 AI에 돈을 쏟아부었는데, 정작 규모 있는 성과는 생각보다 잘 안 나왔다는 것.

  • 문서 요약, 이메일 초안, 코드 생성 같은 낮은 리스크 작업에서 시작했지만, 회사 전체의 손익에 잡히는 수준까지 가려면 단순 도구 도입만으로는 부족했다는 얘기임.
  • Ramp 데이터 기준으로 AI 지출 상위 25퍼센트 기업은 2022년 11월부터 2025년 12월 사이 매출이 2.2배 넘게 늘었고, AI 지출이 없는 기업은 같은 기간 15퍼센트 성장에 그쳤다고 함.

• 저자가 보는 승자들의 공통점은 “작업 하나를 자동화”가 아니라 “업무 흐름 자체를 다시 짜는 것”임.

  • McKinsey 2025년 조사에서 생성형 AI가 영업이익에 영향을 준 조직과 가장 강하게 연결된 속성이 워크플로 재설계였다고 함.
  • 그런데 실제로 워크플로를 하나라도 재설계한 조직은 21퍼센트뿐이었다고 하니, 대부분은 기존 병목 위에 모델만 얹은 셈임.

• 비용 문제도 큼. 좌석당 과금에 익숙한 회사들이 토큰당 과금 모델을 만나면서 예산 예측이 어려워졌다는 지적임.

  • Uber는 연간 엔지니어링 AI 예산을 4개월 만에 써버렸고, Microsoft는 비용 통제를 위해 Claude 라이선스 대부분을 취소했다는 사례가 언급됨.
  • 지금 토큰 가격은 AI 연구소들이 점유율 확보를 위해 보조금을 태우는 가격일 수 있어서, 장기적으로 더 비싸질 가능성도 있다는 게 글의 문제의식임.

승자들이 수렴한다는 플레이북

• 글이 제시하는 패턴은 단순함. 오픈소스 모델, 회사 고유의 업무 데이터, 점수화된 워크플로, 그리고 강화학습임.

  • 프런티어 모델은 초기 자동화와 기준선 설정에 쓰고, 그 과정에서 입력·판단·수정 로그를 쌓음.
  • 이후 그 데이터를 이용해 작은 전문 모델을 훈련하면, 특정 업무에서는 범용 모델보다 싸고 정확해질 수 있다는 주장임.

• Bridgewater 사례는 “내부 판단 기준”이 중요한 업무의 예시로 나옴.

  • 이 회사 분석가들은 기사, 공시, 이메일을 보며 어떤 문서가 투자 논지에 관련 있는지 판단함.
  • 문제는 “관련 있음”의 기준이 Bridgewater 내부 판단에 묶여 있어서, 프롬프트만으로는 프런티어 모델이 안정적으로 따라오지 못했다는 것.
  • 내부 투자 전문가 라벨로 오픈 모델을 훈련했더니, 최고의 프런티어 모델보다 실수가 약 30퍼센트 줄었다고 함.

• Harvey와 Intercom 사례도 같은 구조임.

  • Harvey는 법률 실사와 메모 작성처럼 긴 문서 세트에서 단계별 오류가 누적되는 업무에 강화학습을 적용했고, 자체 루브릭에서 GPT-5.5와 Claude Opus 4.8을 넘었다고 함.
  • Intercom은 주당 거의 200만 건의 고객 이슈를 처리하는 Fin에 자체 지원 모델 Fin Apex를 적용해, 해결률과 비용을 동시에 개선했다고 주장함.

카탈로그 검수 실험이 흥미로운 이유

• 본문에서 가장 구체적인 실험은 전자상거래 상품 카탈로그 검수임.

  • 상품이 올바른 카테고리에 들어갔는지, 이미지와 설명에서 속성이 제대로 추출됐는지, 브랜드나 정책 위반이 있는지 판단하는 업무임.
  • 검색, 필터, 추천, 운영 정책이 전부 이 데이터에 기대기 때문에 틀리면 바로 매출과 신뢰도에 영향을 줌.

• 규모감이 꽤 큼. 이 정도면 “모델 호출 몇 번” 수준이 아니라 단가가 곧 인프라 전략이 됨.

  • eBay는 약 25억 개의 활성 상품을 갖고 있고, Shopify는 하루 1,000만 건 넘는 상품 업데이트를 받는다고 함.
  • Walmart는 AI 보조 없이 사람이 같은 카탈로그 작업을 했다면 약 100배의 인력이 필요했을 거라고 말했다고 함.
  • 쇼핑객의 71퍼센트가 상품 설명과 실제 상품이 달라 반품한 경험이 있다는 수치도 언급됨.

• 저자 팀은 이 업무를 “모델이 연습할 수 있는 환경”으로 다시 만들었음.

  • Amazon Berkeley Objects 데이터셋의 실제 상품 이미지와 리스팅 데이터를 사용해 177,767개의 검수 에피소드를 만들었다고 함.
  • 각 에피소드에는 이미지, 제목, 설명, 주장된 브랜드, 지역 정보가 들어감.
  • 여기에 정책 위반 케이스, 이미지 불일치, 브랜드 주장 충돌, 정상인데 헷갈리는 hard negative를 심어 정답을 채점할 수 있게 만들었음.

sequenceDiagram
    participant 모델 as 검수 모델
    participant 분류 as 상품 분류 체계
    participant 브랜드 as 브랜드 검증 도구
    participant 스키마 as 속성 스키마
    participant 채점기 as 채점기
    모델->>분류: 약 13,000개 카테고리 검색
    모델->>브랜드: 브랜드 등록과 보호 여부 확인
    모델->>스키마: 선택 카테고리의 필수 속성 조회
    모델->>채점기: 카테고리, 속성, 정책 판단 제출
    채점기-->>모델: 정답 보상과 오류 벌점 반환

프런티어 모델과 9B 전문 모델의 점수 차이

• 비교는 같은 도구, 같은 이미지, 같은 채점기, 같은 턴 예산에서 했다고 함.

  • 프런티어 모델 5개를 200개의 층화 검증 에피소드로 벤치마크함.
  • 그냥 프롬프트뿐 아니라, 2,800자짜리 추출 규칙·조회 절차·예시를 넣은 최적화 프롬프트 구성도 테스트함.

• 결과는 꽤 공격적으로 제시됨. 최적화된 프런티어 모델들이 일정 지점에서 다 같이 막혔고, 훈련된 9B 모델이 그 천장을 넘었다는 것.

  • 가장 좋은 프런티어 구성은 달성 가능한 최대 점수의 76.9퍼센트.
  • GRPO로 훈련한 9B 오픈 모델은 87.3퍼센트.
  • 훈련 전 기본 9B 모델의 64.2퍼센트 대비로는 36퍼센트 향상이라고 함.

• 저자는 이 차이를 “지능” 문제가 아니라 “환경 의미론” 문제로 봄.

  • 프런티어 모델은 매번 이 스토어의 분류 체계, 속성 규칙, 정책 예외, 코너 케이스를 프롬프트 안에서 다시 배워야 함.
  • 반면 전문 모델은 수천 개의 채점된 에피소드를 돌며 어떤 도구 호출과 판단이 보상으로 이어지는지 가중치에 학습함.

훈련 비용은 생각보다 작게 제시됨

• 훈련 세팅은 대기업 연구소급이 아니라는 점을 강조함.

  • RTX PRO 6000 GPU 2대를 빌려 하나는 롤아웃 생성, 하나는 그래디언트 업데이트에 사용함.
  • prime-rl이라는 오픈소스 프레임워크로 1,000 옵티마이저 스텝을 돌렸고, 전체 훈련은 약 3.5일 걸림.
  • GPU 비용은 약 500달러였다고 함.

• 흥미로운 건 프런티어 모델을 넘는 데 전체 훈련이 다 필요하지 않았다는 대목임.

  • 약 250스텝, 하루 정도 훈련한 시점에 이미 프런티어 모델 구간을 넘어섰다고 함.
  • 나머지 스텝은 최고 점수를 더 짜내는 데 쓰였다는 설명임.

• 비용 곡선은 더 노골적임. 전문 모델은 “프롬프트 세금”도 줄인다는 논리임.

  • 파인튜닝은 기본 9B 모델 대비 약 23점 향상을 같은 1,000건당 0.50달러 비용에서 냈다고 함.
  • 가장 싼 프런티어 구성인 Gemini의 1,000건당 19달러보다 40배 저렴하고, 가장 비싼 GPT-5.5-pro의 172달러보다 약 340배 저렴하다고 함.
  • GPT-5.5에 넣은 2,800자 최적화 프롬프트는 측정 비용을 3분의 1가량 올렸고, 이 비용은 호출할 때마다 계속 붙는다는 지적도 나옴.

어디에 적용할 수 있고, 어디엔 안 맞는가

• 이 방식이 먹히는 업무의 조건은 꽤 명확함. “많이 반복되고, 결과를 채점할 수 있어야 함.”

  • 티켓 라우팅, 문서 필드 추출, 제출물 정책 검사, 상품 분류, 거래 승인·차단 같은 업무가 예시로 나옴.
  • 규칙, 테스트, 루브릭, 전문가 합의 중 하나로 정답을 확인할 수 있어야 모델이 연습할 수 있음.

• 반대로 정답을 토론해야 하는 업무에는 안 맞음.

  • 결과가 검증 가능하지 않으면 강화학습 환경을 만들어도 보상이 흔들림.
  • 전문가들끼리도 맞는 답에 합의하지 못하는 업무라면, 모델이 “좋은 판단”을 배운다기보다 애매한 취향을 따라 할 가능성이 커짐.

• 보안 관점도 글의 중요한 판매 포인트임.

  • 자체 훈련한 모델은 회사 인프라 안에서 돌릴 수 있으니 민감한 프롬프트와 기록을 외부 벤더로 보내지 않아도 됨.
  • 특히 내부 정책, 고객 데이터, 운영 로그가 핵심 성능 재료인 업무에서는 이 장점이 비용만큼 중요할 수 있음.

기술 맥락

• 이 글에서 실제 선택은 “더 큰 프런티어 모델을 계속 호출하기”가 아니라 “작은 오픈 모델을 특정 업무에 맞게 훈련하기”예요. 이유는 카탈로그 검수처럼 하루 수천만 번 반복되는 일에서는 정확도 1점과 호출 단가 몇 센트가 바로 연간 비용으로 튀어나오기 때문이에요.

• 강화학습이 들어간 이유는 이 업무가 단순 텍스트 변환이 아니라 도구를 쓰며 결정을 내려야 하는 흐름이기 때문이에요. 모델은 분류 체계를 검색하고, 브랜드를 확인하고, 속성 스키마를 가져온 뒤 최종 판단을 내리는데, 각 단계가 점수와 벌점으로 연결돼야 행동을 고칠 수 있거든요.

• 디지털 트윈을 만든 것도 그래서 중요해요. 실제 운영 환경에서 모델을 무작정 실패하게 둘 수는 없으니, 177,767개 에피소드와 약 13,000개 카테고리로 연습장을 만든 거예요. 특히 정책 위반 누락에 7배 벌점을 준 건 비즈니스 리스크를 학습 목표에 직접 박아 넣은 선택이에요.

• 프런티어 모델이 밀린 이유는 지식이 부족해서라기보다 매 호출마다 회사의 규칙을 새로 읽어야 했기 때문이에요. 반면 전문 모델은 반복 훈련을 통해 그 규칙을 가중치에 흡수하니, 긴 프롬프트를 매번 붙이지 않아도 같은 판단을 더 싸게 낼 수 있어요.