AI 비용 폭탄 맞은 기업들, 중국산 오픈소스 모델로 갈아타는 중

• 기업들이 AI 도구를 막 도입하다가 이제 진짜 청구서를 보기 시작함

  • 로이터 보도에 따르면 생산성을 높이겠다며 AI 에이전트 사용을 밀어붙였던 기업들이 비용 압박 때문에 더 싼 모델을 찾는 중임
  • 핵심은 기업용 AI 에이전트 대부분이 사용량 단위인 토큰에 비례해 과금되는 종량제라는 점임

• 문제의 이름까지 생김. 이른바 토큰맥싱(tokenmaxxing)임

  • 생산성 경쟁 때문에 사내 AI 사용량을 크게 늘렸는데, 그 결과 토큰 사용량이 예측 불가능하게 튀기 시작함
  • 오픈AI와 앤트로픽이 토큰당 가격을 낮추고는 있지만, AI 도구가 할 수 있는 일이 더 빨리 늘어나서 총비용은 오히려 통제하기 어려워지는 분위기임

• AI 코딩 도구 비용은 앞으로 더 민감한 이슈가 될 가능성이 큼

  • 가트너는 2028년이면 AI 코딩 도구 비용이 평균 개발자 연봉을 넘어설 수 있다고 봄
  • 올해 테크 예산이 늘어날 거라고 답한 기업은 4분의 3이고, 그중 절반 가까이는 두 자릿수 증가율을 예상함

• 그래서 기업들이 중국산 오픈소스 AI와 라우팅 서비스로 빠르게 이동 중임

  • 오픈라우터 같은 서비스는 쉬운 작업은 가성비 좋은 모델에, 어려운 작업은 클로드 같은 프리미엄 모델에 보내는 식으로 비용을 줄임
  • 씨티그룹 분석 기준, 오픈라우터에서 오픈소스 AI용 토큰 처리 비율은 1월 34%에서 이달 65%로 거의 두 배 뛰었음

• 오픈라우터에서 가장 인기 있는 4대 모델이 전부 중국산이라는 점도 꽤 상징적임

  • 1위는 고효율 모델로 알려진 딥시크(DeepSeek)임
  • 중국산 모델은 100만 토큰당 최저 18센트까지 내려가는데, 미국 프리미엄 모델 평균가 4달러와 비교하면 5%도 안 되는 수준임

• 성능 격차도 예전처럼 크지 않다는 평가가 나옴

  • 블루록 CEO 헤롤드 변은 예전 오픈소스 모델이 메이저 AI보다 1년 이상 뒤처졌지만, 지금은 격차가 4개월 수준으로 줄었다고 말함
  • 웨카의 발 버코비치 CAIO는 최근 오픈소스 모델이 빅테크 제품 성능의 90%를 내면서 비용은 10% 수준이라고 봄

• 다만 싸다고 무조건 밀어붙이기엔 리스크가 있음

  • 중국산 오픈소스 AI는 보안 위험과 데이터 유출 우려 때문에 기업이 대규모로 쓰기 부담스러울 수 있음
  • 그래서 비핵심 단순 작업은 저비용 AI에, 복잡하고 민감한 핵심 업무는 고급 AI에 맡기는 멀티플랫폼·하이브리드 전략이 현실적인 대안으로 거론됨

---

기술 맥락

• 여기서 중요한 선택은 “어떤 모델이 제일 똑똑한가”가 아니라 “어떤 작업에 어떤 모델을 붙일 것인가”예요. 모든 요청을 프리미엄 모델로 보내면 품질은 편할 수 있지만, 토큰 과금 구조에서는 사용량이 늘어나는 순간 비용이 그대로 폭발하거든요.

• 오픈라우터 같은 라우팅 서비스가 뜨는 이유도 이 지점이에요. 간단한 분류, 초안 작성, 반복 질의는 저렴한 오픈소스 모델로 보내고, 추론이 복잡하거나 실패 비용이 큰 작업만 고급 모델로 보내면 전체 단가를 확 낮출 수 있어요.

• 기업 입장에서는 보안도 같이 봐야 해요. 특히 고객 데이터, 내부 코드, 재무 정보가 들어가는 요청을 저가 모델에 무조건 던지면 비용은 줄어도 리스크가 커져요. 그래서 모델 선택은 이제 백엔드 라우팅, 권한 정책, 데이터 분류 체계까지 묶인 아키텍처 문제가 되는 중이에요.

• 개발팀에게는 AI 사용량 관측도 필수가 돼요. 어떤 팀이 어떤 작업에 얼마만큼 토큰을 쓰는지 모르면 예산 통제가 안 되고, 우버처럼 몇 달 만에 연간 예산을 태우는 일이 생길 수 있거든요.