기업 AI 비용 폭탄에 저가 중국 모델·라우팅 서비스로 눈 돌리는 중

• 기업들이 AI 에이전트를 막 밀어붙였다가 이제 비용 청구서 앞에서 멈칫하는 중임

  • 로이터 보도에 따르면, 생산성 향상을 이유로 사내 AI 사용을 장려하던 기업들이 종량제 비용 부담 때문에 더 싼 모델을 찾기 시작했음
  • 핵심은 대부분의 기업용 AI 에이전트가 AI 토큰 사용량에 비례해 요금이 올라가는 구조라는 점

• 문제는 “많이 쓰면 좋겠지”가 바로 “얼마 나올지 모름”으로 바뀐다는 것임

  • 기업들은 AI 전환 속도전 때문에 사내 AI 에이전트 사용량을 대폭 늘리는 ‘토큰맥싱(tokenmaxxing)’을 감행했음
  • 그런데 사용량이 늘수록 비용이 예측하기 어려운 속도로 튀면서 재무 구조를 압박하기 시작함
  • 오픈AI와 앤트로픽이 토큰당 가격을 계속 낮추고는 있지만, 도구 활용 범위가 더 빠르게 넓어지면서 총비용 통제가 어려워진 셈

• 그래서 기업들이 중국산 오픈소스 AI와 저가 모델 쪽으로 빠르게 눈을 돌리고 있음

  • 기사에서 언급된 중국제 AI 모델은 100만 토큰당 최저 18센트 수준
  • 미국산 프리미엄 AI 모델 평균가인 4달러와 비교하면 5% 미만이라, 비용 차이가 그냥 “조금 싸다” 수준이 아님
  • 오픈라우터에서 인기 높은 4대 AI 모델이 모두 중국제이고, 1위는 딥시크라는 점도 꽤 상징적임

• 모델 라우팅 서비스도 같이 뜨는 중임

  • 오픈라우터 같은 서비스는 쉬운 작업을 가성비 좋은 모델에 보내고, 어려운 작업만 클로드 같은 프리미엄 모델에 맡기는 방식
  • 미국 씨티그룹 분석에 따르면 오픈라우터에서 오픈소스 AI용 토큰 처리 비율은 1월 34%에서 이달 65%로 거의 두 배가 됐음
  • 기업 입장에선 “무조건 최고 모델”보다 “작업별로 적당한 모델”이 더 현실적인 전략이 되고 있음

• 가트너 조사도 이 흐름을 뒷받침함

  • 올해 테크 예산 증가를 예상한 기업 비율이 4분의 3에 달했음
  • 그중 절반 가까이는 두 자릿수 증가율을 예상했는데, AI 비용이 예산 논의의 큰 축으로 들어왔다는 뜻으로 볼 수 있음

• 결론은 AI 도입의 병목이 성능에서 비용 운영으로 넘어가고 있다는 거임

  • 이제 기업 AI 전략은 어떤 모델이 제일 똑똑하냐만 보면 안 됨
  • 누가 어떤 작업에 어떤 모델을 쓰는지, 토큰 한도를 어디서 걸지, 라우팅 정책을 어떻게 짤지가 실제 운영 비용을 가르는 포인트가 됨

---

기술 맥락

• 기업들이 고른 방향은 단일 프리미엄 모델 몰빵이 아니라 작업별 모델 라우팅이에요. 쉬운 작업까지 비싼 모델에 보내면 토큰 비용이 계속 새기 때문에, 난이도에 따라 저가 모델과 고성능 모델을 나눠 쓰려는 거예요.

• 이 선택이 나온 이유는 AI 에이전트의 과금 구조가 사용량 기반이기 때문이에요. 사내에서 코딩 도구나 업무 도우미를 많이 쓰게 만들수록 생산성은 오를 수 있지만, 동시에 토큰 소비량도 예산보다 훨씬 빨리 커질 수 있거든요.

• 오픈라우터 같은 라우팅 서비스는 이 문제를 인프라 레이어에서 풀려는 접근이에요. 사용자가 직접 매번 모델을 고르는 게 아니라, 쉬운 작업은 저렴한 모델로 보내고 어려운 작업은 클로드 같은 프리미엄 모델로 보내 비용 대비 성능을 맞추는 식이에요.

• 우버 사례가 중요한 건 이게 실험실 얘기가 아니라 실제 기업 운영비 문제라는 점이에요. AI 코딩 도구 예산이 4개월 만에 소진됐다는 건, 개발 조직에서 AI 사용량을 통제하지 않으면 생산성 도구가 곧바로 비용 리스크가 될 수 있다는 뜻이에요.