AI 비용 폭탄 맞은 기업들, 중국산 저가 모델과 라우팅으로 눈 돌린다

• 기업들이 AI를 많이 쓰라고 밀어붙이다가 이제는 청구서에 맞고 있음

  • 기업용 AI 에이전트는 대부분 토큰 사용량에 따라 요금이 늘어나는 종량제 구조임
  • 생산성 올리겠다고 사내 사용량을 크게 늘리는 ‘토큰맥싱’이 벌어졌고, 그 결과 비용 예측이 점점 어려워졌다는 얘기임

• 우버 사례가 꽤 직관적임

  • AI 코딩 도구 사용량이 급증하면서 올해 잡아둔 AI 예산을 4개월 만에 다 써버림
  • 결국 AI 토큰 소비량을 제한하는 조치를 걸 수밖에 없었다고 함
  • 개발 생산성을 올리려다 비용 거버넌스가 먼저 터진 셈이라, 남 일 같지 않음

• 오픈AI와 앤트로픽이 토큰 단가를 낮춰도 기업 입장에서는 문제가 끝나지 않음

  • 모델이 좋아질수록 코딩, 문서화, 분석, 고객지원처럼 활용 범위가 계속 넓어짐
  • 단가가 내려가도 사용량이 더 빨리 늘면 총비용은 오히려 튈 수 있음
  • 가트너 조사에서도 올해 테크 예산 증가를 예상한 기업이 4분의 3에 달했고, 그중 절반 가까이는 두 자릿수 증가율을 봤다고 함

• 그래서 기업들이 중국산 오픈소스 AI와 라우팅 서비스로 이동 중임

  • 쉬운 작업은 가성비 좋은 모델에 보내고, 어려운 작업만 클로드 같은 프리미엄 모델에 맡기는 방식임
  • 한마디로 모든 요청에 최고급 모델을 태우는 낭비를 줄이겠다는 전략임

• 숫자로 보면 이미 흐름이 꽤 선명함

  • 씨티그룹 분석에 따르면 오픈 라우터에서 오픈소스 AI용 토큰 처리 비중은 1월 34%에서 이달 65%로 거의 두 배가 됨
  • 오픈 라우터에서 가장 인기 있는 상위 4개 모델이 모두 중국산이고, 1위는 딥시크라고 함
  • 성능이 충분한 작업이라면 비용 차이가 너무 커서 기업들이 안 볼 수가 없는 구간에 들어간 것임

• 다만 싸다고 바로 전사 도입하기에는 찝찝한 지점도 있음

  • 기업 데이터, 소스코드, 내부 문서가 오가는 업무라면 모델 출처와 데이터 처리 방식이 중요함
  • 특히 규제가 센 산업은 비용 절감만 보고 모델을 고르기 어렵고, 보안 검토와 사용 정책이 같이 붙어야 함

---

기술 맥락

• 기업들이 라우팅을 보는 이유는 모든 AI 요청의 난이도가 같지 않기 때문이에요. 코드 주석 정리나 짧은 요약 같은 작업에 매번 비싼 프리미엄 모델을 쓰면, 성능은 남고 예산은 먼저 사라져요.

• 토큰 과금은 작은 실험 단계에서는 편하지만 전사 확산이 시작되면 관리 포인트가 돼요. 사용자 수, 출력 길이, 에이전트 반복 호출이 동시에 늘어나면 단가 인하보다 사용량 증가가 더 빨라질 수 있거든요.

• AI 라우팅은 비용과 품질을 분리해서 조절하려는 선택이에요. 쉬운 요청은 저가 모델, 민감하거나 복잡한 요청은 고성능 모델로 보내면 평균 단가를 낮추면서도 중요한 업무의 품질을 지킬 수 있어요.

• 다만 라우팅을 제대로 하려면 모델별 보안 정책과 데이터 경계를 정해야 해요. 특히 소스코드나 고객 데이터가 들어가는 요청은 가격만 보고 외부 모델로 보내면 나중에 감사나 규제 대응에서 문제가 될 수 있어요.