기업들이 비싼 AI 모델 대신 싼 모델을 찾기 시작했다

• 기업들이 AI 비용 때문에 “무조건 최고급 모델” 전략을 다시 보고 있음
  • 악시오스 보도에 따르면 AI 비용 급증을 우려해 사용량을 더 빡세게 모니터링하거나 저가 모델로 갈아타는 회사들이 늘고 있음
  • 이제 AI 도입의 관심사가 “쓸 수 있냐”에서 “계속 감당 가능한 가격이냐”로 넘어가는 분위기임

• 모델 라우터 업체 팩토리의 CEO는 “많은 작업에 오퍼스까지 필요하진 않다”고 말함

  • 여기서 오퍼스는 앤트로픽의 고성능 모델 라인업을 가리키는 맥락임
  • 개발팀 입장에서는 코드 생성, 요약, 분류, 고객 응답 같은 작업을 전부 같은 고가 모델에 태우는 게 과연 맞냐는 질문이 나오는 셈임

• 기업들이 무서워하는 건 비용뿐 아니라 벤더 종속임

  • 팩토리 CEO는 고객들이 향후 가격 인상 가능성 때문에 단일 벤더에 묶이는 걸 “정말 두려워한다”고 설명함
  • AI 기능이 제품 깊숙이 들어갈수록 모델 교체 비용도 커지니, 초반 아키텍처 선택이 나중에 청구서로 돌아올 수 있음

• 오픈소스 모델과 특화 에이전트로 갈아타는 흐름도 같이 커지는 중임

  • 모델 학습 기업 마이크로원의 CEO는 특정 용도에 맞는 오픈소스 모델이나 에이전트로 전환하는 기업들이 늘고 있다고 전함
  • 범용 최고 성능 모델 하나로 다 때우기보다, 업무별로 작고 싼 모델을 조합하는 쪽으로 무게가 이동하는 그림임

• 한국 개발팀에도 꽤 현실적인 얘기임

  • 사내 챗봇, 문서 요약, 로그 분석, 고객센터 자동화처럼 요청량이 많은 기능은 모델 단가가 곧 인프라 비용이 됨
  • 처음부터 모델 추상화 계층이나 라우팅 정책을 만들어두지 않으면, 나중에 비용 최적화하려고 갈아엎는 일이 생길 수 있음

---

기술 맥락

• 이 기사에서 핵심 기술 선택은 모든 요청을 최고 성능 대규모 언어 모델에 보내지 않고, 작업별로 모델을 나누려는 거예요. 간단한 분류나 요약까지 비싼 모델에 맡기면 품질 차이는 작아도 비용 차이는 크게 날 수 있거든요.

• 그래서 모델 라우팅이 중요해져요. 사용자의 요청 난이도, 필요한 정확도, 지연 시간, 보안 조건을 보고 어떤 모델로 보낼지 결정하면 같은 기능도 훨씬 싸게 운영할 수 있어요.

• 오픈소스 모델이 늘어나는 이유도 비용만은 아니에요. 특정 벤더 API에 서비스가 깊게 묶이면 가격 정책이 바뀌었을 때 대응하기 어렵고, 데이터 처리 정책이나 장애에도 영향을 크게 받아요.

• 실무에서는 모델 호출부를 처음부터 추상화해두는 게 좋아요. 지금은 모델 하나만 쓰더라도, 나중에 저가 모델·고성능 모델·자체 호스팅 모델을 섞을 수 있어야 비용 최적화 여지가 생기거든요.