공짜에 가까웠던 AI 시대, 이제 토큰 청구서가 온다

AI 공짜 점심, 슬슬 끝나는 분위기

• 앤트로픽이 인기 AI 에이전트 도구인 OpenClaw 사용을 강하게 제한한 게 이번 흐름의 상징처럼 보임

  • 앤트로픽 쪽 설명은 간단함. 기존 구독 플랜이 서드파티 도구들의 사용 패턴을 감당하도록 설계된 게 아니라는 것
  • Claude Code 책임자 보리스 체르니는 “장기적으로 지속 가능하게 고객을 서비스하려면 성장 관리가 필요하다”는 취지로 설명함

• 지난 몇 년간 AI 회사들은 사실상 투자금으로 사용자를 모았고, 이제 투자자들이 수익을 요구하는 단계에 들어감

  • 오픈AI와 앤트로픽은 기업용 요금제를 바꾸고, 오픈AI는 플랫폼 내 광고까지 넣기 시작함
  • 2010년대 승차공유, 음식배달, 이커머스가 보조금으로 시장을 잡은 뒤 가격을 올렸던 패턴과 비슷하다는 지적이 나옴
  • 차이는 AI 쪽이 태운 돈의 규모와 속도가 훨씬 크다는 것. 데이터센터에 들어간 돈이 진짜 미친 수준임

숫자로 보면 더 빡세다

• 가트너 분석가 윌 소머는 대형 AI 모델 제공사가 투자자 기대를 맞추려면 투자자본수익률(ROIC) 25%에 가까워야 한다고 봄

  • 12% 아래로 내려가면 기관 자본이 다른 곳으로 빠질 수 있음
  • 7% 아래면 자산 손상 처리(write-down) 구간이고, 투자자 입장에선 꽤 큰 사고임

• 최소선인 7%를 맞추는 데도 2029년까지 누적 7조 달러에 가까운 AI 기반 매출이 필요하다는 계산이 나옴

  • 기간 말에는 연 2조 달러 수준 매출이 필요함
  • “역사적인 수익률”을 내려면 같은 기간 거의 8.2조 달러가 필요하다는 추정도 붙음

• 오픈AI만 봐도 부담이 큼

  • 오픈AI는 2030년까지 6,000억 달러 지출 약정을 했다고 밝힘
  • 소머는 이 수치조차 이전 계획인 1.4조 달러에서 크게 내려온 것이라고 봄
  • 매출 전망이 잘 풀리는 최선의 경우에도, 전체 지출 대비 필요한 수익률에는 한참 못 미칠 가능성이 있다는 분석임

결국 돈은 토큰에서 나온다

• 모델 제공사가 돈을 버는 기본 단위는 토큰(Token)임

  • 토큰은 AI 모델이 처리하는 입력 단위고, 영어 기준으로 보통 1토큰은 약 4글자 정도로 잡힘
  • “bathroom” 같은 단어는 대략 2토큰, 영어 문단 하나는 약 100토큰, 1,500단어 에세이는 약 2,050토큰 정도라는 오픈AI 추정이 있음

• 문제는 투자자 기대 매출을 맞추려면 토큰 처리량이 지금과 비교가 안 되게 커져야 한다는 점임

  • 구글은 10월에 1.3경 개 토큰을 처리한다고 밝힌 적이 있음
  • 주요 제공사 추정치를 다 합치면 현재 연간 100~200경 개 토큰 수준으로 볼 수 있음
  • 그런데 가트너가 계산한 연 2조 달러 지출 규모를 맞추려면 보수적으로도 연간 100해 개 토큰이 필요하다는 얘기가 나옴
  • 토큰당 이익률을 후하게 10%로 잡아도, 2030년까지 토큰 소비가 5만~10만 배 늘어야 한다는 계산임. 네, 단위부터 좀 무섭다

• 토큰을 많이 팔면 해결될 것 같지만, 현실은 더 꼬여 있음

  • 인프라와 전기요금 같은 직접 비용만 보면 토큰당 마진은 괜찮아 보일 수 있음
  • 하지만 최신 모델은 토큰을 더 많이 먹고, 다음 세대 모델 학습과 컴퓨트 증설 비용까지 넣으면 수익성이 급격히 흔들림
  • 소머는 많은 회사가 현재 소진 속도를 버티지 못할 것이고, 지역별로 대형 대규모 언어 모델(LLM) 제공사는 많아야 2곳 정도만 살아남을 수 있다고 봄

에이전트가 비용 폭탄을 키운다

• 초창기 AI는 학습 비용이 크고 추론(Inference)은 상대적으로 싸다는 인식이 강했음

  • 하지만 모델이 고도화되고 기능이 늘면서, 실제 요청을 처리하는 추론 비용이 훨씬 무거워짐
  • 특히 AI 에이전트는 복잡한 다단계 작업을 수행하느라 기본 챗봇보다 훨씬 많은 토큰을 씀

• 추론 모델(Reasoning Model)은 에이전트 품질을 올려주지만, 비용 면에서는 꽤 거친 친구임

  • 조지아공대 마크 리들은 사용자가 한 문장 프롬프트를 넣어도 모델이 내부적으로 수천~수만 단어 분량을 “혼잣말”처럼 처리할 수 있다고 설명함
  • 코딩 작업에서는 이 내부 추론이 더 길어질 수 있음
  • 수천 명, 수백만 명이 매일 쓰면 추론 비용이 학습 비용보다 더 크게 느껴지는 구조가 됨

• OpenClaw 같은 에이전트 도구가 제한을 맞은 이유도 여기에 가까움

  • 리들은 이런 도구들이 사용자 노트북이나 데스크톱에서 백그라운드 프로세서처럼 깨어나 토큰을 만들고, 작업하고, 다시 잠드는 식으로 움직인다고 설명함
  • 박스(Box) CEO 에런 레비도 “사용 사례가 폭발했고, 용량이 부족하다”고 말함

기업들은 이미 모델 라우팅 모드로 가는 중

• 모델 가격이 오르면서, AI 제품을 만드는 회사들은 고급 모델만 계속 쓰기 어려워지고 있음

  • 일부는 오픈소스 또는 오픈웨이트 모델로 전환하거나, 작업별로 비싼 모델과 싼 모델을 비교 평가하고 있음
  • 아나콘다 CEO 데이비드 데산토는 고객들이 아마존 베드록(Amazon Bedrock)이나 구글 버텍스 AI(Vertex AI) 안에서 자체 모델을 배포해 공급망 통제력을 높이려 한다고 전함
  • 지식재산(IP)을 상용 프런티어 연구소로 보내는 걸 보안상 꺼리는 회사도 있음

• 법률 AI 스타트업 Eve는 비용과 품질 사이에서 꽤 현실적인 운영을 하고 있음

  • Eve의 토큰 사용량은 올해 들어 전년 대비 100배 증가함
  • 최신 고가 추론 모델은 전체 사용량의 약 25~30%에만 쓰고, 나머지는 자체 오픈소스 변형 모델과 더 작고 싼 모델로 나눠 처리함
  • 다만 출력 품질이 1%만 떨어져도 고객에게 꽤 큰 영향을 주기 때문에, 모델 품질 추적에 내부 리소스를 많이 씀

• Wisdom AI도 비슷하게 작업별 모델 성능을 테스트하고 예산을 잡는 중임

  • 최근에는 오픈웨이트 모델 쪽에서 많이 언급되는 Cerebras도 테스트 중이라고 함
  • 다만 CEO 소햄 마줌다르는 코딩 작업에서는 오픈소스 모델이 아직 최고급 상용 모델에 못 미친다고 봄

앞으로 24개월이 가격표를 다시 쓸 듯

• 박스의 에런 레비는 이런 변화가 앞으로 24개월 동안 본격적으로 전개될 것으로 봄

  • VC가 보조한 저가 AI 시대는 성장에는 필요했지만, 이제 시스템 전체의 효율을 끌어올려야 하는 단계라는 얘기임
  • 개별 회사는 이 플라이휠을 따라갈 수 있는지, 아니면 자본 조달이나 모델 효율화 실패로 가격 경쟁에서 밀릴지 결정해야 함

• Eve의 마데스와란은 업계가 “가장 좋은 모델” 찾기에서 “우리 업무에 가장 잘 맞는 모델” 찾기로 이동할 것이라고 봄

  • 이건 개발팀에도 바로 꽂히는 얘기임. 앞으로는 모델 선택이 기능 구현 문제가 아니라 비용 구조 설계 문제가 됨
  • 대충 최신 모델 붙이고 끝내는 방식은 점점 더 비싸질 가능성이 큼

• 소머는 생성형 AI가 지속 가능한 비즈니스가 되려면 광고판부터 계산대 키오스크까지 거의 모든 곳에 스며들어야 한다고 봄

  • 단순히 개발자 도구나 챗봇 구독만으로는 데이터센터 투자 규모를 먹여 살리기 어렵다는 뜻임
  • 무료 시대는 사용자 확보 전략이었지 비즈니스 모델은 아니었다는 결론이 꽤 선명함

---

기술 맥락

• 이번 기사에서 제일 중요한 선택은 “무조건 최고급 모델을 쓰느냐”가 아니라 “작업별로 모델을 나눠 쓰느냐”예요. 토큰 비용이 계속 오르면, 간단한 분류·요약·검색 보강 작업까지 비싼 추론 모델에 태우는 건 서비스 마진을 직접 깎아먹거든요.

• 그래서 기업들이 모델 라우팅을 진지하게 보기 시작해요. 쉬운 요청은 작은 모델이나 오픈웨이트 모델로 보내고, 품질 저하가 치명적인 코딩·법률·고난도 추론만 고급 모델로 보내는 식이에요. Eve가 고가 추론 모델을 25~30% 정도만 쓰는 것도 같은 이유예요.

• AI 에이전트는 특히 비용 예측이 어려워요. 사용자는 한 줄 프롬프트를 보지만, 내부에서는 계획 세우기, 후보 경로 탐색, 결과 검증, 되돌아가기 같은 단계가 계속 돌 수 있거든요. 이 모든 게 토큰으로 계산되면, 화면에 보이는 답변 길이와 실제 비용이 완전히 달라져요.

• 한국 개발팀이 이 흐름에서 챙겨야 할 건 모델 품질 벤치마크만이 아니에요. 기능별 토큰 사용량, 실패 시 재시도 비용, 에이전트 백그라운드 호출량, 데이터 외부 전송 리스크까지 같이 봐야 해요. 이제 AI 비용은 월 구독료가 아니라 클라우드 인프라 비용처럼 계측하고 최적화해야 하는 영역에 가까워졌어요.