빅테크, 인공지능 무제한 사용 끝내고 토큰 비용 통제에 들어감

무제한 인공지능 사용권의 청구서가 도착함

• 빅테크가 직원들의 인공지능 사용을 조이기 시작했다는 게 핵심임

  • 월스트리트저널은 우버, 메타, 마이크로소프트, 세일즈포스 등이 인공지능 연산 비용 폭등 때문에 사용 제한과 자체 도구 전환에 들어갔다고 보도함
  • 그동안은 무료 체험, 보조금, 실험 예산으로 버텼지만 이제는 실제 운영비가 회계 장부에 찍히는 단계로 들어감

• 비용 폭발의 중심에는 토큰이 있음

  • 거대 언어 모델은 입력과 출력을 토큰 단위로 처리하고, 사용량이 늘수록 비용도 같이 늘어남
  • 우버는 자율형 인공지능 에이전트를 도입하는 과정에서 올해 연간 예산을 3월에 이미 다 썼다고 언급됨
  • 메타 최고기술책임자 앤드루 보스워스는 “단순한 토큰 사용량은 성과 지표가 될 수 없다”는 취지로 내부 경고를 보냄

• 마이크로소프트와 세일즈포스도 비슷한 방향으로 움직임
  • 마이크로소프트는 직원들의 앤스로픽 클로드 사용 권한을 제한하고 내부 코딩 도구로 대체함
  • 세일즈포스는 토큰 소비가 실제 매출로 이어지는지 추적하는 통제 시스템을 구축함
  • 말 그대로 인공지능도 클라우드 비용처럼 사용량 관리와 비용 배분의 대상이 된 셈임

생산성 신화도 검증대에 올라감

• 고급 인공지능 코딩 도구가 실제 제품으로 이어지는 비율도 문제로 제기됨

  • 기사에서는 최고급 인공지능 코딩 도구에 들어간 비용 중 실제 상용화 제품으로 연결된 비율이 20% 미만이었다는 조사 결과를 언급함
  • 나머지 80% 이상은 디버깅과 코드 재수정에 쓰였다고 함
  • 개발자라면 좀 씁쓸한 숫자인데, “코드를 만들어준다”와 “운영 가능한 제품을 만든다” 사이의 간극이 그대로 드러난 것임

• 오픈AI와 앤스로픽 같은 초대형 인공지능 스타트업의 몸값도 다시 보는 분위기임

  • 앤스로픽은 최근 약 650억 달러, 원화로 약 98조 3800억 원 규모의 기업가치를 인정받음
  • 하지만 고객 기업들이 비용을 조이기 시작하면 고성장 서사가 수익성 질문으로 바로 바뀜

• 그래도 이게 인공지능 끝났다는 얘기는 아님

  • 앤스로픽은 자사 모델을 고도화한 결과 기존 7달 걸리던 복잡한 데이터 작업을 2주 미만으로 줄였다고 주장함
  • 구글과 오픈AI도 토큰 단가를 낮춘 경량 모델을 내놓고 있음
  • 기업들도 작업 난이도에 따라 비싼 모델과 싼 모델을 나눠 쓰는 분류 체계를 만들기 시작함

한국 반도체에도 남의 일이 아님

• 빅테크가 인공지능 지출을 조절하면 엔비디아와 한국 메모리 공급망도 영향을 받을 수 있음

  • 엔비디아 그래픽처리장치 수요를 떠받치는 건 결국 마이크로소프트, 메타 같은 대형 고객의 설비투자임
  • 고대역폭 메모리를 공급하는 SK하이닉스와 삼성전자도 이 흐름에서 자유롭지 않음
  • 특히 학습 중심 투자에서 추론 중심 운영으로 무게가 옮겨가면 필요한 칩 조합도 달라질 수 있음

• 앞으로 봐야 할 지표는 꽤 명확함

  • 빅테크의 분기별 설비투자가 계속 늘어나는지, 아니면 조절되는지
  • 인공지능 연산 중 추론 비중이 얼마나 빨리 커지는지
  • 한국 반도체 기업들이 특정 빅테크 의존도를 줄이고 고대역폭 메모리 수요처를 다변화하는지

---

기술 맥락

• 기업들이 토큰 사용량을 조이는 이유는 단순히 예산이 아까워서가 아니에요. 거대 언어 모델은 호출할 때마다 비용이 나가고, 특히 에이전트처럼 여러 번 생각하고 도구를 호출하는 구조에서는 비용이 금방 눈덩이처럼 커지거든요.

• 그래서 앞으로는 모델 라우팅이 중요해져요. 쉬운 작업은 작은 모델로 처리하고, 복잡하거나 매출에 직접 연결되는 작업만 비싼 모델에 보내야 해요. 이걸 못 하면 인공지능 도입이 생산성 프로젝트가 아니라 클라우드 비용 폭탄이 돼요.

• 반도체 쪽도 같은 이유로 흔들릴 수 있어요. 학습 단계에서는 고성능 그래픽처리장치와 고대역폭 메모리가 핵심이지만, 추론이 커지면 비용 효율 좋은 맞춤형 칩이 더 매력적일 수 있거든요. 한국 기업 입장에서는 수요가 사라지는 게 아니라 수요의 모양이 바뀌는 걸 봐야 해요.