메타, 사내 AI 비용 폭주하자 직원별 토큰 한도 건다

AI 많이 쓰라더니, 이제는 토큰 제한 걸기 시작함

• 메타가 사내 AI 사용량을 직원별로 추적하고 한도를 거는 시스템을 만들고 있음

  • 대상은 우선 6000명 규모 직원이고, AI 사용량과 지출을 실시간으로 보는 내부 플랫폼을 구축 중임
  • 메타는 2026년에 내부 AI 사용 비용만 수십억달러까지 갈 수 있다고 보고 있음
  • 그냥 “AI 도입 잘하자” 수준이 아니라, 이제는 예산 관리와 할당 결정까지 붙는 비용 통제 모드로 들어간 셈임

• 핵심 도구는 중앙 대시보드인 AI 게이트웨이임

  • 사용량과 지출을 모니터링하고, 비정상적으로 비용이 튀면 자동 알림을 보내는 기능이 들어갈 예정임
  • 누적 데이터는 지출 예측, 컴퓨팅 용량 계획, 공급업체 협상에 쓰임
  • 몇 주 안에 전사 적용을 목표로 하고 있어서 꽤 빠르게 굴러가는 조치임

문제는 AI 사용량을 성과처럼 만든 순간 터짐

• 메타는 지난해 말부터 AI 사용을 강하게 밀어붙였고, 심지어 성과 보상안에도 AI 활용을 엮었음

  • 오픈AI, 앤트로픽, 구글 도구를 직원들에게 열어줬고, AI를 많이 쓰는 분위기를 조직적으로 만들었음
  • 그런데 이게 생산성 향상보다 토큰 사용량 경쟁으로 흘러감

• 직원들은 리더보드 상위권에 오르려고 에이전트에 여러 작업을 동시에 던지는 식으로 사용량을 키웠음

  • 이른바 토큰맥싱 문화가 생긴 거임
  • 결국 순위표는 폐지됐고, 앤드류 보스워스 최고기술책임자는 “사용량만으로는 영향력을 측정할 수 없다”고 경고함
  • AI 도구는 더 나은 작업을 더 빠르게 하게 도와줄 때만 써야 한다는 메시지도 내부에 전달됨

외부 모델 줄이고 자체 코딩 AI로 돌리려는 흐름도 같이 감

• 메타는 외부 AI 모델 의존도도 낮추려 함

  • 엔지니어들이 많이 쓰는 앤트로픽 클로드 같은 외부 모델 비중을 줄이고, 자체 코딩 어시스턴트 메타코드로 전환을 유도할 계획임
  • 새로 만든 응용 AI 엔지니어링 부서가 메타코드 성능 개선용 고품질 학습 데이터 생성에 들어간 것으로 알려짐

• 이건 단순한 비용 절감만은 아님

  • 외부 모델 호출량을 줄이면 단기 비용을 줄일 수 있음
  • 동시에 코딩 지원 도구를 내부 표준으로 만들면 보안, 데이터, 모델 개선 루프를 회사 안에 묶을 수 있음
  • 다만 자체 도구가 클로드보다 못하면 엔지니어 입장에서는 생산성 손실로 느껴질 수 있어서, 강제 전환은 꽤 민감한 문제임

실리콘밸리 전체가 같은 계산서를 받고 있음

• 메타만의 문제가 아니라 우버, 서비스나우, 아마존도 비슷한 비용 압박을 겪는 중임

  • 우버와 서비스나우는 몇 달 만에 연간 AI 예산을 모두 소진함
  • 아마존도 토큰맥싱 경쟁을 막으려고 사내 리더보드를 없앴음

• 아이러니한 건 메타가 올해 AI 인프라 확장에 최대 1450억달러를 투자하는 와중에 내부 AI 사용 비용을 조이기 시작했다는 점임

  • 투자자 압박도 커지고 있음
  • 메타는 구조조정, 페이스북과 인스타그램 유료 구독, 기업 대상 서비스 확대 같은 방식으로 비용 절감과 매출 확대를 동시에 밀고 있음

---

기술 맥락

• 이번 이슈의 핵심은 대규모 언어 모델 사용량을 “누가 얼마나 썼는지” 회사가 제대로 계측하지 못했다는 데 있어요. 토큰은 모델 호출 비용과 거의 직결되기 때문에, 사내 도구라도 클라우드 비용처럼 예산과 한도를 붙여야 하거든요.

• 메타가 AI 게이트웨이를 만드는 이유는 개발자 개인의 선의에 비용 관리를 맡기기 어렵기 때문이에요. 팀별 사용량, 갑작스러운 지출 증가, 향후 컴퓨팅 수요를 중앙에서 봐야 공급업체와 가격 협상도 하고 인프라 계획도 세울 수 있어요.

• 메타코드로 전환하려는 흐름도 비용만 보면 꽤 자연스러워요. 외부 모델을 계속 쓰면 호출량이 늘수록 청구서가 커지지만, 자체 도구는 초기 투자와 운영비를 감수하는 대신 내부 데이터와 워크플로에 맞춰 최적화할 여지가 생겨요.

• 다만 사내 AI 도입 지표를 토큰 사용량으로 잡으면 왜곡이 생겨요. 개발자가 실제로 더 좋은 코드를 더 빨리 만든 게 아니라, 에이전트에 일을 많이 던졌다는 숫자만 커질 수 있거든요. 그래서 AI 생산성 평가는 사용량보다 결과물 품질, 리뷰 시간 감소, 장애 감소 같은 지표와 같이 봐야 해요.