AI 도입률 KPI로 토큰 사용량을 잡으면 생기는 일

• 생성형 AI 도입률을 올리겠다고 ‘토큰 사용량’을 KPI로 잡으면 꽤 위험한 일이 벌어질 수 있음

  • 토큰은 생성형 AI가 텍스트를 읽고 쓰는 기본 단위라서 측정이 쉽고, 비용과도 바로 연결됨
  • 그래서 기업들이 “우리 직원들이 AI를 얼마나 쓰나?”를 보려고 토큰 소비량을 보기 시작함
  • 문제는 이 숫자가 성과를 말해주진 않는다는 점임

• 업계에서는 이런 현상을 ‘토큰맥싱(Tokenmaxxing)’이라고 부르기 시작함

  • 업무 성과를 높이려고 AI를 쓰는 게 아니라, 단순히 더 많은 토큰을 태우려고 AI를 과하게 쓰는 행동을 뜻함
  • 일부 기업은 사내 리더보드까지 운영하면서 직원 간 AI 활용 경쟁을 유도한 것으로 알려짐
  • 아마존, JP모건, 메타, 디즈니 같은 기업 사례가 언급됨

• 토큰 사용량은 도입 초기에만 쓸 만한 지표임

  • AI 분석 기업 펜도의 토드 올슨 CEO는 토큰 사용량이 “AI를 아예 쓰는지” 확인하는 초기 지표로는 의미가 있다고 봄
  • 토큰 사용량이 0이면 그 직원은 AI에서 아무 가치도 얻지 못하고 있을 가능성이 높기 때문임
  • 하지만 조직 전체가 AI를 쓰기 시작한 뒤에는 “얼마나 썼나”보다 “어떻게 썼나”가 훨씬 중요해짐

• 잘못된 KPI는 사람 행동을 너무 쉽게 왜곡함

  • 킨드릴의 로건 울프는 토큰 사용량을 생산성의 대리 지표로 쓰는 게 과거 ‘코드 라인 수’ 평가와 닮았다고 지적함
  • 코드 줄 수를 성과로 보면 개발자는 좋은 소프트웨어가 아니라 긴 코드를 만들게 됨
  • 토큰도 똑같아서, 사용량이 KPI가 되면 직원은 품질이나 효율보다 소비량을 늘리는 쪽으로 움직일 수 있음

• 비용 문제는 여기서 바로 터짐

  • 최신 대규모 언어 모델(LLM)은 성능이 좋은 만큼 연산 비용이 비쌈
  • 간단한 문서 요약도 저렴한 모델이나 자동화 도구로 충분한데, KPI 때문에 고성능 모델을 불필요하게 쓰는 상황이 생길 수 있음
  • 데이터센터 운영비와 에너지 비용까지 올라가는 상황이라, 대규모 조직에서는 토큰 증가가 곧 운영비 증가로 이어짐

• 개발 조직에서는 특히 더 조심해야 함

  • AI 코딩 도구 사용량이나 생성 코드량을 성과로 보면, 실제 운영에 반영되지 못하는 코드가 늘 수 있음
  • 더 나쁘게는 보안 취약점이나 버그가 섞인 코드가 배포될 위험도 커짐
  • 개발 생산성은 “얼마나 많이 생성했나”가 아니라 “검증된 코드가 얼마나 안정적으로 서비스에 들어갔나”로 봐야 함

• 결국 AI 성과 측정은 사용량 중심에서 성과 중심으로 바뀌어야 함

  • 토큰 사용량은 참고 지표로 남기되, 업무 결과물·품질·비용 효율성·프로세스 개선 효과를 같이 봐야 함
  • AI가 만든 결과물이 실제 비즈니스 프로세스 개선이나 고객 가치로 이어졌는지도 확인해야 함
  • 많이 쓰는 조직이 아니라, 제대로 써서 성과로 연결하는 조직이 이긴다는 얘기임

---

기술 맥락

• 토큰 사용량을 KPI로 삼는 건 측정이 쉬워서예요. 생성형 AI 플랫폼은 입력과 출력 토큰을 자동으로 기록하니까, 별도 분석 시스템 없이도 대시보드 숫자를 만들 수 있거든요.

• 그런데 쉬운 지표가 좋은 지표는 아니에요. 토큰은 사용 여부를 보여주지만, 업무 시간이 줄었는지, 코드 품질이 좋아졌는지, 고객 대응이 빨라졌는지는 직접 말해주지 못해요.

• 개발팀에서는 이 문제가 더 크게 터져요. AI가 코드를 많이 뽑아내도 리뷰를 통과하지 못하거나 운영에 반영되지 않으면 생산성이 아니라 대기열과 리스크만 늘어난 거거든요.

• 그래서 AI 거버넌스는 모델 호출량, 모델 비용, 결과물 품질, 운영 반영률을 같이 봐야 해요. 특히 고비용 모델을 꼭 써야 하는 작업과 저렴한 모델로 충분한 작업을 나누지 않으면, 도입률은 올라가는데 ROI는 떨어지는 이상한 그림이 나와요.