--- title: "AI 에이전트 시대, 진짜 무서운 건 모델 성능보다 토큰 비용일 수 있음" published: 2026-05-23T15:05:04.580Z canonical: https://jeff.news/article/3142 --- # AI 에이전트 시대, 진짜 무서운 건 모델 성능보다 토큰 비용일 수 있음 AI 에이전트가 확산되면서 쿼리와 프롬프트 사용량에 따라 늘어나는 토큰 비용이 기업의 새 고민거리로 떠오르고 있다. 델은 온프레미스 인프라가 퍼블릭 클라우드보다 경제적일 수 있다고 주장하고, 업계에서는 핀옵스도 토큰 소비와 추론 비용 중심으로 다시 봐야 한다는 얘기가 나온다. - AI 에이전트 시대의 비용 이슈가 슬슬 “토큰 비용”으로 모이고 있음 - 여기서 토큰은 암호화폐가 아니라 대규모 언어 모델(LLM)이 입력과 출력을 처리하는 단위임 - 쿼리, 프롬프트, 도구 호출, 반복 추론이 늘어나면 토큰 사용량이 같이 늘고, 그만큼 비용도 커짐 - 델 테크놀로지스는 이 지점을 파고들며 “퍼블릭 클라우드보다 온프레미스가 더 경제적일 수 있다”고 주장함 - 델 테크놀로지스 월드 2026에서 나온 메시지인데, 당연히 데이터센터 하드웨어를 파는 회사의 이해관계도 깔려 있음 - 그래도 완전히 마케팅으로만 치부하기 어려운 이유는, AI 에이전트가 실제로 토큰을 꽤 많이 먹는 워크로드이기 때문임 - 기사에서 가장 센 사례는 개발자 한 명이 24시간 만에 3,400달러, 한화 약 510만원을 청구받았다는 얘기임 - 델은 이 사례를 들어 AI 에이전트의 토큰 사용량이 얼마나 빨리 비용으로 튈 수 있는지 강조함 - 특히 “슈퍼 유저”처럼 에이전트를 계속 돌리는 개발자나 팀은 정액제 SaaS 감각으로 접근하면 비용 감각이 깨질 수 있음 > [!WARNING] > AI 에이전트는 한 번의 질문으로 끝나는 챗봇이 아님. 계획 세우기, 도구 호출, 결과 검증을 반복하면서 토큰을 계속 태우기 때문에 비용 폭주가 훨씬 쉽게 생길 수 있음 - 토큰 비용이 까다로운 이유는 같은 작업처럼 보여도 실제 사용량이 매번 달라질 수 있다는 점임 - 451 리서치는 LLM에 무언가를 요청할 때 얼마나 많은 토큰을 쓸지 예측하기가 여전히 어렵다고 봄 - 같은 모델에서 비슷한 작업을 반복해도 프롬프트마다 토큰 소모량이 달라질 수 있음 - 원문에는 LLM을 잘못 풀어쓴 표현도 있지만, 맥락상 대규모 언어 모델을 가리키는 얘기임 - 흥미로운 건 토큰 단가는 내려가는데 총비용은 오히려 늘 수 있다는 대목임 - 모델 효율이 좋아지고 생성 비용이 낮아져도, 기업 내 AI 도입 속도가 너무 빠르면 전체 토큰 소비가 더 크게 증가함 - 이걸 기사에서는 제본스 역설(Jevons Paradox)로 설명함 - 싸지니까 더 많이 쓰고, 더 많이 쓰니까 총액은 커지는 전형적인 패턴임 - 앤트로픽의 클로드 구독 변화도 이 흐름과 맞닿아 있음 - 기사에 따르면 앤트로픽은 사람이 클로드와 상호작용하는 구독과 에이전트 기반 구독을 분리하는 방향을 발표함 - 에이전트 기반 구독은 월별 고정 API 크레딧 방식으로 전환된다고 설명됨 - 타사 도구 사용 패턴까지 고려해 설계된 가격제가 아니라는 점도 언급됨 - 그래서 클라우드 비용 관리 방식인 핀옵스(FinOps)도 AI 시대에 맞게 바뀌어야 한다는 얘기가 나옴 - 예전엔 인스턴스, 스토리지, 네트워크 비용을 최적화하는 게 중심이었다면, 이제는 추론 비용과 토큰 소비를 봐야 함 - 451 리서치는 토큰 소비에서 돌아오는 가치를 측정하는 게 중요하다고 짚음 - 결국 “얼마나 썼나”보다 “그 토큰이 어떤 업무 성과를 냈나”를 봐야 한다는 얘기임 - 그렇다고 퍼블릭 클라우드가 끝났다는 결론은 아직 무리임 - 클라우드는 여전히 낮은 초기 비용, 빠른 도입 속도, 유연성을 제공함 - 반대로 대규모로 상시 가동되는 AI 환경이라면 온프레미스가 장기적으로 더 안정적이고 예측 가능한 비용을 줄 수 있음 - 현실적인 결론은 퍼블릭 클라우드와 자체 인프라를 섞는 하이브리드 전략에 가까움 > [!IMPORTANT] > AI 에이전트 비용 최적화의 핵심은 “클라우드냐 온프레미스냐” 하나로 끝나지 않음. 사용량, 활용률, 토큰당 비용, 업무 가치까지 같이 봐야 계산이 맞음 --- ## 기술 맥락 - 이 기사에서 중요한 선택지는 AI 에이전트를 퍼블릭 클라우드에서 계속 돌릴지, 온프레미스 인프라를 직접 갖출지예요. 에이전트는 일반 챗봇보다 추론과 도구 호출을 반복하기 때문에 사용량이 커질수록 비용 구조가 훨씬 민감해지거든요. - 델이 온프레미스를 강조하는 이유는 하드웨어를 팔아야 해서이기도 하지만, 대규모 상시 AI 워크로드에서는 맞는 부분도 있어요. 장비를 충분히 높은 활용률로 굴릴 수 있다면 토큰당 비용을 더 예측 가능하게 만들 수 있거든요. - 반대로 퍼블릭 클라우드는 초기 비용이 낮고 실험 속도가 빠르다는 장점이 있어요. 아직 사용량이 불확실한 팀이 처음부터 GPU 인프라를 사는 건 위험할 수 있어서, 클라우드로 시작한 뒤 비용 패턴이 보이면 하이브리드로 가는 흐름이 현실적이에요. - 그래서 FinOps도 단순히 클라우드 청구서 줄이기에서 끝나면 안 돼요. 어떤 에이전트가 어떤 업무에서 토큰을 얼마나 쓰고, 그 결과가 실제로 개발 시간 절감이나 운영 자동화로 이어졌는지 봐야 비용 통제가 가능해져요. ## 핵심 포인트 - AI 에이전트는 토큰을 많이 소비해 사용량이 커질수록 비용 예측이 어려워짐 - 델은 24시간 만에 약 510만원이 청구된 개발자 사례를 들며 온프레미스 경제성을 강조함 - 토큰 단가는 내려가도 사용량이 폭증해 총비용은 늘어나는 제본스 역설이 AI에도 적용될 수 있음 ## 인사이트 AI 에이전트 도입이 “생산성 향상”으로만 포장되지만, 실제 운영 단계에선 토큰 비용과 사용량 통제가 꽤 빡센 숙제가 된다. 특히 상시 실행 에이전트를 굴리는 조직이라면 클라우드냐 온프레미스냐보다 먼저 ‘토큰당 가치’를 측정하는 체계가 필요해 보인다.