엔비디아 임원도 인정한 AI 비용 역설: 지금은 사람보다 컴퓨트가 더 비싸다

• 엔비디아 내부에서도 “AI가 사람보다 싸다”는 말이 아직은 꽤 애매하다는 얘기가 나옴

  • 엔비디아 응용 딥러닝 부사장 브라이언 카탄자로는 Axios에 “내 팀 기준으로 컴퓨트 비용이 직원 비용을 훨씬 넘어선다”고 말함
  • 엔비디아가 AI 붐의 최대 수혜자라는 걸 생각하면 꽤 묘한 발언임. AI를 파는 쪽에서도 실제 운영비는 만만치 않다는 얘기니까

• 이 얘기는 최근 빅테크의 해고 흐름과 맞물려 더 찜찜하게 들림

  • 메타는 직원 10%, 약 8,000명을 감원하고, 열려 있던 채용 포지션 6,000개도 없애겠다고 밝힘
  • 마이크로소프트도 사상 최대 규모의 자발적 퇴직 프로그램을 제안함
  • 겉으로는 “효율화”인데, 실제로 AI가 인건비를 얼마나 대체했는지는 아직 데이터가 빈약함

• MIT 연구도 “AI 자동화가 지금 당장 싸게 먹히는 영역은 제한적”이라는 쪽에 가까움

  • 2024년 MIT 연구는 시각 작업이 핵심인 직무를 분석했는데, AI 자동화가 경제적으로 맞는 경우는 23%뿐이라고 봄
  • 나머지 77%는 사람이 계속 일하는 게 더 저렴하다는 결론임
  • 즉 기술적으로 가능하냐와 경제적으로 말이 되냐는 완전히 다른 문제임

• 그 와중에 AI 지출은 오히려 폭주 중임

  • 모건스탠리에 따르면 빅테크 기업들이 올해 발표한 AI 관련 자본 지출은 지금까지 7,400억 달러임
  • 2025년보다 69% 늘어난 규모임
  • 맥킨지는 현재 추세라면 2030년 AI 지출이 5조2천억 달러에 이를 수 있다고 봄
  • 그중 데이터센터가 1조6천억 달러, IT 장비가 3조3천억 달러로 추정됨
  • 더 빠른 시나리오에서는 2030년 7조9천억 달러까지 튈 수 있음

• 비용 압박은 이미 현장에서 터지고 있음

  • 우버 CTO 프라빈 네팔리 나가는 AI 코딩 도구 전환을 두고 “생각했던 예산이 이미 날아갔다”고 말함
  • 여기서 언급된 도구 중 하나가 Anthropic의 Claude Code임
  • AI 코딩 도구가 개발자 생산성을 올릴 수는 있어도, 조직 단위로 굴리면 구독료와 사용량, 인프라 비용이 바로 예산 문제로 튀어나옴

• AI 소프트웨어 가격도 슬금슬금 오르는 중임

  • 지출 관리 업체 트로픽은 지난 12월 AI 소프트웨어 요금이 전년 대비 20~37% 올랐다고 봄
  • 스위스 인공지능연구소 고든 경영대학원의 키스 리 교수는 정액 구독 모델도 문제라고 짚음
  • 헤비 유저가 정액제로 AI를 많이 쓰면, 고정 구독료가 실제 운영 비용을 못 따라갈 수 있다는 얘기임

• 그래서 일부 기업은 AI를 “인력 대체재”가 아니라 “보조 도구”로 다시 보고 있음

  • 지금 비용 구조에서는 AI가 명확한 비용 절감 수단이라고 말하기 어렵기 때문임
  • 특히 하드웨어와 전력 비용이 AI 제공사의 운영비를 계속 밀어 올리고 있음
  • 결국 고객사 입장에서도 AI 도입은 무료 생산성 치트키가 아니라 꽤 비싼 운영 의사결정이 됨

• 그래도 비용 구조가 뒤집힐 가능성은 있음

  • Gartner는 1조 개 파라미터 규모 대규모 언어 모델(LLM)의 추론 비용이 앞으로 4년 동안 90% 이상 떨어질 수 있다고 전망함
  • 모델 설계가 효율화되고, AI 인프라가 개선되고, 하드웨어 공급이 따라오면 단가는 내려갈 수 있음
  • AI 업체들도 정액제에서 사용량 기반 과금으로 옮겨갈 가능성이 큼

• 다만 싸지는 것만으로는 부족함. 기업이 원하는 건 예측 가능성임

  • 키스 리 교수는 AI가 사람보다 싸지는 것뿐 아니라, 대규모 환경에서 더 예측 가능해져야 한다고 말함
  • 환각이 줄어야 하고, 사람의 감시가 덜 필요해야 하고, 회사 인프라에 자연스럽게 들어가야 함
  • 연준 데이터에 따르면 2025년 말 기준 기업의 약 18%가 AI 도구를 도입했고, 2025년 9월 이후 도입률은 68% 성장함

---

기술 맥락

• 여기서 핵심은 AI 모델 자체보다 추론 비용이에요. 학습은 한 번 큰돈을 쓰는 성격이 강하지만, 추론은 사용자가 요청할 때마다 계속 비용이 쌓이거든요. 그래서 AI 코딩 도구나 사내 자동화가 전사적으로 퍼지면 “한 명당 월 구독료”보다 실제 컴퓨트 비용이 더 중요한 문제가 돼요.

• 기업들이 AI를 도입하는 이유는 인건비 절감만이 아니에요. 코드 작성, 문서 검색, 고객 응대 같은 업무에서 속도를 올릴 수 있다는 기대가 있고, 경쟁사가 먼저 생산성 레버리지를 잡을까 봐 밀어붙이는 면도 있어요. 하지만 기사에서 보듯이 지금은 그 기대가 비용 구조로 바로 검증된 상태는 아니에요.

• 정액제에서 사용량 기반 과금으로 넘어갈 가능성이 큰 것도 이 때문이에요. 헤비 유저가 많아질수록 AI 제공사는 GPU, 전력, 데이터센터 비용을 더 내야 하는데, 정액 요금만 받으면 수지가 안 맞을 수 있거든요. 개발 조직 입장에서는 앞으로 AI 도구 예산을 좌석 수가 아니라 호출량과 워크플로 단위로 봐야 할 가능성이 커요.

• 결국 실무에서 볼 포인트는 “AI가 개발자를 대체하냐”보다 “어떤 작업에서 감시 비용까지 포함해도 이득이냐”예요. 환각 검수, 보안 리뷰, 잘못된 자동화 복구까지 사람이 계속 붙어야 한다면, 겉보기 생산성 향상이 실제 비용 절감으로 이어지기 어렵거든요.