AI GPU, 계속 빌려 쓸까 직접 살까? 카카오클라우드가 꺼낸 현실 답안

GPU 도입, 문제가 성능이 아니라 돈으로 넘어감

• 기업들이 AI용 GPU를 어떻게 도입할지 결정하지 못하고 있음

  • 카카오엔터프라이즈가 IT 전문가 508명을 조사했더니, 61.6%가 GPU 도입을 검토 중이거나 아직 미정이라고 답함
  • 검토 중은 30.9%, 미정은 30.7%였음. 말 그대로 10곳 중 6곳이 결정을 못 내린 상태임

• 발목을 잡는 건 성능보다 비용임

  • 도입 장애 요인 1위는 비용 부담으로 38.6%, 응답자 수로는 290명임
  • 2위는 비용 예측의 어려움 20.8%, 156명임
  • 성능 우려는 8.9%, 67명에 그쳤고, 비용 관련 응답이 성능 걱정보다 4배 이상 많았음

24시간 돌리면 클라우드가 꼭 싸지 않음

• 사용 패턴에 따라 답이 완전히 갈림

  • GPU를 24시간 상시 가동하는 그룹에서는 온프레미스 선호가 101명, GPUaaS 선호가 25명이었음
  • 상시 사용 환경에서는 종량제가 유연한 요금제가 아니라 비용 폭탄이 될 수 있다는 얘기임

• 반대로 단기 프로젝트나 갑자기 튀는 수요에는 GPUaaS가 여전히 유리함

  • 전력, 냉각, 항온항습, 네트워크까지 직접 챙기면 구축형은 바로 과잉 투자가 될 수 있음
  • 결국 클라우드냐 온프레미스냐가 아니라, 워크로드가 계속 도는지 가끔 튀는지가 기준임

• 조직 내부의 관점 차이도 의사결정을 늦추는 요인으로 지목됨

  • 엔지니어는 안정적인 성능을 원하고, 경영진은 비용 통제를 원함
  • AI 추론 트래픽이 커질수록 이 둘 사이의 간극이 더 크게 드러남

카카오엔터프라이즈의 답은 소유와 구독을 섞는 방식

• 카카오엔터프라이즈가 제시한 해법은 하이브리드 GPUaaS임

  • 기본 워크로드용 GPU는 기업이 구매해서 자산으로 보유함
  • 대신 구매 과정, 데이터센터, 전력, 통합 관리, 확장 운영은 카카오클라우드 플랫폼이 맡는 구조임
  • 추가 GPU나 최신 GPU가 필요할 때만 카카오클라우드 GPUaaS를 종량제로 붙여 쓰는 방식임

• 세액공제도 소유 모델에 힘을 보태는 요소로 언급됨

  • 지난해 조세특례제한법 개정으로 국가전략기술로 지정된 AI 시설투자에 15~25% 세액공제가 적용됨
  • GPU를 직접 사는 부담이 줄어들면, 상시 워크로드 기업에는 온프레미스 쪽 계산이 더 괜찮아질 수 있음

• 운영 역량은 여전히 큰 변수임

  • 설문에서 운영 인력·역량 부족은 82명이 꼽아 비용 다음가는 장벽으로 나왔음
  • 카카오클라우드는 쿠브플로우, 보안 관리, 24시간 모니터링을 묶어 이 부담을 줄이겠다는 입장임
  • 지난해 국가 GPU 확보 사업에서 엔비디아 B200 255노드 클러스터를 구축한 경험도 근거로 내세움

최신 GPU만 답은 아니라는 반론

• 카카오엔터프라이즈는 GPU 교체 주기가 생각보다 짧지 않다고 봄

  • 2020년에 나온 A100을 아직 쓰는 기업이 많다는 점을 근거로 듦
  • 기존 GPU를 충분히 활용할 수 있다면 매번 신제품을 살 필요는 없고, 최신 GPU가 필요한 시점에만 GPUaaS로 확장하면 된다는 논리임

• 이 흐름은 국내만의 얘기가 아님

  • 해외에서도 AI 비용 부담 때문에 클라우드 인프라를 자체 시설로 되돌리는 클라우드 리패트리에이션 논의가 커지고 있음
  • AI 추론이 제품의 상시 비용 구조가 되면서, 인프라 전략이 다시 꽤 현실적인 계산 문제가 됨

---

기술 맥락

• 이 기사에서 핵심 선택지는 GPU를 빌릴지, 살지, 아니면 둘을 섞을지예요. 예전에는 클라우드가 빠르고 편하니까 GPUaaS로 시작하는 게 자연스러웠지만, 추론 트래픽이 24시간 계속 흐르면 종량제 비용이 예측하기 어려운 고정비처럼 변하거든요.

• 온프레미스가 다시 거론되는 이유는 성능보다 비용 통제 때문이에요. GPU를 자산으로 사면 초기 투자와 운영 부담은 커지지만, 계속 돌아가는 워크로드에서는 월별 비용을 더 안정적으로 계산할 수 있어요. 그래서 상시 가동 그룹에서 온프레미스 선호가 GPUaaS보다 4배 높게 나온 거예요.

• 하이브리드 GPUaaS는 이 둘 사이의 타협안에 가까워요. 기본 부하는 소유한 GPU로 처리하고, 갑자기 수요가 늘거나 최신 GPU가 필요할 때만 클라우드 GPU를 붙이는 방식이에요. 이렇게 하면 평소 비용은 눌러두고, 피크 수요 대응력은 어느 정도 가져갈 수 있어요.

• 다만 이 모델은 운영을 누가 책임지느냐가 중요해요. GPU 서버는 구매만 하면 끝나는 장비가 아니라 전력, 냉각, 네트워크, 보안, 머신러닝 워크플로우까지 같이 따라오거든요. 카카오클라우드가 쿠브플로우와 24시간 모니터링을 묶어 말하는 것도 결국 기업들이 직접 운영 인력을 충분히 확보하기 어렵기 때문이에요.