AI 추론비 폭탄 맞은 기업들, 퍼블릭 클라우드에서 다시 내려오는 중

클라우드 퍼스트가 흔들리는 이유

• 생성형 AI가 실험실을 벗어나 실제 업무에 상시 투입되면서 클라우드 비용 구조가 확 바뀌고 있음

  • 예전 퍼블릭 클라우드는 새 서비스를 빨리 띄우고, 필요한 만큼 쓰고, 수요가 늘면 바로 확장하는 게 장점이었음
  • 그런데 AI 추론 서버, RAG, AI 에이전트처럼 24시간 돌아가는 워크로드가 늘면서 GPU, 스토리지, 네트워크 비용이 계속 쌓이기 시작함

• 특히 데이터 전송비가 은근히 아픈 지점임

  • 사내 데이터를 외부 클라우드로 보내고, 처리 결과를 다시 가져오는 구조면 전송료와 지연 시간이 같이 붙음
  • 제조 현장 영상, 금융 거래 기록처럼 데이터가 계속 쌓이는 분야는 AI를 데이터가 있는 곳 가까이에 두는 편이 더 싸고 빠를 수 있음

돈 때문에 내려오는 기업들

• 프라이빗 클라우드가 다시 주목받는 가장 큰 이유는 결국 비용임

  • 퍼블릭 클라우드는 초기 설비투자가 거의 없지만, 사용량이 늘면 비용도 그대로 불어남
  • 프라이빗 클라우드는 처음에 장비를 사야 하지만, 가동률이 높으면 장기적으로 연산 단가를 낮출 수 있음
  • 매달 비용 변동이 작아 예산을 잡기 쉽다는 것도 기업 입장에서는 꽤 큰 장점임

• 이미 클라우드에서 내려와 비용을 줄인 사례도 있음

  • Basecamp와 HEY를 운영하는 37signals는 2023년에 7개 서비스를 AWS에서 자체 장비로 옮겼고, 추가 인력 없이 이전을 마쳤다고 함
  • 회사는 5년간 약 1000만달러를 아낄 것으로 봤음
  • Dropbox는 자체 저장 시스템 Magic Pocket을 구축해 대부분의 데이터를 AWS에서 자사 데이터센터로 옮겼고, 이후 2년간 약 7500만달러를 줄인 사례로 언급됨

보안과 규제도 큰 변수

• 비용만 문제가 아니라, 민감 데이터를 어디서 처리하느냐도 중요해졌음

  • 계약서, 고객 정보, 영업비밀을 외부 범용 AI 서비스에 보내기 부담스러운 기업이 많음
  • 모델 학습에 어떤 자료가 쓰이는지, 질문과 답변 로그를 누가 볼 수 있는지, 어느 국가 법률이 적용되는지도 인프라 선택 기준이 됨

• 스위스 IT 기업 클라인은 엔비디아와 HPE가 공동 개발한 프라이빗 클라우드 AI 시스템을 도입했음

  • 고객 장비 구성, 과거 오류 기록, 제조사 문서를 사내 AI가 분석해 상담원에게 해결책을 제시하는 구조임
  • 앞으로 견적과 제안서 작성에도 AI 에이전트를 투입할 계획이라고 함

그렇다고 자체 서버가 만능은 아님

• 프라이빗 클라우드는 운영 난도가 확실히 있음

  • GPU를 직접 확보하려면 초기 투자가 크고, 장비 교체와 장애 대응, 냉각, 전력 관리까지 기업이 책임져야 함
  • 수요 예측이 틀리면 비싼 GPU가 놀 수도 있음

• 이미 퍼블릭 클라우드 서비스에 깊게 묶인 기업은 이전 비용도 큼

  • 특정 사업자의 데이터베이스나 AI 서비스를 오래 썼다면 애플리케이션을 다시 설계해야 할 수 있음
  • 운영 복잡도와 전문 인력 부족이 또 다른 비용으로 튀어나올 수 있음

• 그래서 결론은 탈클라우드가 아니라 재배치에 가까움

  • 대규모 모델 학습, 트래픽이 튀는 서비스, 최신 AI 반도체 실험은 퍼블릭 클라우드가 여전히 유리함
  • 사용량이 일정한 추론, 개인정보와 영업비밀 처리, 응답 속도가 중요한 현장 AI는 프라이빗 클라우드나 자체 서버가 맞을 수 있음

---

기술 맥락

• 이번 흐름의 핵심은 퍼블릭 클라우드가 나빠졌다는 얘기가 아니에요. AI 워크로드가 학습 중심에서 상시 추론 중심으로 옮겨가면서 비용 모델이 달라졌다는 게 포인트예요.

• 모델 학습은 큰 GPU를 짧고 강하게 쓰는 일이 많아서 퍼블릭 클라우드의 탄력성이 잘 맞아요. 반면 추론은 서비스가 켜져 있는 동안 계속 돌아가니까, 사용량이 예측 가능하면 직접 장비를 굴리는 쪽이 단가를 낮출 여지가 생겨요.

• RAG와 AI 에이전트는 데이터 위치도 중요해요. 내부 문서, 고객 기록, 제조 현장 데이터를 매번 외부 클라우드로 보내면 전송비와 지연 시간이 붙고, 규제 검토도 복잡해지거든요.

• 그래서 기업들이 선택하는 건 한쪽으로 몰빵하는 구조가 아니라, 워크로드별 배치예요. 실험과 피크 대응은 퍼블릭 클라우드, 안정적인 추론과 민감 데이터 처리는 프라이빗 클라우드로 나누는 식이 현실적인 타협이에요.