--- title: "AI 추론비 폭탄 맞은 기업들, 퍼블릭 클라우드에서 다시 내려오는 중" published: 2026-07-04T09:05:04.081Z canonical: https://jeff.news/article/4620 --- # AI 추론비 폭탄 맞은 기업들, 퍼블릭 클라우드에서 다시 내려오는 중 생성형 AI가 실험 단계를 넘어 상시 서비스로 들어가면서, 퍼블릭 클라우드의 GPU 사용료와 데이터 전송 비용이 부담으로 커지고 있어. 기업들은 학습과 실험은 퍼블릭 클라우드에 두고, 사용량이 일정한 추론 업무는 프라이빗 클라우드나 자체 서버로 옮기는 하이브리드 전략을 택하고 있어. ## 클라우드 퍼스트가 흔들리는 이유 - 생성형 AI가 실험실을 벗어나 실제 업무에 상시 투입되면서 클라우드 비용 구조가 확 바뀌고 있음 - 예전 퍼블릭 클라우드는 새 서비스를 빨리 띄우고, 필요한 만큼 쓰고, 수요가 늘면 바로 확장하는 게 장점이었음 - 그런데 AI 추론 서버, RAG, AI 에이전트처럼 24시간 돌아가는 워크로드가 늘면서 GPU, 스토리지, 네트워크 비용이 계속 쌓이기 시작함 - 특히 데이터 전송비가 은근히 아픈 지점임 - 사내 데이터를 외부 클라우드로 보내고, 처리 결과를 다시 가져오는 구조면 전송료와 지연 시간이 같이 붙음 - 제조 현장 영상, 금융 거래 기록처럼 데이터가 계속 쌓이는 분야는 AI를 데이터가 있는 곳 가까이에 두는 편이 더 싸고 빠를 수 있음 > [!IMPORTANT] > 브로드컴 조사에서 기업 56%가 운영 단계 AI 추론을 프라이빗 클라우드에서 가동 중이거나 도입할 계획이라고 답했음. 반대로 퍼블릭 클라우드를 쓰겠다는 비율은 1년 사이 56%에서 41%로 떨어졌음. ## 돈 때문에 내려오는 기업들 - 프라이빗 클라우드가 다시 주목받는 가장 큰 이유는 결국 비용임 - 퍼블릭 클라우드는 초기 설비투자가 거의 없지만, 사용량이 늘면 비용도 그대로 불어남 - 프라이빗 클라우드는 처음에 장비를 사야 하지만, 가동률이 높으면 장기적으로 연산 단가를 낮출 수 있음 - 매달 비용 변동이 작아 예산을 잡기 쉽다는 것도 기업 입장에서는 꽤 큰 장점임 - 이미 클라우드에서 내려와 비용을 줄인 사례도 있음 - Basecamp와 HEY를 운영하는 37signals는 2023년에 7개 서비스를 AWS에서 자체 장비로 옮겼고, 추가 인력 없이 이전을 마쳤다고 함 - 회사는 5년간 약 1000만달러를 아낄 것으로 봤음 - Dropbox는 자체 저장 시스템 Magic Pocket을 구축해 대부분의 데이터를 AWS에서 자사 데이터센터로 옮겼고, 이후 2년간 약 7500만달러를 줄인 사례로 언급됨 ## 보안과 규제도 큰 변수 - 비용만 문제가 아니라, 민감 데이터를 어디서 처리하느냐도 중요해졌음 - 계약서, 고객 정보, 영업비밀을 외부 범용 AI 서비스에 보내기 부담스러운 기업이 많음 - 모델 학습에 어떤 자료가 쓰이는지, 질문과 답변 로그를 누가 볼 수 있는지, 어느 국가 법률이 적용되는지도 인프라 선택 기준이 됨 - 스위스 IT 기업 클라인은 엔비디아와 HPE가 공동 개발한 프라이빗 클라우드 AI 시스템을 도입했음 - 고객 장비 구성, 과거 오류 기록, 제조사 문서를 사내 AI가 분석해 상담원에게 해결책을 제시하는 구조임 - 앞으로 견적과 제안서 작성에도 AI 에이전트를 투입할 계획이라고 함 ## 그렇다고 자체 서버가 만능은 아님 - 프라이빗 클라우드는 운영 난도가 확실히 있음 - GPU를 직접 확보하려면 초기 투자가 크고, 장비 교체와 장애 대응, 냉각, 전력 관리까지 기업이 책임져야 함 - 수요 예측이 틀리면 비싼 GPU가 놀 수도 있음 - 이미 퍼블릭 클라우드 서비스에 깊게 묶인 기업은 이전 비용도 큼 - 특정 사업자의 데이터베이스나 AI 서비스를 오래 썼다면 애플리케이션을 다시 설계해야 할 수 있음 - 운영 복잡도와 전문 인력 부족이 또 다른 비용으로 튀어나올 수 있음 - 그래서 결론은 탈클라우드가 아니라 재배치에 가까움 - 대규모 모델 학습, 트래픽이 튀는 서비스, 최신 AI 반도체 실험은 퍼블릭 클라우드가 여전히 유리함 - 사용량이 일정한 추론, 개인정보와 영업비밀 처리, 응답 속도가 중요한 현장 AI는 프라이빗 클라우드나 자체 서버가 맞을 수 있음 --- ## 기술 맥락 - 이번 흐름의 핵심은 퍼블릭 클라우드가 나빠졌다는 얘기가 아니에요. AI 워크로드가 학습 중심에서 상시 추론 중심으로 옮겨가면서 비용 모델이 달라졌다는 게 포인트예요. - 모델 학습은 큰 GPU를 짧고 강하게 쓰는 일이 많아서 퍼블릭 클라우드의 탄력성이 잘 맞아요. 반면 추론은 서비스가 켜져 있는 동안 계속 돌아가니까, 사용량이 예측 가능하면 직접 장비를 굴리는 쪽이 단가를 낮출 여지가 생겨요. - RAG와 AI 에이전트는 데이터 위치도 중요해요. 내부 문서, 고객 기록, 제조 현장 데이터를 매번 외부 클라우드로 보내면 전송비와 지연 시간이 붙고, 규제 검토도 복잡해지거든요. - 그래서 기업들이 선택하는 건 한쪽으로 몰빵하는 구조가 아니라, 워크로드별 배치예요. 실험과 피크 대응은 퍼블릭 클라우드, 안정적인 추론과 민감 데이터 처리는 프라이빗 클라우드로 나누는 식이 현실적인 타협이에요. ## 핵심 포인트 - 브로드컴 조사에서 기업 56%가 운영 단계 AI 추론을 프라이빗 클라우드에서 가동하거나 도입할 계획이라고 응답 - 퍼블릭 클라우드를 쓰겠다는 비율은 1년 사이 56%에서 41%로 하락 - 37시그널스는 AWS에서 자체 장비로 옮겨 5년간 약 1000만달러 절감 예상 - 드롭박스는 자체 저장 시스템 Magic Pocket 구축 후 2년간 약 7500만달러 절감 사례로 언급 ## 인사이트 AI 시대의 클라우드 전략은 클라우드 퍼스트에서 워크로드 퍼스트로 바뀌는 중이야. 특히 24시간 돌아가는 추론, RAG, 사내 데이터 기반 에이전트는 월 청구서가 곧 아키텍처 리뷰를 강제하는 영역이 됐어.