AI 때문에 클라우드 퍼스트가 흔들린다: 이제 워크로드별로 돈 계산해야 할 때

• AI가 기업 클라우드 전략의 오래된 전제를 흔들고 있음

  • 지난 10년 넘게 기업 IT의 방향은 대체로 ‘퍼블릭 클라우드로 통합’이었음
  • AWS, 애저, 구글 클라우드 같은 하이퍼스케일러는 확장성, 유연성, 초기 비용 절감의 상징처럼 쓰였음
  • 그런데 생성형 AI 학습과 추론은 일반 웹 서비스나 데이터베이스 운영과는 자원 사용 패턴이 완전히 다름

• 문제는 AI 워크로드가 온디맨드 클라우드의 장점을 상쇄한다는 점임

  • 일시적으로 트래픽이 튀는 서비스라면 필요한 만큼 쓰고 끄는 모델이 잘 맞음
  • 반대로 AI 학습은 몇 주, 몇 달 동안 GPU를 계속 높은 사용률로 돌려야 하는 경우가 많음
  • 이러면 ‘쓴 만큼 낸다’가 유연성이 아니라 ‘계속 비싸게 낸다’로 바뀜. 청구서 보는 CIO 입장에선 꽤 살벌함

• 데이터 이동 비용도 AI에서는 훨씬 크게 터짐

  • 모델을 고도화하려면 대규모 엔터프라이즈 데이터가 계속 들어가고 처리돼야 함
  • 클라우드 밖으로 데이터를 빼거나 다른 환경으로 옮길 때 발생하는 데이터 전송 비용, 즉 이그레스 요금(Egress Fee)이 누적됨
  • 데이터가 커질수록 특정 클라우드에 묶이는 데이터 중력(Data Gravity)도 강해짐

• 그래서 글의 핵심 키워드는 클라우드 퍼스트가 아니라 워크로드 이코노믹스(Workload Economics)임

  • 플랫폼을 먼저 정하고 거기에 워크로드를 맞추는 방식이 아님
  • 각 워크로드의 비용 구조, 성능 요구사항, 데이터 위치, 규제 조건을 보고 배치 위치를 정하는 접근임
  • 기존 멀티 클라우드가 벤더 종속 회피나 가용성 분산에 가까웠다면, 이건 비용과 성능을 노린 의도적 배치(Intentional Placement)에 가까움

• AI 학습과 추론은 같은 AI라도 인프라 경제학이 다름

  • 대규모 언어 모델(LLM) 학습은 고강도 연산이 길게 이어지기 때문에 전용 인프라나 특화 GPU 클라우드가 유리할 수 있음
  • 사용자 서비스의 추론은 빠른 응답, 글로벌 배포, 탄력적 확장이 중요해서 퍼블릭 클라우드가 맞을 수 있음
  • 한마디로 ‘AI니까 무조건 같은 클라우드’가 아니라, 단계별로 비용 모델을 쪼개 봐야 함

• 프라이빗 클라우드와 온프레미스가 다시 논의되는 이유도 여기에 있음

  • 지속적인 GPU 사용이 확실하다면 고정비 기반 인프라가 오히려 예측 가능함
  • 코로케이션(Co-location)이나 자체 인프라는 초기 투자 부담이 있지만, 장기 운영에서는 청구서 변동성을 줄일 수 있음
  • 하이퍼스케일러가 모든 AI 컴퓨팅 수요를 싸고 빠르게 해결해준다는 기대는 점점 약해지는 분위기임

• 특화 GPU 클라우드 같은 대안 제공자도 커지고 있음

  • 이들은 고성능 AI 연산에 맞춘 하드웨어를 상대적으로 합리적인 비용으로 제공하는 포지션을 잡고 있음
  • 인프라 시장이 하나의 거대 플랫폼 중심에서 여러 특화 환경이 섞이는 조성적 모델(Compositional Model)로 가는 흐름임

• 데이터 주권(Data Sovereignty)도 인프라 배치를 복잡하게 만드는 변수임

  • 국가별 데이터 보호법과 컴플라이언스가 강화되면서 데이터가 어디서 처리되는지가 중요해짐
  • 특히 공공, 금융, 의료처럼 민감 데이터가 많은 조직은 소버린 클라우드(Sovereign Cloud)나 지역 기반 플랫폼까지 같이 고려해야 함

• 하지만 선택지가 많아질수록 진짜 어려운 건 운영 통제임

  • 여러 클라우드, 프라이빗 인프라, 특화 GPU 환경이 섞이면 단일 플랫폼보다 관리 복잡도가 훨씬 커짐
  • 개발팀이 빠른 출시만 보고 퍼블릭 클라우드에 AI 서비스를 올리는 로컬 최적화(Local Optimization)를 반복하면, 나중에 비용 부채로 돌아올 수 있음
  • 결국 전사 아키텍처 거버넌스, 통합 관리 플랫폼, 명확한 비용 측정 지표가 필요함

---

기술 맥락

• 여기서 중요한 선택은 ‘어느 클라우드를 쓸까’가 아니라 ‘어떤 워크로드를 어디에 둘까’예요. AI 학습은 GPU를 오래 붙잡고, 추론은 사용자 요청에 빠르게 답해야 해서 같은 비용 모델로 계산하면 판단이 흐려지거든요.

• 퍼블릭 클라우드는 빠른 시작과 글로벌 배포에는 강하지만, 장기간 고정적으로 GPU를 쓰는 작업에서는 비용 예측이 어려워질 수 있어요. 그래서 전용 인프라나 특화 GPU 클라우드를 섞는 얘기가 다시 나오는 거예요.

• 데이터 위치도 꽤 큰 변수예요. AI 모델은 데이터를 계속 먹고 자라는데, 이 데이터가 특정 클라우드에 쌓이면 이동 비용과 지연 시간이 커지고 플랫폼 종속도 강해져요.

• 결국 조직 차원의 거버넌스가 없으면 개발팀마다 편한 환경을 고르다가 전체 비용이 터질 수 있어요. AI 인프라는 이제 기술 선택이면서 동시에 재무 리스크 관리에 가까워졌다고 보는 게 맞아요.