AI 때문에 ‘클라우드 우선’ 공식이 흔들리기 시작했다

• 지난 10년 넘게 기업 인프라 전략의 기본값은 꽤 단순했음 — 퍼블릭 클라우드로 가면 확장성, 유연성, 비용 효율성을 얻는다는 계산이었음

  • 아마존웹서비스, 마이크로소프트 애저, 구글 클라우드 플랫폼 같은 하이퍼스케일러가 디지털 전환의 기본 인프라처럼 자리 잡았음
  • 필요한 만큼 쓰고, 빠르게 늘리고, 글로벌하게 배포할 수 있다는 장점이 대부분의 워크로드에는 잘 먹혔음

• 그런데 AI가 이 공식을 흔들고 있음. 특히 규모가 커질수록 퍼블릭 클라우드의 경제성이 예전처럼 깔끔하지 않음

  • AI 워크로드는 장시간 고강도 연산 자원을 먹고, 방대한 데이터를 처리하고, 지연 시간에도 민감함
  • 컴퓨팅 비용은 높아지고 예측하기 어려워지며, 대규모 데이터 전송도 점점 비효율적인 비용 항목이 됨
  • 여기에 규제까지 붙으면 데이터가 어디에 저장되고 어디서 처리되는지도 그냥 넘길 수 없는 문제가 됨

• 그래서 요즘의 질문은 “클라우드를 쓸까 말까”가 아니라 “이 워크로드는 어디서 돌려야 진짜 이득인가”로 바뀌고 있음

  • 워크로드 경제성(workload economics), 데이터 중력(Data Gravity), 지연 시간 민감도, 규제 요건을 같이 봐야 함
  • 이건 단순한 멀티클라우드 전략과도 다름. 장애 대비나 벤더 분산을 위해 여러 클라우드에 나눠 올리는 얘기가 아님
  • 핵심은 워크로드마다 가장 알맞은 실행 환경을 의도적으로 고르는 것임

• 퍼블릭 클라우드는 여전히 강함. 다만 모든 문제의 정답은 아니라는 게 포인트임

  • 탄력성이 중요하거나 글로벌 분산이 필요한 서비스에는 여전히 퍼블릭 클라우드가 잘 맞음
  • 관리형 서비스, 글로벌 서비스 제공, 통합 개발 도구처럼 직접 만들기 빡센 역량도 퍼블릭 클라우드의 강점임
  • 반대로 지속적인 고성능 연산이나 데이터 집약적 처리는 프라이빗 클라우드나 온프레미스가 다시 경쟁력을 얻고 있음

• 특히 AI 인프라는 ‘처음엔 빨랐는데 나중엔 비싸고 옮기기 어려운’ 구조가 되기 쉬움

  • 개발팀은 보통 속도를 우선함. 접근하기 쉬운 도구를 고르고, 빨리 배포하고, 프로젝트 일정을 줄이는 쪽으로 움직임
  • 개별 프로젝트 수준에서는 이 방식이 잘 먹히지만, 규모가 커지면 비용과 데이터 위치 제약이 뒤늦게 터짐
  • 퍼블릭 클라우드에 올린 AI 워크로드가 시간이 지나면서 지속 가능성을 갉아먹는 패턴이 생길 수 있음

• 규제와 데이터 주권도 인프라 결정을 더 복잡하게 만들고 있음

  • 데이터 주권(Data Sovereignty)은 이제 단순히 “데이터가 어느 나라에 있나”만 뜻하지 않음
  • 누가 접근할 수 있는지, 어떤 방식으로 처리되는지, 어떤 법적 체계 아래 운영되는지까지 포함함
  • 그래서 주권 클라우드(Sovereign Cloud)나 지역 기반 환경은 특정 산업의 옵션이 아니라 전략적 필수 요소로 커지고 있음

• 결국 클라우드 시장은 하나의 지배적 환경이 모든 걸 처리하는 모델에서 조합형 모델로 가는 중임

  • 퍼블릭 클라우드는 관리형 서비스와 글로벌 확장에 강한 역할을 계속 맡음
  • 프라이빗 인프라는 통제력과 비용 예측 가능성이 중요한 영역에서 계속 쓰임
  • 지역 기반 사업자와 전문 AI 플랫폼은 규제 준수, 성능, 비용 효율성 같은 틈새를 파고들고 있음

• 한국 개발자 입장에서도 남 얘기가 아님. AI 기능 하나 붙이는 순간 인프라 비용과 데이터 위치 문제가 바로 실무 이슈가 될 수 있음

  • 사내 문서 검색, 고객 데이터 기반 추천, 금융·의료 데이터 분석처럼 민감한 AI 워크로드는 특히 위치와 접근 권한이 중요함
  • “일단 클라우드에 올리고 나중에 최적화”가 통하던 시절보다, 초기에 아키텍처 선택을 더 빡세게 해야 하는 분위기임

---

기술 맥락

• 이 글의 핵심 선택지는 퍼블릭 클라우드냐 온프레미스냐의 이분법이 아니에요. AI 워크로드마다 연산량, 데이터 이동량, 지연 시간, 규제 조건이 다르기 때문에 실행 위치를 다르게 잡아야 한다는 얘기예요.

• 왜 이런 변화가 생기냐면 AI는 비용 패턴이 일반 웹서비스와 많이 다르거든요. 웹 트래픽은 탄력적으로 늘렸다 줄이는 장점이 크지만, AI 학습이나 대규모 추론은 장시간 고가의 연산 자원을 계속 쓰는 경우가 많아서 퍼블릭 클라우드 비용이 예측하기 어려워져요.

• 데이터 중력도 중요한 이유가 있어요. 데이터가 커질수록 데이터를 옮기는 비용과 시간이 부담이 되고, 규제까지 붙으면 마음대로 다른 리전에 복제하기도 어려워져요. 그래서 연산을 데이터 가까이에 두는 설계가 점점 현실적인 선택이 돼요.

• 주권 클라우드가 언급되는 것도 같은 맥락이에요. 기업이 AI로 민감 데이터를 처리하려면 데이터 저장 위치뿐 아니라 접근 주체와 법적 관할까지 설명할 수 있어야 하거든요. 그래서 클라우드 선택이 단순 인프라 문제가 아니라 거버넌스 문제로 커져요.

• 실무적으로는 개발팀 혼자 빠르게 배포하는 방식만으로는 부족해져요. 비용, 보안, 법무, 데이터 거버넌스가 같이 들어와야 하고, 워크로드별로 퍼블릭 클라우드, 프라이빗 클라우드, 지역 기반 환경을 나눠 쓰는 운영 모델이 필요해져요.