AI 때문에 클라우드는 더 중요해졌는데, 기업들은 지갑 여는 걸 망설이는 중

클라우드 도입은 이제 거부감이 아니라 실행 타이밍 문제

• 이번 설문은 2026 AI 클라우드 컨퍼런스 참가자 82명을 대상으로 진행됨

  • 주제는 클라우드 도입·전환, 온프레미스 회귀, 예산, AI 인프라, 보안, 운영 효율화까지 꽤 넓게 잡힘
  • 표본이 아주 크진 않지만, 현업 담당자들이 지금 어디서 망설이는지는 꽤 선명하게 보임

• 클라우드 도입 필요성을 못 느낀다는 응답은 0%였음

  • 이미 도입해 쓰는 곳은 30%, 도입·전환 추진 중은 18%, 확대·보완 계획까지 있는 곳은 13%
  • 그런데 가장 많은 40%는 “필요성은 느끼지만 아직 계획은 없다”고 답함
  • 말하자면 “클라우드는 해야지”까지는 왔는데, “그래서 언제, 얼마 들여, 뭘 옮길 건데?”에서 멈춘 기업이 많다는 얘기

온프레미스 복귀가 그냥 유행어가 아님

• 이미 클라우드로 간 기업 중 상당수가 다시 온프레미스를 보고 있음

  • 필요성은 느끼지만 구체 계획이 없다는 답이 36%로 가장 많음
  • 이미 온프레미스로 전환해 활용 중이라는 답도 21%
  • 필요성을 느끼고 역전환 계획을 추진 중이라는 답은 18%
  • 전혀 없다는 응답은 14%뿐임

• 합치면 75%가 온프레미스 회귀를 했거나, 검토하거나, 필요성을 느끼는 쪽임

  • 이유는 비용 구조와 운영 부담이 큼
  • 기타 응답에서는 하이브리드 구조나 보안상 내부 데이터 활용 같은 얘기도 나옴
  • 클라우드냐 온프레미스냐의 종교전쟁이 아니라, 워크로드별로 어디에 두는 게 맞는지 따지는 단계로 넘어간 셈

예산은 더 보수적임

• 향후 클라우드 관련 예산 투자 계획에서 “미정”이 51%로 절반을 넘김

  • 현상 유지는 24%
  • 예산을 100% 이상 늘리겠다는 응답과 100% 이하로 늘리겠다는 응답은 각각 10%
  • 50% 이하 절감은 5%

• 도입 필요성에는 공감하지만, 돈 쓰는 결정은 미뤄지는 중임

  • 경기 상황, AI 인프라 비용, 규제 대응, 내부 인력 부족이 같이 걸려 있을 가능성이 큼
  • 특히 AI 워크로드는 쓰기 시작하면 GPU, 데이터 저장, 네트워크, 보안 비용이 같이 튀기 쉬워서 더 조심스러울 수밖에 없음

기업이 클라우드를 쓰는 이유도 바뀌고 있음

• 클라우드 도입 이유 1위는 “편리한 인프라 구축”으로 39%

  • 서버와 장비를 직접 들이지 않고 빠르게 자원을 확보하는 장점이 여전히 큼
  • AI 기술의 신속한 도입은 19%로 2위
  • 비용 효율화와 인프라 운영 문제 해결은 각각 16%, 보안성 강화는 10%

• 예전처럼 “클라우드 = 비용 절감”만 보고 들어가는 분위기는 약해짐

  • 이제는 AI를 빨리 실험하고, 필요한 자원을 빠르게 붙이고, 운영 속도를 올리는 전략적 인프라로 보는 쪽에 가까움
  • 웃긴 건 그렇게 들어갔다가 비용 때문에 다시 온프레미스를 보는 기업도 늘고 있다는 점임

AWS가 1위지만, 국내·프라이빗 클라우드도 꽤 존재감 있음

• 현재 이용 중인 클라우드 서비스에서는 아마존웹서비스(AWS)가 23%로 가장 높음

  • 프라이빗 클라우드는 17%로 2위
  • 네이버클라우드는 15%, KT 클라우드는 12%, 마이크로소프트 애저(Azure)와 NHN클라우드는 각각 10%
  • 구글 클라우드(GCP)는 8%, 기타는 6%

• 국내 사업자가 두 자릿수 비중을 찍은 것도 눈에 띔

  • 공공·금융처럼 데이터 주권, 보안, 규제 요구가 강한 영역에서는 국산 클라우드 수요가 계속 있음
  • 프라이빗 클라우드가 2위라는 건 핵심 데이터와 통제권을 내부에 두려는 수요가 여전히 강하다는 신호임

AI 인프라는 아직 다들 답을 찾는 중

• 생성형 AI와 대규모 모델을 어디서 돌릴지에 대해서는 “아직 방향을 못 정했다”가 39%로 1위였음

  • 방향을 정한 기업 중에서는 하이브리드 아키텍처가 27%로 가장 높음
  • 온프레미스·프라이빗 중심 구축은 18%
  • 로컬·소버린 클라우드 활용은 12%
  • 전면 글로벌 퍼블릭 클라우드 활용은 4%에 그침

• AI 도입 의지는 있는데, 실행 아키텍처는 아직 실험 중인 기업이 많음

  • 민감 데이터와 핵심 워크로드는 내부에서 통제하고, 큰 연산이나 탄력성이 필요한 부분만 퍼블릭 클라우드에 올리는 그림이 현실적인 선택지로 떠오름
  • 한국처럼 공공·금융·망분리·보안 인증 이슈가 강한 시장에서는 이 흐름이 더 강하게 나타날 수 있음

운영에서 제일 아픈 건 결국 비용과 사람

• 클라우드 도입·운영의 가장 큰 어려움은 예상보다 높은 마이그레이션 및 운영 비용이 29%로 1위

  • 클라우드 전문 인력과 기술 역량 부족은 27%
  • 기존 온프레미스 시스템과의 연동 문제는 20%
  • 데이터 보안 및 국가 규제 대응, 멀티·하이브리드 관리 복잡성은 각각 12%

• 효율화 투자 분야 1위는 생성형 AI와 LLM 활용을 위한 데이터 플랫폼 구축으로 33%

  • 클라우드 네이티브 보안과 제로 트러스트 구축은 25%
  • 클라우드 비용 최적화(FinOps)와 멀티·하이브리드 통합 관리 플랫폼(CMP)은 각각 19%
  • 관리 서비스 기업(MSP) 파트너십 강화는 4%로 낮음

• 협력하고 싶은 기술 스택도 “데이터 파이프라인, AI 모델 학습 및 배포 최적화”가 25%로 가장 높음

  • 국내 보안·규제 대응 특화 서비스와 온프레미스-클라우드 통합 기술 지원은 각각 22%
  • 컨테이너와 쿠버네티스 기반 AI 오케스트레이션은 16%
  • GPU 기반 고성능 인프라는 15%로 생각보다 낮음

---

기술 맥락

• 이번 설문에서 제일 중요한 선택지는 “퍼블릭 클라우드로 전부 갈 것인가”가 아니라 “어떤 워크로드를 어디에 둘 것인가”예요. AI 워크로드는 연산량도 크지만 데이터 민감도도 높아서, 단순히 클라우드로 옮긴다고 끝나는 문제가 아니거든요.

• 하이브리드 아키텍처가 주목받는 이유도 여기에 있어요. 핵심 데이터와 규제 대상 시스템은 온프레미스나 프라이빗 클라우드에 두고, 탄력적인 연산이나 실험성 높은 AI 작업은 퍼블릭 클라우드를 쓰면 비용과 통제권 사이에서 타협이 가능해져요.

• 기업들이 GPU보다 데이터 파이프라인과 모델 학습·배포 최적화를 더 많이 꼽은 것도 포인트예요. 생성형 AI는 GPU를 샀다고 바로 업무 시스템이 되는 게 아니라, 데이터 수집·정제·권한 관리·배포·모니터링이 이어져야 실제 서비스가 되거든요.

• 그래서 FinOps와 제로 트러스트 같은 운영·보안 체계가 같이 언급돼요. AI 도입이 늘수록 클라우드 비용은 예측하기 어려워지고, 접근 권한과 데이터 흐름은 더 복잡해지기 때문에 인프라 선택만큼 운영 모델 설계가 중요해져요.