멀티클라우드 GPU를 코드 변경 없이 통합 관리 — Cast AI의 OMNI Compute 국내 상륙

클라우드네트웍스가 미국 Cast AI와 파트너십을 맺고, 멀티클라우드 GPU 통합 관리 플랫폼을 국내에 공급함. 핵심은 올해 초 출시된 OMNI Compute — AWS에 GPU 없으면 코드 한 줄 안 바꾸고 Azure/GCP에서 끌어다 쓸 수 있음.

Cast AI 기본 기능

• 오토스케일링: 워크로드 실시간 분석 → CPU/메모리 할당량 자동 조정
• 사이즈 최적화(Rightsizing): 수요에 따라 노드 즉시 증설/제거
• 스폿 인스턴스 자동 관리: 스폿이 회수 위험 생기면 온디맨드로 자동 전환
• 빈 패킹(Bin Packing): 컨테이너를 노드에 꽉꽉 채워서 놀고 있는 노드 최소화

OMNI Compute — 멀티클라우드 GPU 통합

• 기존 Cast AI가 단일 클라우드 K8s 비용 최적화에 집중했다면, OMNI Compute는 멀티 클라우드·멀티 리전으로 확장한 제품
• AWS 메인 클러스터에 GPU 부족 → 코드 변경 없이 Azure/GCP GPU를 같은 클러스터 노드처럼 끌어다 씀
• 이걸 가능하게 하는 게 Unified Compute Control Plane(통합 컴퓨팅 제어판)
• 특정 리전에 H100 재고 없으면 → 전 세계 리전 실시간 탐색 → 가용 자원 자동 연결
• 외부 클라우드 노드도 네이티브 노드처럼 자동 통합
• 아키텍처 수정이나 인프라 재설정 불필요

기업이 얻는 효과

• 전 세계 클라우드 GPU 재고 실시간 모니터링 → AI 워크로드 중단 없이 자원 할당
• 여러 리전 스폿 인스턴스 가격 비교 → 가장 싼 곳에 노드 프로비저닝
• 타 클라우드에서 끌어온 노드도 기존 K8s 환경에서 표준 노드와 동일하게 관리
• LLM 추론 트래픽 급증에 특화 — 인프라 유연 확장

투자 및 고객사

• 시리즈 C: 소프트뱅크 비전펀드2·G2 벤처 파트너스 주도, 1억800만달러
• 누적 투자 2억달러 이상
• 주요 고객사: BMW, 시스코, 아카마이, 삼성전자

삼성전자 커넥션

• 삼성전자는 Cast AI로 아마존 EKS 인프라 최적화 자동화 중
• 운영 부담 줄이면서 앱 효율성·비용 관리 실시간 개선
• 2021년 시리즈 A에 삼성 NEXT가 참여한 바 있음 — 초기부터 투자한 셈

클라우드네트웍스의 전략

• 국내 대기업의 클라우드 비용·리소스 최적화 수요 타겟
• 비용 절감 + AI 인프라 운영 효율화 동시 제안
• AI 보안·관측·인증까지 아우르는 AI 통합 거버넌스 사업 본격화 계획

---

🧠 기술 맥락

멀티클라우드 GPU 관리가 왜 중요한가요?

AI 추론, 특히 LLM 서빙을 하다 보면 GPU 수요가 갑자기 폭증하는 순간이 있어요. 근데 특정 클라우드의 특정 리전에 H100 같은 고성능 GPU가 항상 남아있는 게 아니거든요. 이럴 때 "다른 클라우드에서 빌려오면 되지 않나?"라는 발상이 멀티클라우드 GPU 풀링이에요. 문제는 각 클라우드마다 API도 다르고 네트워크 구성도 달라서, 원래는 아키텍처를 다시 짜야 했어요.

Unified Compute Control Plane이 뭔가요?

쿠버네티스의 컨트롤 플레인은 워커 노드들을 관리하는 두뇌 역할을 하잖아요. Cast AI의 통합 컴퓨팅 제어판은 이걸 멀티클라우드로 확장한 거예요. AWS/Azure/GCP에 있는 노드들을 마치 하나의 K8s 클러스터 안에 있는 것처럼 추상화해서 관리하는 레이어라고 보면 돼요. 앱 입장에서는 노드가 어느 클라우드에 있든 신경 쓸 필요가 없어지는 거죠.

Bin Packing이 비용 절감에 왜 효과적인가요?

K8s에서 파드를 노드에 배치할 때, 기본 스케줄러는 리소스를 고르게 분산하려고 해요. 근데 이러면 노드마다 조금씩 남는 리소스가 생기고, 그 파편화된 자원은 결국 못 쓰게 되거든요. Bin Packing은 반대로 하나의 노드에 최대한 꽉 채워서 배치하는 전략이에요. 빈 노드가 생기면 그걸 아예 내려버릴 수 있으니까, 클라우드 비용이 직접적으로 줄어들어요.

스폿 인스턴스 자동화가 실무에서 중요한 이유

스폿 인스턴스는 60~90% 할인이라 매력적인데, 클라우드 제공자가 2분 전 알림 후 회수해버릴 수 있어요. AI 추론 워크로드에서 이게 갑자기 빠지면 서비스 장애로 이어지거든요. Cast AI는 스폿 회수 시그널을 감지하면 자동으로 온디맨드 인스턴스로 전환해주고, 다른 리전에서 더 싼 스폿이 있으면 거기로 옮겨주는 자동화를 제공해요.