한국 기업 AI 도입은 빠른데, 확장은 GPU보다 운영 역량에서 막힌다

• 한국 기업들은 AI 도입 자체는 꽤 빠르게 해냈지만, 전사 확장 단계에서 막히고 있다는 분석이 나옴

  • STT GDC 코리아가 27일 서울 여의도 FKI타워에서 ‘AI 인프라 개발 현황 및 전망’ 미디어 세션을 열고 관련 조사 결과를 공개함
  • 결론은 단순함. 이제 경쟁력은 “GPU를 얼마나 샀냐”보다 “그걸 얼마나 안정적으로 굴리냐”에 가까워지고 있음

• 이번 조사는 아시아 9개국, 10개 산업군, 644명을 대상으로 진행됨

  • 한국, 일본, 싱가포르, 인도, 인도네시아, 말레이시아, 필리핀, 태국, 베트남이 포함됨
  • 제조, 금융, 공공, 통신 등 다양한 산업군을 대상으로 전략, 조직 준비도, 데이터 거버넌스, 현재 인프라 수준, 미래 확장 전략 5개 영역을 평가함

• 한국은 아시아 내 AI 선도 시장으로 분류됐지만, “리더” 단계는 아직 극소수임

  • 국내 응답 기업의 67%는 AI를 실제 운영 환경에 적용하는 ‘빌더(Builder)’ 단계로 나타남
  • 조직 전반에 AI를 통합한 ‘인테그레이터(Integrator)’ 단계는 30%였음
  • AI를 핵심 경쟁력으로 완전히 내재화한 ‘리더(Leader)’ 단계는 2%에 그침

• 문제는 초기 성공 다음 단계임

  • 허철회 STT GDC 코리아 대표는 한국이 이미 AI 도입의 가치를 입증하는 단계는 지나왔다고 봄
  • 이제 중요한 건 이미 구축한 AI 환경을 얼마나 빠르고 안정적으로 확장하고 최적화하느냐임
  • 즉 파일럿 성공보다 운영, 확장, 비용 최적화가 더 어려운 국면으로 넘어간 것임

• AI 확장의 병목은 전문 인력과 운영 복잡성에서 크게 드러남

  • 국내 응답자의 52%는 복잡한 AI 인프라를 운영·최적화할 내부 전문성이 부족하다고 답함
  • 48%는 초기 구축 및 운영 비용 부담을 주요 과제로 꼽음
  • 52%는 데이터 주권과 규제 준수 이슈가 AI 확장의 제약 요인이라고 봄

• GPU만 많이 확보하면 된다는 접근은 점점 한계가 커지고 있음

  • 보고서는 AI 인프라가 GPU 수량 문제가 아니라 스토리지, 네트워크, 전력, 냉각, 랙 설계까지 포함한 데이터센터 전체 최적화 문제라고 짚음
  • 아시아 전체 응답 기업의 82%는 네트워크 병목이나 지연 문제를 경험하고 있었음
  • AI 워크로드를 안정적으로 지원할 수 있는 고성능 저지연 네트워크를 갖춘 조직은 7%에 불과했음

• 물리 인프라도 예전과 완전히 다른 조건을 요구함

  • 허 대표는 최근 AI 서버를 담는 랙 하중이 과거보다 두세 배 이상 높아지고 있다고 설명함
  • 이 말은 전력 공급, 냉각 방식, 바닥 하중, 랙 배치 같은 데이터센터 설계 기준 자체가 바뀌어야 한다는 뜻임

• STT GDC는 이 흐름을 한국 시장 진입 기회로 보고 있음

  • STT GDC는 싱가포르 본사의 글로벌 데이터센터 전문기업으로, 전 세계 100개 이상 데이터센터를 운영 중임
  • 글로벌 하이퍼스케일러와 엔터프라이즈 고객에게 코로케이션 서비스를 제공하고 있음
  • 다음 달 서울 금천구 가산동에 국내 첫 AI 특화 데이터센터 ‘STT 서울1’을 열 계획임

• 앞으로 AI 인프라 경쟁은 직접 소유보다 전략적 파트너십 쪽으로 기울 가능성이 큼

  • 보고서는 AI 성숙도가 높은 조직일수록 인프라를 전부 직접 보유하기보다 전문 사업자와 협력해 운영 효율성과 확장성을 확보하는 경향이 강하다고 분석함
  • STT GDC도 한국에서 추가 데이터센터 부지 확보와 AI 인프라 운영 서비스 확대를 검토 중임
  • 결국 한국 기업 입장에서는 “우리 데이터와 규제를 지키면서도 확장 가능한 AI 인프라를 어디에, 어떻게 둘 것인가”가 중요한 의사결정이 될 듯함

---

기술 맥락

• 이번 기사에서 중요한 선택은 GPU를 많이 사는 전략에서 AI 인프라 전체를 설계하고 운영하는 전략으로 무게중심이 옮겨간다는 점이에요. AI 워크로드는 연산만 빠르면 끝나는 게 아니라, 데이터가 GPU 사이를 오가고 저장소와 네트워크를 계속 타기 때문에 한 군데만 약해도 전체 효율이 떨어지거든요.

• 한국 기업들이 AI 프로젝트에서 ROI를 확인했다는 건 꽤 큰 신호예요. 실험은 끝났고 이제 운영 환경에 더 많이 붙여야 하는데, 이때부터는 모델 개발보다 전력, 냉각, 네트워크 지연, 규제 대응 같은 인프라 문제가 비용과 안정성을 좌우해요.

• 특히 데이터 주권이 같이 언급된 게 포인트예요. AI는 고객 데이터, 내부 문서, 산업별 민감 데이터와 엮이는 경우가 많아서 어디에서 처리하고 누가 통제하는지가 중요해요. 그래서 클라우드든 코로케이션이든 단순 가격 비교가 아니라 규제와 운영 통제까지 같이 봐야 해요.

• 전문 데이터센터 사업자와의 파트너십이 커질 수밖에 없는 이유도 여기에 있어요. 랙 하중이 두세 배로 늘고 냉각·전력 설계가 달라지는 상황을 각 기업이 전부 직접 해결하기는 어렵거든요. AI 인프라는 점점 소프트웨어팀만의 문제가 아니라 시설, 네트워크, 보안, 법무가 같이 보는 아키텍처 문제가 되고 있어요.