AI 에이전트 시대, 클라우드는 이제 ‘추론·데이터·보안’부터 다시 짜야 한다

AI 클라우드의 중심축이 ‘학습’에서 ‘추론’으로 이동 중

• 이번 컨퍼런스의 큰 메시지는 명확함. AI 시대 클라우드는 GPU 많이 꽂는 문제를 넘어서, 추론이 어디서 어떻게 실행되는지부터 다시 설계해야 한다는 것임

  • NIA는 디지털 생태계를 웹 경제, API 경제, 에이전틱 AI 경제로 나눴고, 2025년부터 AI 에이전트가 스스로 상황을 판단해 API를 호출하는 시대로 들어간다고 봤음
  • 여기서 중요한 변화는 클라우드 연산의 무게중심이 모델 학습에서 추론으로 옮겨간다는 점임
  • 발표에서는 2030년쯤 추론 인프라 비중이 60%까지 커지고, 처리 위치도 중앙 클라우드와 엣지로 나뉠 거라고 전망했음

• 이 흐름에서는 예전처럼 웹 포털 만들고 API 붙이는 방식만으로는 부족하다는 얘기가 나옴

  • 공급자에게는 웹 포털이 없어도 돌아가는 비즈니스 설계, 클라우드 네이티브 기술 스택 확보가 요구됨
  • 수요자에게는 기존 프레임워크와 보안 시스템을 제로베이스에서 다시 보는 수준의 변화가 필요하다는 진단이 나왔음

데이터가 안 정리되면 AI 에이전트도 그냥 데모로 끝남

• 솔트웨어 발표에서 제일 현실적인 숫자는 이거였음. AI PoC 이후 실제 운영 단계로 못 넘어가는 비율이 87%에 달한다는 것

  • 원인으로는 흩어진 데이터, 모델 중심 접근, 평가와 거버넌스 체계 부재가 꼽혔음
  • 그러니까 “좋은 모델 붙였는데 왜 성과가 안 나오지?”의 답이 꽤 뻔함. 모델 문제가 아니라 데이터와 운영 체계 문제인 경우가 많다는 것임

• 특히 검색 증강 생성(RAG)을 붙일 때는 답변이 어떻게 만들어졌는지 추적하고 검증하는 체계가 필수라고 강조됐음

  • 데이터를 그냥 모아둔 데이터레이크만으로는 부족하고, AI가 이해할 수 있게 가공된 레이크하우스가 필요하다는 설명이 나왔음
  • 솔트웨어는 데이터브릭스 기반 데이터·AI·거버넌스 통합 플랫폼을 사례로 들었고, 반도체 테스트 공정에 AI 에이전트를 넣어 데이터 체계화와 질의응답 검증을 구성한 사례도 소개했음

데이터 주권 얘기가 서버 메인보드까지 내려감

• KTNF는 소버린 클라우드와 국산 서버를 연결해서 설명했음. 요지는 데이터 주권이 소프트웨어 정책만으로 끝나는 게 아니라 하드웨어 공급망까지 봐야 한다는 것임

  • 국내 데이터센터와 클라우드 인프라가 여전히 외산 서버 의존도가 높고, 이게 기술 종속과 글로벌 공급망 리스크로 이어질 수 있다는 지적이 나왔음
  • KTNF는 메인보드를 국내에서 직접 설계·제작해 하드웨어 백도어 리스크를 줄이고 있다고 설명했음

• 여기서 흥미로운 포인트는 단순 “국산 장비 씁시다”가 아니라 부품 이력과 펌웨어까지 보안 영역으로 본다는 점임

  • H-BOM 기반 부품 이력 관리, 자체 보안 펌웨어, BMC 기술이 차별화 요소로 제시됐음
  • 공급망 공격이 현실적인 위협이 된 상황에서는 서버를 누가 어떻게 만들었는지도 클라우드 보안의 일부가 된 셈임

LLM의 빈틈은 도구·규칙·평가·메모리로 메워야 함

• 토마토시스템 발표는 대규모 언어 모델(LLM)의 한계를 AI 에이전트 관점에서 풀었음

  • LLM은 지식은 많지만 실제 세계를 직접 겪어본 존재가 아니기 때문에, 도구와 실행 환경을 붙여야 업무를 끝까지 수행할 수 있다는 논리임
  • 이를 위해 규칙, 도구, 평가, 메모리 등을 유기적으로 설계하는 하네스(Harness) 개념이 소개됐음

• 토마토시스템의 엑스빌더6 아이젠은 요구사항을 분석해 UI 화면과 소스코드를 실시간으로 자동 생성하는 개발 도구로 소개됐음

  • 개발자가 원하는 작업을 AI 에이전트가 계획·실행·검증하는 기능을 제공한다고 함
  • 전자정부 프레임워크 호환성 최고 등급을 받은 이클립스 기반 개발 도구에서 작동한다는 점도 공공·SI 시장 쪽에서는 꽤 중요한 포인트임

생성형 AI 보안은 ‘입력과 출력’을 같이 봐야 함

• 안랩클라우드메이트는 기업 생성형 AI 도입에서 데이터 유출을 가장 큰 현실 문제로 봤음

  • 발표에서는 직장인의 30%가 민감 정보를 AI에 입력한 경험이 있고, 관련 데이터 유출 사고가 전년 대비 2.5배 증가했다는 통계가 언급됐음
  • LLM 환경의 데이터 유출은 입력만 막거나 출력만 보는 식으로는 부족하고, 입출력 전체 흐름을 하나의 통제 지점으로 봐야 한다는 설명이 나왔음

• 안랩클라우드메이트가 소개한 시큐어브릿지는 제로트러스트 아키텍처에서 착안한 ‘가디언 아키텍처’를 기반으로 함

  • PC에 별도 프로그램을 설치하지 않는 에이전트리스 구조라 사용자 경험을 크게 건드리지 않는다는 점을 강조했음
  • 민감 정보 유출과 프롬프트 인젝션 공격을 차단하고, 프롬프트 이력 모니터링으로 승인되지 않은 섀도 AI 사용도 점검할 수 있다고 함

---

기술 맥락

• 이번 발표들이 공통으로 말하는 건 “모델만 바꿔서는 안 된다”는 거예요. AI 에이전트는 답변 생성에서 끝나는 게 아니라 도구 호출, 데이터 조회, 결과 검증까지 이어지기 때문에 클라우드 구조도 추론 실행 중심으로 바뀌어야 하거든요.

• 데이터 쪽에서는 레이크하우스와 거버넌스가 계속 언급돼요. 이유는 간단해요. 기업 데이터가 부서별로 흩어져 있으면 RAG를 붙여도 답변 근거를 추적하기 어렵고, 운영 단계에서 “이 답이 맞는지”를 검증할 방법이 약해져요.

• 하드웨어 주권 얘기가 나온 것도 같은 맥락이에요. AI 워크로드가 핵심 업무로 들어오면 서버, 펌웨어, 부품 이력까지 신뢰할 수 있어야 해요. 그래서 메인보드 설계, BMC, H-BOM 같은 낮은 레벨의 요소가 클라우드 전략 안으로 들어오는 거예요.

• 보안은 특히 입출력 통제가 중요해요. 생성형 AI는 외부 서비스와 대화하는 구조가 많아서 사용자가 무엇을 넣고 모델이 무엇을 내보내는지 봐야 해요. 프롬프트 인젝션이나 민감 정보 유출은 네트워크 방화벽 하나로 해결되는 문제가 아니거든요.