AI 에이전트 시대 클라우드 전략…데이터·보안·하드웨어를 다시 짜야 한다

에이전틱 AI가 클라우드 구조를 바꾸는 중

• 이번 컨퍼런스의 큰 전제는 AI 에이전트가 기업 운영 방식 자체를 바꾼다는 것임

  • NIA는 디지털 생태계를 웹 경제, API 경제, 에이전틱 AI 경제로 나눠 설명함
  • 웹 경제에서는 사람이 화면을 보고 탐색했고, API 경제에서는 개발자가 시스템 간 호출을 연결했음
  • 2025년부터는 AI 에이전트가 상황을 판단하고 스스로 API를 호출하는 추론 기반 동적 연결 시대로 간다는 진단임

• 클라우드도 중앙 집중형에서 분산형으로 봐야 한다는 메시지가 나옴

  • 현재 인프라 비중은 학습 53%, 추론 47% 수준으로 제시됨
  • 2030년에는 학습 40%, 추론 60%로 역전될 전망임
  • 추론 처리 위치도 중앙 클라우드 50%, 엣지와 엔드포인트 50%로 갈라질 것으로 봄

• 공급자와 수요자에게 요구되는 전략도 달라짐
  • 공급자는 AI 에이전트가 화면이 아니라 백엔드에서 소통한다는 점을 고려해 웹 포털 없는 비즈니스까지 설계해야 한다는 제언이 나옴
  • 마이크로서비스화, API 퍼스트, 클라우드 네이티브, 헤드리스, 엣지 컴퓨팅이 핵심 스택으로 언급됨
  • 수요자는 AI 이전 시대의 프레임워크와 보안 시스템을 제로베이스에서 다시 설계해야 한다는 주문을 받음

PoC에서 운영으로 못 넘어가는 이유

• 솔트웨어는 AI 프로젝트가 PoC에서 멈추는 가장 큰 이유를 데이터와 평가 체계에서 찾음

  • 2024년 가트너 조사 기준 AI PoC 후 운영 전환 실패율이 87%에 달한다고 인용함
  • 파일럿 모델이나 단일 데이터 연결은 성공해도, 실제 운영에서는 분산 데이터와 신뢰성 문제에 막힌다는 설명임

• RAG가 들어가면 평가 체계가 더 중요해짐

  • 답변이 틀렸는지 겉보기에는 판단하기 어려운 경우가 많음
  • 답변 생성 과정을 추적하고 올바른 절차를 거쳤는지 검증하는 체계가 필요함
  • 프로젝트가 끝난 뒤 평가 체계를 붙이는 건 늦고, 시작 단계부터 설계해야 한다는 지적임

• 데이터레이크만으로는 부족하고 레이크하우스로 가야 한다는 제안이 나옴

  • 데이터를 모아두는 것에서 끝나는 게 아니라, AI가 이해할 수 있는 형태로 재가공해야 함
  • 데이터브릭스 기반으로 데이터, 머신러닝 플랫폼, 생성형 AI, RAG, 거버넌스를 연결하는 접근이 소개됨
  • 반도체 테스트 공정 사례에서는 설비·측정 데이터와 불량 이력을 통합한 뒤 자연어 질의 시나리오 4개와 검증 절차를 구성함

데이터 주권은 하드웨어까지 내려감

• KTNF는 소버린 클라우드에서 국산 하드웨어의 의미를 강조함

  • 국산 소프트웨어만으로는 완전한 기술 주권에 한계가 있고, 서버 메인보드·펌웨어·BMC 같은 하드웨어 기술까지 확보해야 한다는 주장임
  • KTNF는 국산 x86 서버 설계·제조 기업으로, 서버 메인보드와 핵심 펌웨어를 자체 개발·생산한다고 소개됨

• 데이터 주권 이슈는 글로벌 규제와도 연결됨

  • 미국 클라우드 액트는 데이터의 물리적 위치와 관계없이 미국 기업에 데이터 제출을 요구할 수 있음
  • 유럽은 일반개인정보보호규정, 일본은 개인정보보호법으로 국외 이전 제한과 보호 기준을 두고 있음
  • 서버 핵심 부품에 백도어가 있으면 데이터 통로 자체를 통제하기 어렵다는 문제의식이 깔려 있음

• 공급망 공격 대응도 하드웨어 전략의 일부로 제시됨

  • KTNF는 부품 설계부터 제조, 유통까지 직접 관리하고 H-BOM 기반 부품 이력 관리를 강조함
  • 글로벌 공급망 쇼크가 생겨도 방산과 공공 같은 미션 크리티컬 환경에 안정적으로 서버를 공급할 수 있다는 논리임

AI 에이전트는 모델보다 실행 환경이 중요함

• 토마토시스템은 LLM의 한계를 도구와 실행환경을 결합한 AI 에이전트로 메워야 한다고 봄

  • LLM은 지식은 많지만 직접 경험이 없다는 한계가 있음
  • 중력 가속도 9.8미터는 알아도 유리잔이 떨어져 깨지기 직전의 감각은 모른다는 비유가 나옴

• 그래서 하네스라는 개념이 등장함

  • 하네스는 모델 바깥의 규칙, 도구, 평가, 메모리, 실행 환경을 유기적으로 설계하는 방법론으로 소개됨
  • 프롬프트만 잘 써놓고 좋은 답을 기다리는 방식에서 벗어나, 답변 생성 중에도 인간이 개입해 방향을 바꿀 수 있다는 설명임

• 엑스빌더6 아이젠 시연도 진행됨

  • 요구사항을 분석해 UI 화면과 소스코드를 실시간 자동 생성하는 AI 기반 개발 플랫폼으로 소개됨
  • 난민 대상자 현황 화면에서 출신국가, 출생일, 소재행정동 필드를 추가하는 시연이 나옴
  • 영화 기생충 감독의 첫 장편 데뷔작 주연 여배우 나이를 묻는 질문에는 웹 검색으로 사실을 확인해 답을 내는 흐름을 보여줌

생성형 AI 보안과 프라이빗 AI

• 안랩클라우드메이트는 생성형 AI 데이터 유출을 입출력 전체 통제 문제로 봄

  • 직장인 30%가 민감 정보를 AI에 입력한 경험이 있다는 통계가 인용됨
  • 내부 분석 기준 생성형 AI 관련 데이터 유출 사고가 전년 대비 2.5배 증가했다는 설명도 나옴

• 대안으로 가디언 아키텍처와 시큐어브릿지가 소개됨

  • 입력부터 최종 응답까지를 하나의 프로세스로 보고 LLM 입출력 전반을 통제하는 구조임
  • 시큐어브릿지는 에이전트리스 방식이라 PC에 상주 프로그램을 설치하지 않아도 된다고 설명됨
  • 개인·민감정보·기밀정보 유출 통제와 프롬프트 인젝션 차단, 승인되지 않은 섀도 AI 통제를 지원함
  • 현재 AI 서비스 1200개 정보를 확보했고, 올해 말 100여 개를 추가 지원할 예정임

• 나무기술은 운영 복잡성과 비용 부담의 대안으로 프라이빗 AI를 제시함

  • 고성능 GPU와 LLM 라이선스 비용, 모델·프레임워크 난립, 내부 LLMOps 역량 부족이 주요 과제로 꼽힘
  • 나무 에이전틱 AI는 컨텍스트 메모리와 서브 에이전트 협업 구조를 갖춘 플랫폼으로 소개됨
  • vLLM을 도입해 GPU와 NPU에서 추론 성능을 높이고, 소형언어모델과 연동해 분산 추론 파이프라인을 구성할 수 있다고 설명됨

AWS가 본 데이터 자산화

• AWS는 AI 에이전트 시대에도 승부는 데이터 자산화에서 갈린다고 봄

  • 2026년까지 엔터프라이즈 애플리케이션의 약 40%가 AI 에이전트 기능과 연동될 것으로 전망함
  • 하지만 생성형 AI 도입 기업 중 약 60%가 데이터 품질 미흡과 환각 현상으로 어려움을 겪는다고 설명함
  • 단순 벡터 RAG는 정확도가 70% 수준에 머문다는 지적도 나옴

• AWS가 제시한 방향은 AI 레디 데이터 플랫폼임

  • 아마존 S3와 S3 테이블즈, AWS 글루, 아마존 EMR로 데이터 품질 검증, 민감 정보 감지, 계보 추적을 확보하는 흐름임
  • 아마존 넵튠과 넵튠 애널리틱스 기반 그래프 RAG로 환각을 줄이고 맥락을 구성하는 접근도 소개됨
  • AWS 에이전트 코어로 에이전트 간 워크플로우와 권한을 제어하고, 세이지메이커 유니파이드 스튜디오로 운영을 단일 UX 포털에 통합한다는 설명임

---

기술 맥락

• 이 기사에서 계속 반복되는 선택은 최신 모델을 붙이는 대신 운영 가능한 AI 플랫폼을 만들자는 거예요. PoC는 모델 하나와 데이터 하나만 연결해도 그럴듯해 보이지만, 실제 업무에서는 권한, 평가, 데이터 품질, 추적성이 없으면 바로 막히거든요.

• 에이전틱 AI가 클라우드를 바꾸는 이유는 추론이 계속 실행되는 작업이기 때문이에요. 한 번 학습하고 끝나는 게 아니라, 에이전트가 API를 부르고 도구를 쓰고 사용자 맥락을 유지해야 하니 중앙 클라우드만으로는 지연시간과 데이터 위치 문제를 다 해결하기 어려워요.

• RAG와 레이크하우스가 같이 언급되는 것도 자연스러워요. 에이전트가 검색한 문서의 출처와 품질을 모르면 답변이 맞는지 검증할 수 없고, 그 상태로 운영에 넣으면 환각과 책임 소재 문제가 바로 터져요.

• 보안 쪽에서는 기존 엔드포인트 중심 사고만으로 부족해요. 생성형 AI는 사용자가 무엇을 입력하고 모델이 무엇을 내보내는지가 핵심이라, 입출력 흐름과 프롬프트 이력, 승인되지 않은 AI 서비스 사용 여부를 같이 봐야 해요.

• 프라이빗 AI와 소버린 클라우드 논의는 비용 절감만의 문제가 아니에요. 기업이나 공공기관이 데이터 위치, 하드웨어 공급망, 모델 운영 권한을 직접 통제해야 하는 상황이 늘면서 인프라 선택 자체가 AI 전략의 일부가 되고 있어요.