레드햇, 기업 AI 전환은 ‘모델 하나’가 아니라 운영 플랫폼 싸움이라고 강조

• 레드햇이 기업 AI 전환의 핵심을 ‘통합 운영 플랫폼’으로 잡고 나옴

  • 발표 주제는 ML옵스에서 에이전틱 AI까지 이어지는 엔터프라이즈 AI 플랫폼 전환
  • 지디넷코리아 ‘컨버전스 인사이트 서밋 2026’에서 한국레드햇 이명진 상무가 이 내용을 발표할 예정

• 레드햇이 보는 기업 AI의 진화 순서는 꽤 명확함

  • 초기에는 머신러닝 운영 체계인 ML옵스가 중심
  • 이후 대규모 언어 모델 기반의 LLM옵스로 확장
  • 이제는 여러 AI 에이전트가 협업해 복잡한 문제를 푸는 에이전틱옵스 단계로 넘어가는 중

• 그래서 기업에는 모델 하나보다 전체 라이프사이클을 다루는 플랫폼이 필요하다는 주장임

  • 추론 효율성, 데이터 연결, 에이전트 관리, 하이브리드 클라우드 확장을 한 번에 봐야 한다는 얘기
  • 생성형 AI가 업무 환경의 핵심 요소가 되면서 운영 난이도도 같이 올라갔다는 현실 인식이 깔려 있음

• 추론 쪽에서는 vLLM과 llm-d를 앞세움

  • vLLM은 오픈소스 추론 엔진으로, 다양한 GPU와 하드웨어 가속기 환경에서 비용 효율적인 AI 추론을 지원
  • llm-d는 분산 추론 프레임워크로, 인프라 비용을 낮추고 멀티턴 대화와 에이전트 워크플로에서 더 빠른 응답 시간을 목표로 설계됨

• 모델 선택지는 허깅페이스의 레드햇 AI 저장소를 통해 제공됨

  • 라마, 큐원, 딥시크, 그래니트 같은 주요 오픈소스 모델이 검증·최적화된 형태로 제공된다는 설명
  • 기업은 검증된 모델을 가져와 업무 환경에 맞게 적용하는 쪽으로 리스크를 줄일 수 있음

• 데이터 연결 문제도 크게 짚음

  • 레드햇은 전체 기업 데이터 중 파운데이션 모델에 반영된 것이 1% 미만이라고 설명
  • 그래서 파인튜닝, 프롬프트 엔지니어링, 검색증강생성, 합성 데이터 생성 파이프라인이 필요하다는 주장
  • 즉 사내 문서, 업무 맥락, 도메인 지식을 모델에 어떻게 붙일지가 엔터프라이즈 AI의 승부처라는 것

• 에이전틱 AI 운영 기반으로는 MCP 게이트웨이와 관측 가능성을 강조함

  • 여러 AI 에이전트가 협업하는 환경에서는 개발·배포뿐 아니라 라이프사이클 관리가 필요
  • 추적과 관측 가능성이 있어야 에이전트가 무슨 도구를 호출했고 어디서 실패했는지 볼 수 있음

• 한국 기업 개발팀에도 꽤 직접적인 얘기임

  • 사내망, 규제, 보안, 클라우드 혼합 운영 때문에 국내 엔터프라이즈 AI는 단일 SaaS 챗봇만으로 끝나기 어려움
  • 오픈소스 모델을 쓰더라도 추론 서빙, 데이터 연결, 에이전트 통제가 결국 플랫폼 업무로 남음

---

기술 맥락

• 레드햇이 강조하는 선택은 모델 자체보다 운영 계층이에요. 기업 환경에서는 LLM을 한 번 띄우는 것보다, 그 모델을 누가 배포하고 비용을 관리하고 장애를 추적하느냐가 훨씬 오래 가는 문제거든요.

• vLLM과 llm-d를 꺼낸 이유는 추론 비용이 실제 도입의 병목이기 때문이에요. 멀티턴 대화나 에이전트 워크플로는 요청이 한 번으로 끝나지 않고 계속 이어져서, 응답 시간이 길어지거나 GPU 사용률이 나빠지면 서비스 품질과 비용이 동시에 흔들려요.

• RAG와 파인튜닝을 같이 언급한 것도 기업 데이터 때문이에요. 파운데이션 모델이 아무리 좋아도 사내 정책, 제품 문서, 고객 이슈 같은 데이터는 대부분 모델 안에 없어요. 그래서 외부 지식을 검색해 붙이거나, 특정 업무에 맞게 모델을 조정하는 레이어가 필요해요.

• 에이전틱 AI로 가면 운영 난이도는 한 단계 더 올라가요. 에이전트가 여러 도구를 호출하고 서로 역할을 나누면, 결과만 보는 게 아니라 어떤 경로로 그 결과가 나왔는지 추적해야 하거든요. 그래서 MCP 게이트웨이와 관측 가능성이 플랫폼의 핵심 기능으로 올라오는 거예요.