레드햇, 프론티어 모델 줄이고 오픈소스 AI 에이전트로 비용 잡았다

프론티어 모델만 붙잡고 있으면 비용이 안 맞는다는 얘기

• 레드햇이 ‘AI는 리눅스, 쿠버네티스 다음의 세 번째 기술 변곡점’이라고 못 박음

  • 맷 힉스 레드햇 CEO는 이번 서밋에서 나온 얘기가 로드맵이 아니라 레드햇 내부에서 이미 돌리고 있는 방식이라고 설명함
  • 말하자면 “우리도 이렇게 하고 있으니 기업 고객도 이 방향으로 가야 한다”는 메시지임

• 레드햇은 약 1년 전 내부 AI 에이전트 시스템을 만들기 시작했고, 처음엔 프론티어 모델로 출발함

  • 가능성을 먼저 확인한 다음, 쉬운 작업부터 차례대로 오픈소스 모델로 갈아끼운 방식임
  • 문서 검색처럼 정해진 형식 안에서 답을 찾는 작업은 소형 모델로도 충분했다고 함
  • 환각 탐지, 에이전트 간 작업 계획 수립도 오픈소스 모델로 처리 가능했다고 설명함

• 이 얘기가 꽤 중요한 이유는 AI 비용 구조가 이상하게 흘러가고 있기 때문임

  • 레드햇 CTO 크리스 라이트에 따르면 토큰 단가는 매년 75~90%씩 떨어지고 있음
  • 그런데 토큰 소비량은 매년 500% 이상 늘고 있음
  • 여기에 AI 에이전트가 퍼지면 소비량이 추가로 5배 더 늘 수 있다고 봄

• 그러니까 “모델 API 가격 내려갔으니 괜찮겠지”가 아니라는 얘기임

  • 단가는 싸져도 호출량이 폭증하면 총액은 더 커질 수 있음
  • 라이트 CTO는 결국 어떤 모델을 쓰느냐보다 추론 인프라를 직접 통제하느냐가 비용 경쟁력을 가른다고 봄
  • 토큰 소비자에 머무는 조직과 토큰 공급자로 바뀌는 조직 사이에 격차가 벌어진다는 표현까지 나옴

기업 사례들이 다 같은 방향을 가리킴

• 엔비디아도 비슷한 결론을 냈다고 함

  • 엔비디아는 전 직원 4만 명에게 AI 에이전트를 배포함
  • 칩 설계부터 공급망 자동화까지 전사 업무에 에이전트를 넣은 뒤, 어떤 에이전트를 쓰든 자체 인프라에서 돌려야 비용을 통제할 수 있다는 결론을 냄

• 에이전트가 전사 업무 깊숙이 들어오면 보안과 거버넌스도 같이 터짐

  • 누가 어떤 에이전트에 접근할 수 있는지 관리해야 함
  • 엔비디아와 레드햇이 공동 개발 중인 오픈셸(OpenShell)은 이런 에이전트 보안 거버넌스 레이어로 소개됨

• 모토로라 솔루션즈는 가상화 비용 문제를 계기로 인프라 구조를 바꿈

  • VM과 컨테이너를 단일 쿠버네티스 기반으로 통합함
  • 911 대응 시스템의 온프레미스 안정성은 유지하면서 클라우드 AI 기능도 확보했다는 설명임

• BNP파리바와 버라이즌 사례도 숫자가 꽤 큼

  • BNP파리바는 레드햇 AI 기반으로 1,000개 AI 유스케이스를 운영 중이고, AI로 만든 추가 가치가 약 6억 달러라고 밝힘
  • 버라이즌은 2025년에 수백만 건의 네트워크 변경을 사람 개입 없이 처리함
  • 버라이즌 부사장은 에이전트로 최고 인력의 역량을 사실상 무한대로 확장할 수 있게 됐다고 말함

• 레드햇이 밀고 있는 결론은 명확함

  • VM, 컨테이너, AI 에이전트가 따로 노는 게 아니라 하나의 플랫폼 위로 수렴한다는 것
  • 특정 모델이나 특정 클라우드에 묶이지 않는 인프라 통제권이 기업 AI의 핵심이라는 주장임

---

기술 맥락

• 레드햇이 프론티어 모델을 완전히 버렸다는 얘기는 아니에요. 먼저 큰 모델로 가능성을 확인하고, 업무가 명확한 영역부터 작은 오픈소스 모델로 옮긴 게 포인트예요. 이렇게 해야 품질을 확인하면서도 비용이 많이 나가는 호출을 줄일 수 있거든요.

• AI 에이전트 비용은 모델 단가보다 호출 구조가 더 무서워요. 에이전트는 한 번 답하고 끝나는 게 아니라 계획 세우고, 검색하고, 다른 도구 부르고, 다시 판단하는 식으로 토큰을 계속 써요. 그래서 토큰 단가가 내려가도 전체 소비량이 500%씩 늘면 예산이 쉽게 터질 수 있어요.

• 자체 추론 인프라를 강조하는 이유는 비용만이 아니에요. 어떤 모델을 어떤 업무에 붙일지, 어떤 데이터에 접근하게 할지, 어떤 에이전트가 어떤 권한을 갖는지를 기업이 직접 통제해야 해요. 특히 금융, 통신, 공공안전처럼 규제와 감사가 중요한 조직에서는 이 통제권이 곧 운영 리스크와 연결돼요.

• 쿠버네티스 기반 통합도 그래서 나와요. 기존 VM, 컨테이너, AI 에이전트를 따로 운영하면 보안 정책과 배포 방식이 조각나기 쉬워요. 하나의 플랫폼 위에서 묶으면 온프레미스 안정성과 클라우드 AI 확장성을 동시에 가져갈 수 있다는 게 레드햇의 계산이에요.