AI 에이전트 비용, 작업별 소형 모델로 최대 90% 줄인다는 접근이 나왔다

에이전트 운영비의 병목이 모델 호출로 옮겨가는 중

• AI 에이전트를 실제 워크플로에 붙이면 비용 문제는 꽤 빨리 튀어나옴

  • 에이전트는 한 번의 요청을 분류, 추출, 요약, 포맷 변환, 코드 보조 같은 작은 단계로 쪼개서 처리함
  • 이 모든 단계를 고성능 프런티어 모델에 던지면 호출량이 쌓이면서 월 수백 달러에서 수천 달러까지 갈 수 있음
  • 데모일 때는 괜찮아 보여도, 상시 실행 워크플로가 되면 추론 비용이 운영비의 핵심 항목이 됨

• 오픈클로(OpenClaw)는 사용자가 설정한 프런티어 모델로 작업을 라우팅하는 오픈소스 AI 에이전트 플랫폼으로 소개됨

  • 유연한 구조지만, 사용량이 늘수록 비싼 모델 호출이 그대로 비용으로 돌아옴
  • 기사에서는 오픈클로가 깃허브 스타 34만 6000개 이상, 사용자 320만 명을 보유한 플랫폼이라고 설명함
  • 이런 규모의 사용자가 실제 워크플로를 돌리면 “모델을 얼마나 잘 고르느냐”가 곧 비용 경쟁력이 됨

클로팩은 비싼 모델에게 모든 일을 시키지 않겠다는 접근

• 뉴로메트릭AI의 클로팩(ClawPack)은 오픈클로 옆에서 오픈AI 호환 제공자처럼 동작함

  • 오픈클로가 반복적으로 수행하는 하위 작업을 작업별 소형 언어 모델(SLM)로 넘김
  • 적용 대상은 분류, 추출, 포맷 변환, 요약처럼 범위가 좁고 반복적인 작업임
  • 이런 작업은 매번 최고급 범용 모델을 부를 필요가 없다는 판단이 깔려 있음

• 비용 절감 포인트는 “모델 가격 할인”이 아니라 “모델 라우팅”임

  • 고난도 추론은 기존 프런티어 모델에 남겨둠
  • 반복적이고 정형화된 작업은 특정 목적에 맞춘 작은 모델로 처리함
  • 개발자는 별도 모델 운영 환경을 직접 만들지 않고도, 에이전트 내부의 호출 비용을 줄일 수 있음

sequenceDiagram
    participant 개발자
    participant 오픈클로
    participant 클로팩
    participant 소형모델
    participant 프런티어모델
    개발자->>오픈클로: 에이전트 워크플로 실행
    오픈클로->>클로팩: 하위 작업 요청
    클로팩->>소형모델: 분류·추출·요약 라우팅
    소형모델-->>클로팩: 저비용 결과 반환
    클로팩->>프런티어모델: 고난도 추론만 전달
    프런티어모델-->>오픈클로: 최종 처리 결과 반환

루마독은 배포 쪽 비용과 초기 설정을 줄이는 역할

• 루마독(LumaDock)은 오픈클로 전용 가상사설서버(VPS) 템플릿을 제공함

  • 사용자가 서버를 배포하고 오픈클로 템플릿을 고르면, 우분투 24.04 환경에 에이전트 런타임이 사전 설치됨
  • 요금제는 월 1.99달러부터 시작함
  • 직접 설치와 구성에 쓰는 시간을 줄이고, 상시 실행 환경을 빠르게 확보하는 쪽에 초점이 있음

• 이번 파트너십은 호스팅 비용과 추론 비용을 같이 보겠다는 그림임

  • 루마독은 오픈클로를 돌릴 서버 환경을 맡음
  • 뉴로메트릭AI는 모델 호출을 줄이는 추론 라우팅을 맡음
  • 둘을 합치면 “서버는 싸게 띄우고, 모델 호출은 똑똑하게 줄이는” 운영 구성이 됨

에이전트 경쟁력은 모델 하나보다 조합과 오케스트레이션으로 갈 가능성이 큼

• 클로팩은 무료 티어에서 월 1억 토큰을 제공한다고 함

  • 신용카드 없이 사용할 수 있어 초기 테스트 장벽을 낮춘 구성이 됨
  • 양사는 루마독 VPS에 오픈클로를 배포하고 클로팩을 연동하는 공동 튜토리얼도 공개할 예정임

• 이 접근이 흥미로운 이유는 기업 AI 도입의 현실적인 병목을 찌르기 때문임

  • 에이전트는 점점 더 많은 내부 업무에 붙고 있음
  • 사용량이 늘면 “성능 좋은 모델을 쓰자”만으로는 비용을 설명하기 어려워짐
  • 결국 어떤 작업에 어떤 모델을 쓸지 정하는 멀티모델 운영 능력이 중요해짐

• 뉴로메트릭AI 공동창업자 캘빈 쿠퍼의 말도 이 지점에 꽂혀 있음

  • 오픈클로 사용자들은 진지한 워크플로를 운영하고 있고, 그만큼 큰 비용을 맞고 있다고 봄
  • 대부분의 에이전틱 작업은 가장 비싼 모델이 아니라 적절한 모델을 필요로 한다는 전제에서 클로팩을 만들었다고 설명함
  • 이 말은 꽤 현실적임. 에이전트 비용 최적화는 이제 “나중에 튜닝”이 아니라 운영 설계의 일부가 되고 있음

기술 맥락

• 여기서 기술적 선택은 모든 에이전트 작업을 하나의 대형 모델에 보내지 않고, 작업별로 다른 모델에 나눠 보내는 거예요. 왜냐하면 에이전트는 한 번 실행될 때 내부적으로 여러 번 모델을 호출하고, 그중 상당수는 고급 추론이 필요 없는 정형 작업이거든요.

• 프런티어 모델은 복잡한 판단이나 생성에서는 강하지만, 분류·추출·포맷 변환까지 전부 맡기면 비용 대비 효율이 떨어질 수 있어요. 그래서 클로팩은 고난도 작업은 그대로 두고 반복 작업만 소형 언어 모델로 빼는 구조를 택한 거예요.

• 구현 측면에서는 오픈AI 호환 제공자처럼 붙는다는 점이 중요해요. 기존 에이전트 플랫폼 입장에서는 완전히 새 런타임을 도입하는 것보다, 기존 모델 호출 경로에 라우팅 계층을 추가하는 편이 훨씬 덜 부담스럽거든요.

• 루마독의 VPS 템플릿은 인프라 쪽 초기 마찰을 줄이는 역할이에요. 우분투 24.04에 오픈클로 런타임이 미리 깔린 형태라면 개발자는 설치보다 워크플로와 비용 구조를 검증하는 데 시간을 더 쓸 수 있어요.

• 이 조합이 말하는 방향은 꽤 분명해요. AI 에이전트 운영은 “어떤 모델이 제일 똑똑한가”보다 “어떤 단계에 어떤 모델을 쓰면 지속 가능한가”로 옮겨가고 있어요.