GLM 5.2가 불러올 AI 추론 마진 붕괴론

진짜 딥시크 모멘트는 학습비가 아니라 추론비 쪽이라는 주장

• 필자는 시장이 딥시크 R1 때 엉뚱한 곳을 봤다고 봄

  • 당시에는 V3 학습 비용이 600만 달러 미만으로 알려지면서 “이제 거대한 학습 인프라 투자는 끝난 거 아니냐”는 식으로 해석됨
  • 그래서 엔비디아 같은 주식이 크게 흔들렸지만, 필자는 이게 AI 비용 구조를 잘못 읽은 반응이었다고 말함

• 학습은 비싸지만 고정비에 가까움

  • 수억 달러를 들여 모델을 학습하고 나면 일단 그 단계는 끝남
  • 반면 추론은 사용자가 요청할 때마다 계속 비용이 붙음
  • 즉 수요가 늘수록 진짜 한계비용이 쌓이는 곳은 추론임

• 프런티어 AI 업체의 비즈니스 모델은 비싼 모델을 학습한 뒤, 고마진 추론으로 회수하는 구조라는 얘기임

  • 앤스로픽이나 오픈에이아이가 추론에 백만 토큰당 25달러를 받는 경우, 필자의 대략 계산으로는 컴퓨트 원가 대비 매출총이익률이 90% 안팎일 수 있다고 봄
  • 유출된 오픈에이아이 재무 자료에선 전체 매출총이익률이 약 60%로 보이지만, 여기엔 지원, 결제 처리, 다른 서비스 비용도 섞였을 가능성이 큼

GLM 5.2가 무서운 이유

• 필자는 Z.ai의 GLM 5.2를 몇 주 써본 뒤, 오픈 가중치 모델이 드디어 오퍼스와 GPT의 진짜 경쟁선에 올라왔다고 평가함

  • 글 작성 시점의 최신 GPT는 5.5라고 언급함
  • 필자 기준으로는 일상적으로 쓰는 오퍼스와 구분하기 어려울 정도였다고 함

• 단점도 분명함. 첫 번째는 느림

  • GLM 5.2는 생각을 많이 하는 경향이 있어서 응답이 느리게 느껴짐
  • 백그라운드 PR 리뷰처럼 즉시성이 덜 중요한 비대화형 에이전트 작업에선 큰 문제가 아님
  • 하지만 대화형 사용에서는 집중력이 끊길 정도로 느릴 수 있고, 생각 토큰이 많아지면 비용도 늘어남

• 두 번째 약점은 비전 미지원임

  • 필자는 예전엔 비전 기능을 거의 안 썼지만, 오퍼스 4.7의 고해상도 비전 이후로 이미지 기반 PDF, 스크린샷, 디자인 파일을 자주 쓰게 됐다고 함
  • GLM 5.2가 이런 입력을 읽지 못하는 건 프런티어 모델 대비 꽤 큰 약점임

• 세 번째 약점은 웹 검색임

  • 에이전트 작업 대부분은 생각보다 웹 검색을 많이 함
  • Z.ai가 웹 검색용 MCP 대체품을 제공하지만 느리고 품질이 별로라고 평가함
  • Fireworks는 명확한 웹 검색 제공 계획을 말하지 않았고, 필자는 사실상 당장은 없다고 봄
  • 임시 우회로 ddgr 같은 CLI 기반 검색을 쓰게 할 수는 있지만, 아직은 약한 고리임

전환 비용이 너무 낮다

• 프런티어 업체 입장에서 진짜 무서운 지점은 GLM 5.2로 갈아타기가 너무 쉽다는 점임

  • Z.ai와 Fireworks 모두 오픈에이아이 호환, 앤스로픽 호환 엔드포인트를 제공함
  • Claude Code나 Codex에서 기본 URL과 API 키를 바꾸고 GLM 5.2를 쓰라고 지정하면 끝나는 수준

• 특히 앤스로픽이 claude -p 같은 비대화형 에이전트 사용에 API 요금을 매기려다 물러선 맥락에서 이 대체재는 더 눈에 띔

  • 많은 비대화형 작업은 GLM으로 바로 바꿔 넣을 수 있다고 봄
  • 대화형 사용도 비전 부재와 속도만 빼면, 필자는 Claude Code 안에서 오퍼스를 쓰는지 GLM을 쓰는지 거의 못 느꼈다고 함

• 이건 전통적인 엔터프라이즈 소프트웨어 잠금과 다름

  • 마이크로소프트나 세일즈포스에서 빠져나오려면 몇 년짜리 마이그레이션이 필요할 수 있음
  • 반면 모델 API는 호환 엔드포인트만 맞으면 교체 비용이 낮음
  • Codex, OpenCode 같은 오픈소스 선택지도 많아서 특정 도구가 서드파티 모델 사용을 막아도 우회 여지가 큼

• 기업용으로는 데이터 프라이버시와 보안이 걸림돌임

  • Z.ai 공식 API나 구독은 중국 본토와의 연결성, 약한 약관 때문에 많은 기업에선 시작부터 어려울 수 있음
  • 하지만 오픈 가중치라서 다른 제공자에게 맡기거나, 계약 조건이 더 나은 곳을 고를 수 있음
  • 더 민감한 경우 온프레미스로 직접 호스팅해 외부 제3자에게 보낼 수 없던 데이터까지 에이전트 워크플로에 넣을 수 있음

비용 차이가 꽤 크다

• GLM 5.2의 시장 가격은 대략 백만 토큰당 4.40달러 수준이라고 함

  • 오퍼스 소매가의 20% 미만
  • GPT 5.5 비용의 약 15% 수준
  • 생각 토큰이 많아 같은 작업에서 토큰을 더 쓸 수 있으니 완전한 1대1 비교는 아님

• 그래도 필자는 거의 모든 워크플로에서 50% 이상 저렴할 가능성이 높다고 봄

  • 품질이 비슷한데 비용이 절반 이하라면, 대량 사용 조직에선 무시하기 어려움
  • Z.ai의 코딩 플랜 구독도 앤스로픽이나 오픈에이아이식 요금제와 비슷하지만 더 높은 사용량 제한을 내세움
  • 다만 학습과 데이터 보존 약관이 느슨해서 전문적 사용에는 부담이 될 수 있다고 봄

• 서빙 최적화가 진행되면 비용은 더 내려갈 가능성이 있음

  • Wafer는 AMD 하드웨어에서 GLM 5.2를 돌리는 실험을 소개함
  • 해당 글에 따르면 AMD 기반 추론이 엔비디아 블랙웰 대비 토큰당 2.75배 저렴할 수 있다고 함
  • 이게 맞다면 모델 품질 경쟁만큼이나 서빙 스택 최적화가 가격 경쟁의 핵심이 됨

• 필자는 다음 글에서 추론 마진 붕괴가 업계에 어떤 영향을 줄지, 누가 이기고 누가 질지를 다룰 예정이라고 함

  • 베이조스의 “당신의 마진은 나의 기회”라는 말을 떠올리라고 덧붙임
  • Fireworks가 실험용 크레딧을 제공했다는 이해관계도 공개함

---

기술 맥락

• 이 글에서 가장 중요한 기술적 선택은 프런티어 모델을 계속 기본값으로 쓸지, 오픈 가중치 모델을 일부 워크플로에 섞을지예요. 이유는 단순해요. 에이전트 사용량이 늘수록 추론비가 팀 운영비로 바로 튀어나오기 때문이에요.

• GLM 5.2가 실무적으로 의미 있는 건 오픈에이아이·앤스로픽 호환 엔드포인트를 제공하기 때문이에요. 기존 코딩 에이전트나 내부 도구에서 호출 형식을 크게 바꾸지 않고 기본 URL과 키만 바꿔 테스트할 수 있으니, 도입 장벽이 낮아요.

• 다만 모든 작업을 한 번에 바꾸기는 어려워요. 비전 입력이 필요한 디자인 리뷰, 스크린샷 분석, 이미지 기반 PDF 처리 같은 작업은 아직 프런티어 모델 쪽이 유리하고, 웹 검색 품질도 에이전트 성공률에 꽤 큰 영향을 줘요.

• 그래서 현실적인 접근은 PR 리뷰, 리팩터링 초안, 긴 백그라운드 분석처럼 응답 속도가 덜 중요한 작업부터 옮기는 거예요. 이런 작업은 느린 추론을 참을 수 있고, 토큰 단가 차이가 누적될수록 비용 절감 효과가 잘 보여요.

• 온프레미스 호스팅 가능성도 기업 입장에선 커요. 외부 API로 보내기 어려운 코드나 문서를 내부 인프라에서 처리할 수 있다면, 비용 절감뿐 아니라 데이터 통제권까지 같이 얻는 선택지가 되거든요.