Nvidia CMX/STX로 본 KV Cache 확장 생태계 총정리

Nvidia CMX/STX: KV Cache 확장의 새로운 표준

• KV Cache란 무엇인가

  • LLM inference 시 이전 layer의 activation(key-value pair)을 저장하는 메커니즘
  • 재계산을 피해 성능을 향상시킴 - transformer의 attention mechanism에 적용됨
  • context가 커지면 GPU HBM을 초과하게 되고, eviction된 데이터를 재계산하면 latency 증가
  • Agentic AI와 long-context 워크로드가 이 문제를 더 심화시킴

• Nvidia의 4-tier KV Cache 계층 구조

  • GPU HBM → CPU DRAM → 로컬 SSD → 네트워크 스토리지
  • 새로운 G3.5 tier 도입: Ethernet-attached flash tier로 KV cache에 최적화
  • G3.5는 in-Pod G3 tier와 off-Pod G4 tier 사이를 연결하는 역할
  • 각 tier는 접근 시간이 길어지지만, 재계산 시간보다는 빠를 수 있음

CMX (Inference Context Memory Storage Platform)

• CES 2026에서 ICMSP로 발표 → CMX로 리브랜딩

  • NVMe 기반 스토리지로 GPU KV cache를 확장
  • NVMe-resident KV cache를 context memory address space의 일부로 만듦
  • inference 실행 간에도 persistent하게 유지됨

• 핵심 하드웨어: BlueField-4 DPU

  • Grace CPU 탑재, 최대 800 Gbps throughput
  • 하드웨어 가속 cache placement로 metadata overhead 제거
  • NVMe-oF 및 object/RDMA 프로토콜 처리
  • GPU 노드로부터의 secure, isolated access 보장

• 소프트웨어 스택

  • Dynamo: 분산 inference 프레임워크, KV cache offloading 지원
  • NIXL (Nvidia Inference Transfer Library): 저지연 전송
  • vLLM, TensorRT-LLM 등과 통합
  • DOCA 프레임워크로 마이크로서비스 가속

• 성능 주장: 기존 스토리지 대비 5배 전력 효율, 5배 높은 tokens/second

STX 모듈형 레퍼런스 아키텍처

• GTC 2026에서 발표 - CMX 구현을 위한 하드웨어 레퍼런스 설계

  • Vera Rubin accelerator + BF-4 + ConnectX-9 SuperNIC + Spectrum-X Ethernet
  • 기존 CPU 아키텍처 대비 4배 에너지 효율
  • 엔터프라이즈 AI 데이터 수집 속도 2배 향상

• 15개 이상의 스토리지 파트너가 참여

  • VAST Data, WEKA, DDN, Dell, HPE, NetApp, Nutanix, Cloudian, MinIO 등
  • 각 벤더가 BF-4 DPU에 자사 소프트웨어를 포팅해야 하는 과제가 있음
  • disaggregated/scale-out 아키텍처를 가진 벤더(HPE Alletra, Everpure FlashBlade, NetApp AFX, VAST Data)가 유리

• 얼리 어답터: CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, OCI, Vultr

• STX 기반 플랫폼은 2026년 하반기 출시 예정

주요 벤더별 구현 현황

• DDN: Infinia OS로 KV cache loading 최대 27배 빠르게, sub-ms latency, token당 비용 두 자릿수 감소 주장
• VAST Data: CNode 소프트웨어가 BF-4 내부에서 실행, G3.5 JBOF에서 G2 DRAM으로 직접 전송 (G3 tier 경유 안 함)
• WEKA: Augmented Memory Grid로 이미 KV cache 확장 제공 중, STX 통합 시 4-10배 tokens/second 향상 예상
• MinIO: AIStor가 BF-4 DPU 내부에서 네이티브 실행 → 별도 스토리지 서버 불필요
• 대안적 접근: PEAK:AIO는 NVMe 대신 CXL memory 사용, Pliops는 ASIC 기반 PCIe 카드 방식

---

기술 맥락: KV Cache는 LLM inference에서 transformer의 attention layer가 생성하는 key-value pair를 저장하는 메커니즘으로, "Attention Is All You Need" (2017) 논문에서 기반 개념이 제시됨. GPU HBM 용량을 초과하는 context에 대해 계층적 스토리지로 확장하는 것이 핵심 과제이며, Nvidia는 이를 플랫폼 수준에서 표준화하려는 시도를 하고 있음. BF-4 DPU가 스토리지 I/O plane을 담당하면서 NVMe-oF와 RDMA 프로토콜을 처리하는 구조는 기존 스토리지 아키텍처와 근본적으로 다른 접근임. 다만 이 생태계는 아직 초기 단계이며 Rubin GPU 인프라에 종속적이라는 한계가 있음.