구글 TurboQuant: AI 모델 압축의 판도를 바꾸는 기술 등장 (ICLR 2026)

• TurboQuant: 추가 학습/파인튜닝 없이 KV 캐시를 3비트로 압축, 모델 정확도 손실 없음
• H100 GPU에서 4비트 TurboQuant 기준 32비트 대비 최대 8배 속도 향상 ㄷㄷ
• PolarQuant: 극좌표계 변환으로 기존 방식의 메모리 오버헤드 문제 완전히 제거
• KV 메모리 크기를 최소 6배 이상 줄이면서도 롱컨텍스트 벤치마크 전 항목 완벽 통과
• Gemma, Mistral LLM에서 원본보다 빠른 런타임 달성

---

배경: 왜 벡터 압축이 중요한가

AI 모델이 정보를 이해하고 처리하는 기본 단위는 **벡터(Vector)**임. 단순한 속성은 소형 벡터로 표현하지만, 이미지 특징이나 단어의 의미 같은 복잡한 정보는 **고차원 벡터(High-dimensional Vector)**가 필요함. 근데 이게 메모리를 어마어마하게 잡아먹어서 키-값 캐시(Key-Value Cache) 병목이 생김.

**벡터 양자화(Vector Quantization)**는 이 고차원 벡터 크기를 줄이는 고전적인 압축 기법인데, 문제가 있었음. 기존 방법들은 압축 상수를 풀 정밀도로 저장해야 해서 숫자당 1~2비트의 추가 메모리 오버헤드가 발생, 압축의 의미가 반감되는 문제가 있었음.

PolarQuant: 압축을 보는 새로운 "각도"

PolarQuant는 이 오버헤드 문제를 완전히 다른 방식으로 해결함.

기존 방식이 "동쪽으로 3블록, 북쪽으로 4블록"처럼 직교 좌표계(X, Y, Z축 거리)로 벡터를 표현했다면, PolarQuant는 "37도 방향으로 5블록"처럼 **극좌표계(Polar Coordinates)**로 변환함.

이렇게 하면 두 가지 정보만 남음:

• 반지름(Radius): 핵심 데이터의 강도
• 각도(Angle): 데이터의 방향 또는 의미

각도 패턴이 이미 예측 가능한 "원형" 그리드에 집중되기 때문에, 경계가 계속 바뀌는 "사각형" 그리드와 달리 데이터 정규화 단계가 필요 없음. 결과적으로 기존 방식이 짊어져야 했던 메모리 오버헤드를 완전히 제거함.

TurboQuant의 성과: 개미쳤는데?

TurboQuant는 PolarQuant와 양자화된 존슨-린덴스트라우스(QJL, Quantized Johnson-Lindenstrauss) 기법을 결합해서 다음을 달성함:

• 추가 학습/파인튜닝 없이 KV 캐시를 3비트까지 압축
• 모델 정확도 손실 제로
• 롱컨텍스트 "니들 인 헤이스택(Needle-in-Haystack)" 벤치마크 전 항목 완벽 통과
• KV 메모리 크기 최소 6배 이상 감소
• 4비트 TurboQuant: H100 GPU에서 32비트 비압축 대비 최대 8배 속도 향상
• Gemma, Mistral LLM 기준 원본 모델보다 더 빠른 런타임 달성

구현도 개간단하고 런타임 오버헤드도 무시할 수준이라고 함.

발표 일정

• TurboQuant: ICLR 2026 발표 예정
• PolarQuant: AISTATS 2026 발표 예정
• QJL: 함께 공개