구글, 모바일·노트북에서 돌리기 쉬운 Gemma 4 QAT 모델 공개

Gemma 4, 이번엔 ‘작게 돌리는’ 쪽으로 업데이트됨

• 구글이 Gemma 4용 양자화 인식 학습(QAT) 체크포인트를 공개함

  • Gemma 4를 낸 지 약 2개월 만의 업데이트임
  • 앞서 추론 속도를 높이는 다중 토큰 예측(MTP)을 넣었고, 며칠 전에는 E4B와 26B 혼합 전문가(MOE) 모델 사이를 메우는 12B 모델도 공개했음
  • 이번 릴리스의 방향은 명확함. 더 큰 모델 자랑이 아니라, 평범한 노트북·모바일·소비자용 그래픽 처리 장치에서 로컬로 굴릴 수 있게 만드는 쪽임

• 핵심은 QAT로 압축해도 모델 품질이 덜 망가지게 하는 것임

  • 일반적인 사후 양자화(PTQ)는 훈련이 끝난 모델을 나중에 압축하는 방식이라, 메모리는 줄지만 성능이 흔들릴 수 있음
  • QAT는 훈련 중에 양자화될 상황을 미리 시뮬레이션함
  • 그래서 실제 압축 후에도 모델이 낮은 정밀도 환경에 더 잘 적응한 상태가 됨

모바일용 압축은 그냥 4비트로 줄인 게 아님

• 이번 릴리스에는 널리 쓰이는 Q4_0 포맷용 QAT 체크포인트가 포함됨

  • Q4_0은 llama.cpp 같은 로컬 대규모 언어 모델(LLM) 도구 생태계에서 익숙한 포맷임
  • 구글은 모든 모델에서 성능을 끌어내기 위해 이 포맷에 QAT 레시피를 적용했다고 설명함

• E2B와 E4B 같은 엣지 모델에는 아예 모바일 특화 양자화 스키마를 따로 설계함

  • 표준 압축 포맷은 모바일 프로세서에서 효율적으로 실행하기 까다로운 경우가 많음
  • 그래서 구글은 “작게 저장”만 보는 게 아니라, 모바일 가속기가 실제로 계산하기 쉬운 구조를 목표로 삼음

• 모바일 특화 포맷의 첫 번째 포인트는 정적 활성값(static activations)임

  • 보통 모델은 데이터를 어떻게 스케일링할지 실행 중에 계산하느라 연산을 더 씀
  • 구글은 이 설정을 훈련 단계에서 미리 계산해둬서 모바일 칩이 응답 생성에 쓰는 부담을 줄였다고 설명함

• 두 번째는 채널 단위 양자화(channel-wise quantization)임

  • 압축된 데이터를 모바일 가속기 구조에 맞춰 배치함
  • 덕분에 휴대폰이 우회 경로 없이 네이티브에 가까운 방식으로 계산할 수 있다는 게 구글의 설명임

• 세 번째는 타깃 2비트 양자화(targeted 2-bit quantization)임

  • 토큰 생성에 관여하는 특정 부분은 2비트까지 강하게 압축함
  • 대신 핵심 추론 레이어는 더 높은 정밀도로 유지함
  • 저장 공간은 줄이되 “모델이 멍청해지는” 쪽은 피하려는 절충임

• 임베딩과 키-값 캐시(KV cache)도 압축 대상에 들어감

  • 임베딩은 모델의 어휘 목록에 해당하고, 키-값 캐시는 대화 중 짧은 기억처럼 쓰이는 부분임
  • 이 둘은 긴 대화에서 활성 메모리를 잡아먹기 쉬움
  • 구글은 여기를 압축해서 긴 채팅에서도 메모리 부족을 덜 겪게 하는 쪽으로 최적화했다고 밝힘

숫자로 보면 꽤 공격적임

• 모바일 포맷을 쓰면 Gemma 4 E2B의 메모리 사용량을 1기가바이트 수준까지 줄였다고 함

  • 특히 레이어별 임베딩(Per-Layer Embeddings)을 제외한 텍스트 전용 Gemma 4 E2B는 1기가바이트 미만 메모리로 구동 가능하다고 설명함
  • 오디오·비전 인코더가 필요 없는 서비스라면 해당 모달리티를 빼서 메모리 사용량을 더 줄일 수 있음

• 이건 온디바이스 인공지능 기능을 넣고 싶은 개발자에게 꽤 현실적인 포인트임

  • 모델이 클라우드에만 있으면 지연 시간, 비용, 개인정보 문제가 따라옴
  • 반대로 모바일이나 노트북에서 직접 돌릴 수 있으면 오프라인 기능, 로컬 개인정보 처리, 빠른 반응성을 노릴 수 있음
  • 물론 품질과 배터리, 발열은 여전히 봐야 함. 그래도 1기가바이트 미만이라는 숫자는 “한번 붙여볼까?” 생각하게 만드는 선임

생태계 연결도 꽤 넓게 깔아둠

• 모델 가중치는 허깅 페이스(Hugging Face)에서 받을 수 있음

  • GGUF 포맷은 llama.cpp에서 바로 쓰기 좋게 제공됨
  • vLLM용으로는 압축 텐서가 제공됨
  • 그 외 워크플로에는 Q4_0을 지원하는 포맷으로 변환·양자화할 수 있도록 비양자화 체크포인트도 공유함

• 데스크톱 로컬 실행 도구도 바로 언급됨

  • llama.cpp, Ollama, LM Studio로 Gemma 4 QAT 모델을 내려받고 관리하고 실행할 수 있음
  • 개발자 입장에서는 “논문 보고 직접 변환 지옥”으로 들어가는 게 아니라, 이미 쓰던 로컬 LLM 도구에 얹어볼 수 있다는 얘기임

• 엣지와 서버 쪽 런타임도 같이 챙김

  • 온디바이스 배포는 구글의 LiteRT-LM 런타임을 제시함
  • 웹에서는 Transformers.js로 직접 실행하는 경로도 언급됨
  • 더 큰 모델 서빙에는 SGLang과 vLLM을, 애플 실리콘 최적화에는 MLX를 제시함
  • 미세조정은 Hugging Face Transformers와 Unsloth로 이어짐

• 다중 토큰 예측(MTP)과 양자화를 같이 가져가려는 선택지도 있음

  • MTP QAT 체크포인트를 쓰면 MTP의 속도 이점을 유지하면서 양자화도 적용할 수 있다고 설명함
  • 속도와 메모리를 동시에 줄이려는 로컬 추론 쪽에서는 꽤 중요한 조합임

---

기술 맥락

• 이번 선택의 핵심은 “훈련 끝난 모델을 억지로 줄이기”보다 “줄어들 걸 알고 훈련시키기”예요. 사후 양자화(PTQ)는 적용이 쉽지만, 모델이 낮은 정밀도에서 어떻게 깨질지 훈련 중에 배우지 못하거든요. QAT는 이 손실을 미리 경험하게 해서 압축 후 품질 저하를 줄이는 방식이에요.

• 모바일 특화 포맷이 따로 나온 이유도 단순해요. 서버 그래픽 처리 장치에서 잘 도는 압축 포맷이 휴대폰 신경망 가속기에서도 자동으로 잘 도는 건 아니거든요. 그래서 구글은 정적 활성값, 채널 단위 양자화, 타깃 2비트 양자화처럼 모바일 하드웨어가 실제로 계산하기 쉬운 구조를 골랐어요.

• 특히 키-값 캐시(KV cache)와 임베딩을 건드린 점이 실전적이에요. 로컬 챗봇은 모델 파일 크기만 문제가 아니라, 대화가 길어질수록 실행 중 메모리가 계속 늘어나는 게 병목이 되거든요. 긴 대화를 유지하려면 이 활성 메모리 쪽을 줄이는 게 꽤 중요해요.

• 개발자 입장에서는 배포 경로가 넓다는 점도 큼직해요. GGUF는 llama.cpp 쪽, 압축 텐서는 vLLM 쪽, LiteRT-LM은 엣지 쪽, MLX는 애플 실리콘 쪽으로 이어져요. 같은 모델이라도 어디서 돌릴지에 따라 런타임과 포맷 선택이 달라지기 때문에, 처음부터 여러 경로를 열어둔 게 의미 있어요.