---
title: "구글, 모바일·노트북에서 돌리기 쉬운 Gemma 4 QAT 모델 공개"
published: 2026-06-05T16:18:48.000Z
canonical: https://jeff.news/article/3796
---
# 구글, 모바일·노트북에서 돌리기 쉬운 Gemma 4 QAT 모델 공개

구글이 Gemma 4를 모바일, 노트북, 소비자용 그래픽 처리 장치에서 더 쉽게 돌릴 수 있도록 양자화 인식 학습(QAT) 체크포인트를 공개했다. 핵심은 모델을 훈련할 때부터 압축 손실을 고려해서, 사후 양자화(PTQ)보다 품질 저하를 줄이면서 메모리 사용량을 크게 낮추는 것. 특히 모바일 특화 포맷을 쓰면 Gemma 4 E2B 텍스트 전용 모델은 1기가바이트 미만 메모리로도 구동 가능하다고 밝혔다.

## Gemma 4, 이번엔 ‘작게 돌리는’ 쪽으로 업데이트됨

- 구글이 Gemma 4용 양자화 인식 학습(QAT) 체크포인트를 공개함
  - Gemma 4를 낸 지 약 2개월 만의 업데이트임
  - 앞서 추론 속도를 높이는 다중 토큰 예측(MTP)을 넣었고, 며칠 전에는 E4B와 26B 혼합 전문가(MOE) 모델 사이를 메우는 12B 모델도 공개했음
  - 이번 릴리스의 방향은 명확함. 더 큰 모델 자랑이 아니라, 평범한 노트북·모바일·소비자용 그래픽 처리 장치에서 로컬로 굴릴 수 있게 만드는 쪽임

- 핵심은 QAT로 압축해도 모델 품질이 덜 망가지게 하는 것임
  - 일반적인 사후 양자화(PTQ)는 훈련이 끝난 모델을 나중에 압축하는 방식이라, 메모리는 줄지만 성능이 흔들릴 수 있음
  - QAT는 훈련 중에 양자화될 상황을 미리 시뮬레이션함
  - 그래서 실제 압축 후에도 모델이 낮은 정밀도 환경에 더 잘 적응한 상태가 됨

> [!IMPORTANT]
> 구글은 이번 QAT 결과가 표준 사후 양자화(PTQ) 기준선보다 전반적인 품질 보존에서 더 낫다고 설명함. 로컬 모델에서 중요한 건 “작아졌다”가 아니라 “작아졌는데 쓸 만하다”라서 이 차이가 꽤 큼.

## 모바일용 압축은 그냥 4비트로 줄인 게 아님

- 이번 릴리스에는 널리 쓰이는 Q4_0 포맷용 QAT 체크포인트가 포함됨
  - Q4_0은 llama.cpp 같은 로컬 대규모 언어 모델(LLM) 도구 생태계에서 익숙한 포맷임
  - 구글은 모든 모델에서 성능을 끌어내기 위해 이 포맷에 QAT 레시피를 적용했다고 설명함

- E2B와 E4B 같은 엣지 모델에는 아예 모바일 특화 양자화 스키마를 따로 설계함
  - 표준 압축 포맷은 모바일 프로세서에서 효율적으로 실행하기 까다로운 경우가 많음
  - 그래서 구글은 “작게 저장”만 보는 게 아니라, 모바일 가속기가 실제로 계산하기 쉬운 구조를 목표로 삼음

- 모바일 특화 포맷의 첫 번째 포인트는 정적 활성값(static activations)임
  - 보통 모델은 데이터를 어떻게 스케일링할지 실행 중에 계산하느라 연산을 더 씀
  - 구글은 이 설정을 훈련 단계에서 미리 계산해둬서 모바일 칩이 응답 생성에 쓰는 부담을 줄였다고 설명함

- 두 번째는 채널 단위 양자화(channel-wise quantization)임
  - 압축된 데이터를 모바일 가속기 구조에 맞춰 배치함
  - 덕분에 휴대폰이 우회 경로 없이 네이티브에 가까운 방식으로 계산할 수 있다는 게 구글의 설명임

- 세 번째는 타깃 2비트 양자화(targeted 2-bit quantization)임
  - 토큰 생성에 관여하는 특정 부분은 2비트까지 강하게 압축함
  - 대신 핵심 추론 레이어는 더 높은 정밀도로 유지함
  - 저장 공간은 줄이되 “모델이 멍청해지는” 쪽은 피하려는 절충임

- 임베딩과 키-값 캐시(KV cache)도 압축 대상에 들어감
  - 임베딩은 모델의 어휘 목록에 해당하고, 키-값 캐시는 대화 중 짧은 기억처럼 쓰이는 부분임
  - 이 둘은 긴 대화에서 활성 메모리를 잡아먹기 쉬움
  - 구글은 여기를 압축해서 긴 채팅에서도 메모리 부족을 덜 겪게 하는 쪽으로 최적화했다고 밝힘

## 숫자로 보면 꽤 공격적임

- 모바일 포맷을 쓰면 Gemma 4 E2B의 메모리 사용량을 1기가바이트 수준까지 줄였다고 함
  - 특히 레이어별 임베딩(Per-Layer Embeddings)을 제외한 텍스트 전용 Gemma 4 E2B는 1기가바이트 미만 메모리로 구동 가능하다고 설명함
  - 오디오·비전 인코더가 필요 없는 서비스라면 해당 모달리티를 빼서 메모리 사용량을 더 줄일 수 있음

- 이건 온디바이스 인공지능 기능을 넣고 싶은 개발자에게 꽤 현실적인 포인트임
  - 모델이 클라우드에만 있으면 지연 시간, 비용, 개인정보 문제가 따라옴
  - 반대로 모바일이나 노트북에서 직접 돌릴 수 있으면 오프라인 기능, 로컬 개인정보 처리, 빠른 반응성을 노릴 수 있음
  - 물론 품질과 배터리, 발열은 여전히 봐야 함. 그래도 1기가바이트 미만이라는 숫자는 “한번 붙여볼까?” 생각하게 만드는 선임

> [!NOTE]
> 이번 글에서 구글은 세부 벤치마크 수치보다 메모리 풋프린트와 배포 포맷을 더 강조함. 즉 연구 데모라기보다, 개발자가 바로 내려받아 로컬·엣지 환경에서 써보게 만드는 릴리스에 가까움.

## 생태계 연결도 꽤 넓게 깔아둠

- 모델 가중치는 허깅 페이스(Hugging Face)에서 받을 수 있음
  - GGUF 포맷은 llama.cpp에서 바로 쓰기 좋게 제공됨
  - vLLM용으로는 압축 텐서가 제공됨
  - 그 외 워크플로에는 Q4_0을 지원하는 포맷으로 변환·양자화할 수 있도록 비양자화 체크포인트도 공유함

- 데스크톱 로컬 실행 도구도 바로 언급됨
  - llama.cpp, Ollama, LM Studio로 Gemma 4 QAT 모델을 내려받고 관리하고 실행할 수 있음
  - 개발자 입장에서는 “논문 보고 직접 변환 지옥”으로 들어가는 게 아니라, 이미 쓰던 로컬 LLM 도구에 얹어볼 수 있다는 얘기임

- 엣지와 서버 쪽 런타임도 같이 챙김
  - 온디바이스 배포는 구글의 LiteRT-LM 런타임을 제시함
  - 웹에서는 Transformers.js로 직접 실행하는 경로도 언급됨
  - 더 큰 모델 서빙에는 SGLang과 vLLM을, 애플 실리콘 최적화에는 MLX를 제시함
  - 미세조정은 Hugging Face Transformers와 Unsloth로 이어짐

- 다중 토큰 예측(MTP)과 양자화를 같이 가져가려는 선택지도 있음
  - MTP QAT 체크포인트를 쓰면 MTP의 속도 이점을 유지하면서 양자화도 적용할 수 있다고 설명함
  - 속도와 메모리를 동시에 줄이려는 로컬 추론 쪽에서는 꽤 중요한 조합임

---

## 기술 맥락

- 이번 선택의 핵심은 “훈련 끝난 모델을 억지로 줄이기”보다 “줄어들 걸 알고 훈련시키기”예요. 사후 양자화(PTQ)는 적용이 쉽지만, 모델이 낮은 정밀도에서 어떻게 깨질지 훈련 중에 배우지 못하거든요. QAT는 이 손실을 미리 경험하게 해서 압축 후 품질 저하를 줄이는 방식이에요.

- 모바일 특화 포맷이 따로 나온 이유도 단순해요. 서버 그래픽 처리 장치에서 잘 도는 압축 포맷이 휴대폰 신경망 가속기에서도 자동으로 잘 도는 건 아니거든요. 그래서 구글은 정적 활성값, 채널 단위 양자화, 타깃 2비트 양자화처럼 모바일 하드웨어가 실제로 계산하기 쉬운 구조를 골랐어요.

- 특히 키-값 캐시(KV cache)와 임베딩을 건드린 점이 실전적이에요. 로컬 챗봇은 모델 파일 크기만 문제가 아니라, 대화가 길어질수록 실행 중 메모리가 계속 늘어나는 게 병목이 되거든요. 긴 대화를 유지하려면 이 활성 메모리 쪽을 줄이는 게 꽤 중요해요.

- 개발자 입장에서는 배포 경로가 넓다는 점도 큼직해요. GGUF는 llama.cpp 쪽, 압축 텐서는 vLLM 쪽, LiteRT-LM은 엣지 쪽, MLX는 애플 실리콘 쪽으로 이어져요. 같은 모델이라도 어디서 돌릴지에 따라 런타임과 포맷 선택이 달라지기 때문에, 처음부터 여러 경로를 열어둔 게 의미 있어요.

## 핵심 포인트

- Gemma 4 공개 두 달 만에 QAT 기반 압축 체크포인트가 추가됨
- Q4_0 포맷과 모바일 특화 양자화 포맷을 함께 제공함
- Gemma 4 E2B는 모바일 포맷 기준 메모리 사용량을 1기가바이트 수준까지 낮춤
- GGUF, vLLM, LiteRT-LM, Transformers.js, MLX, Ollama, LM Studio 같은 생태계 도구와 바로 연결됨

## 인사이트

로컬 대규모 언어 모델(LLM)은 이제 단순히 모델 크기 경쟁이 아니라, 같은 품질을 얼마나 적은 메모리와 전력으로 버티게 하느냐의 싸움으로 넘어가는 중임. 한국 개발자 입장에서도 온디바이스 인공지능 기능, 사내 로컬 추론, 개인정보 보호형 챗봇을 고민한다면 꽤 실용적인 업데이트다.