Ollama, Apple Silicon에서 MLX 기반으로 전환 — 로컬 LLM 추론 속도 대폭 향상

• Ollama가 Apple Silicon에서 MLX(Apple 머신러닝 프레임워크) 기반으로 동작하는 프리뷰 버전(0.18)을 공개함

  • Apple Silicon의 유니파이드 메모리 아키텍처를 직접 활용해서 추론 속도가 대폭 올라감
  • M5, M5 Pro, M5 Max 칩에서는 새로운 GPU Neural Accelerator까지 활용해 TTFT(첫 토큰 생성 시간)와 초당 토큰 생성 속도 모두 개선

• 벤치마크가 꽤 인상적임 — Qwen3.5-35B-A3B 모델 기준

  • NVFP4 양자화 + Ollama 0.18로 테스트 (기존에는 Q4_K_M 사용)
  • 다음 버전인 Ollama 0.19에서는 int4로 돌렸을 때 prefill 1,851 tok/s, decode 134 tok/s까지 나온다고 함
  • 로컬에서 35B급 모델을 이 정도 속도로 돌릴 수 있다는 게 핵심

• NVFP4(NVIDIA FP4 포맷)를 지원하면서 프로덕션 추론 환경과 동일한 결과를 로컬에서 재현할 수 있게 됨

  • 클라우드 추론 서비스들이 NVFP4로 서빙하는 추세인데, 로컬에서도 같은 포맷으로 돌리면 결과 일관성이 올라감
  • NVIDIA 모델 옵티마이저로 최적화된 모델도 돌릴 수 있는 길이 열림

• 캐싱도 대폭 개선됨 — 코딩/에이전트 워크플로우에 특히 유리

  • 대화 간 캐시를 재사용해서 메모리 사용량을 줄이고, Claude Code 같은 도구에서 공유 시스템 프롬프트 쓸 때 캐시 히트율이 올라감
  • 프롬프트의 적절한 위치에 캐시 스냅샷을 자동으로 저장해서 프롬프트 처리 시간 단축
  • 공유 프리픽스를 더 오래 유지하는 스마트 eviction 정책 적용

• 사용법은 간단함 — Claude Code, OpenClaw 등과 바로 연동 가능

  • ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4 한 줄이면 Claude Code에서 사용 가능
  • 현재는 Qwen3.5-35B-A3B 모델에 코딩 태스크용 샘플링 파라미터가 튜닝된 상태
  • 추후 더 많은 모델과 아키텍처를 지원할 예정이며, 커스텀 파인튜닝 모델 임포트 기능도 준비 중

---

기술 맥락

• Ollama가 Apple Silicon에서 기존 llama.cpp 기반 대신 MLX로 갈아탄 건, 유니파이드 메모리를 제대로 활용하기 위해서예요. llama.cpp는 범용적이지만 Apple의 메모리 아키텍처에 특화된 최적화가 부족했거든요. MLX는 Apple이 직접 만든 프레임워크라 GPU와 CPU 간 메모리 복사 없이 바로 텐서를 공유할 수 있어요.

• NVFP4 포맷을 채택한 건 단순히 모델 크기를 줄이려는 게 아니에요. 클라우드 추론 서비스들이 NVFP4로 서빙하고 있으니까, 로컬에서 개발하고 테스트한 결과가 프로덕션과 동일하게 나오는 게 중요한 거예요. 양자화 포맷이 다르면 같은 모델이라도 출력이 미묘하게 달라질 수 있거든요.

• 캐싱 개선이 에이전트 워크플로우에서 특히 큰 차이를 만드는 이유가 있어요. Claude Code 같은 코딩 에이전트는 매 요청마다 긴 시스템 프롬프트를 보내는데, 이전에는 매번 처음부터 처리했다면 이제는 공유 프리픽스를 캐시해두고 재사용하는 거예요. 에이전트가 분기(branching)를 많이 하는 경우에도 공유 프리픽스가 오래 살아남도록 eviction 정책을 바꿨고요.

• M5 칩에서 언급된 "GPU Neural Accelerator"는 기존 Neural Engine과는 다른 개념이에요. GPU 내부에 추론 가속 전용 유닛을 넣은 건데, 이를 통해 prefill과 decode 양쪽 모두에서 속도 이점을 얻을 수 있어요.