본문으로 건너뛰기
J
피드

Mac Studio로 로컬 LLM 돌리는 사람들의 실전 벤치마크 모음

ai-ml 약 5분
tags
#mac-studio#llm#apple-silicon#local-inference#benchmark
vote
0
댓글
북마크

HN에서 Mac Studio로 로컬 LLM을 돌리는 실사용 후기와 벤치마크가 쏟아진 스레드. 256GB M3 Ultra에서 235B 모델을 30tok/s로 돌리는 경험부터 M1-M4의 프롬프트 전처리 속도 한계, Apple의 RAM 끼워팔기 문제까지 다양한 관점이 공유됨.

  • 1

    256GB M3 Ultra에서 Qwen3-vl 235B Q4_K_M으로 ~30tok/s 달성

  • 2

    M1-M4의 프롬프트 전처리 속도가 병목이고 M5에서 해결 예정

  • 3

    Mac Studio M3 Ultra 96GB에서 Gemma 3 27B Q4_K_M ~30tok/s, GPT-OSS 20B ~150tok/s

  • 4

    64GB RAM을 위해 M4 Max CPU를 강제 선택해야 하는 Apple 가격 정책에 불만 다수

  • HN에서 "Mac Studio로 로컬 LLM 돌리는 사람?" 하고 물었더니 실사용 경험 + 벤치마크가 쏟아져 나온 스레드임

256GB M3 Ultra 사용자의 실전 후기

  • Linux 워크스테이션(RAM 32GB + RTX 3060 12GB)에서 256GB M3 Ultra로 갈아탔는데, 양자화된 모델 품질이 꽤 만족스럽다는 후기
  • Qwen3-vl 235B를 Q4_K_M 양자화로 돌리면서 워크스테이션 작업할 RAM도 충분히 남고, 약 30 tok/s 나옴
  • Qwen3 소형 모델(qwen3-coder 등)은 Q8 양자화까지 올려서 품질 위주로 사용 중
  • glm-4.7 (358B 모델)도 Q3 양자화로 돌렸는데, 15 tok/s에 컨텍스트 128k로 줄여야 했지만 품질은 쓸 만했다고
  • 가장 큰 장점은 풀 컨텍스트 할당이 가능해져서 더 크고 복잡한 작업을 넘길 수 있게 된 것. 이것만으로 투자 대비 충분히 값어치한다는 평

벤치마크 모음

Mac Studio M3 Ultra (96GB RAM, 28C CPU, 60C GPU):

  • Gemma 3 27B (Q4_K_M): ~30 tok/s, TTFT ~0.52s
  • GPT-OSS 20B: ~150 tok/s
  • GPT-OSS 120B: ~23 tok/s, TTFT ~2.3s
  • Qwen3 14B (Q6_K): ~47 tok/s, TTFT ~0.35s

MacBook Pro M1 Max (64GB RAM, 10C CPU, 32C GPU):

  • Gemma 3 27B (Q8_0): ~7.5 tok/s, TTFT ~3.11s
  • GPT-OSS 20B (8bit): ~38.4 tok/s, TTFT ~21.15s
  • Olmo 3 32B Think: ~11.0 tok/s, TTFT ~22.12s

M1~M4의 고질적 한계

  • 현재 M1-M4의 가장 큰 문제는 프롬프트 전처리(prefill) 속도임. 긴 프롬프트를 넣으면 처리 시간이 상당히 오래 걸림
  • 원인은 하드웨어 레벨에서 효율적인 행렬 곱셈 연산이 부족한 것인데, M5 아키텍처에서 해결됐다는 이야기가 있음
  • 짧은 프롬프트(수천 토큰 이하) + 대형 모델 + 로컬 추론이 필요한 경우에는 Mac이 합리적인 선택이라는 결론

지정학적 이유로 산 사람도 있음

  • 거주 지역 때문에 미국의 SOTA 모델에 접근이 차단되고, 중국 모델도 불편한 상황이라 직접 하드웨어를 사서 DeepSeek R1, Kimi-K2 등을 로컬로 돌리겠다는 사용자도 있었음

💡팁

> LM Studio로 편하게 쓰다가, 나중에 LangChain + llama.cpp로 자체 시스템을 구축하고, PostgreSQL(pgvector + Apache AGE)로 대화 저장하겠다는 로드맵을 공유한 사람도 있음. 모델 편향을 줄이기 위해 앙상블로 돌리는 게 목표라는데, Perplexity Max의 "model council" 기능과 같은 원리임

문제: Apple의 RAM 끼워팔기

  • RAM을 늘리려면 상위 CPU를 강제로 선택해야 하는 구조임. RAM 자체도 +$400600으로 엄청 비싼데, 거기에 CPU 업그레이드로 +$1,0002,000이 추가됨
  • 32GB RAM → M5 칩 기본 $1,999 / 64GB RAM → M4 Max CPU 강제 선택으로 $3,899
  • 예전(M1 시절)에는 베이스 CPU에 RAM만 올릴 수 있었는데, 지금은 로컬 LLM 수요를 알고 완전히 가격 장사하는 거라는 불만이 많음

Nvidia GPU 대비 절대 성능은 떨어지지만, 대용량 통합 메모리로 초대형 모델을 풀 컨텍스트로 돌릴 수 있다는 게 Mac의 실질적 장점. 다만 Apple의 RAM-CPU 번들 가격 정책이 이 시장을 의도적으로 착취하고 있다는 목소리가 커지고 있음.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.