'AI 패배자' 취급받던 애플, 사실은 가장 유리한 포지션이었다

인텔리전스의 상품화, 그리고 애플의 역설

• 프런티어 모델 경쟁이 치열해질수록 모든 모델이 함께 발전하는 아이러니가 발생함
• Gemma4는 MMLU Pro에서 85.2%를 기록하며 Claude Sonnet 4.5 Thinking과 동등한 수준에 도달함
  • 출시 첫 주에만 200만 다운로드를 달성함
  • 18개월 전이라면 SOTA였을 모델들이 이제 노트북에서 돌아가는 수준임
• Kimi K2.5, GLM 5.1 등 오픈소스 모델들이 사실상 프런티어에 근접하고 있음
• 모델이 좋아질수록 더 낮은 사양의 로컬 하드웨어에서 실행 가능한 인텔리전스 단위가 커짐
• 이 상품화의 역설적 수혜자가 바로 "AI 패배자"로 불렸던 애플임

OpenAI: 경고의 사례

• OpenAI는 $300B 밸류에이션으로 투자를 유치했지만 내부 상황은 녹록지 않음
• Sora 셧다운: 하루 운영비 $1,500만 대비 매출 $210만이라는 처참한 단위경제
  • Disney가 Marvel, Pixar, Star Wars 콘텐츠 생성을 위해 3년 라이선스 계약을 체결한 상황이었음
  • Disney의 $1B 지분 투자 계획도 Sora 사업 중단과 함께 증발함
• 인프라 도박: Samsung·SK Hynix와 월 90만 장 DRAM 웨이퍼(글로벌 생산량의 40%) LOI 체결
  • 물론 비구속적 양해각서에 불과했음
  • Micron은 이 수요 신호를 읽고 29년 역사의 Crucial 소비자 메모리 브랜드를 폐지하며 AI 고객 전용으로 전환
• Stargate Texas 취소: OpenAI와 Oracle의 조건 협상 결렬, Micron의 전략 피벗을 정당화했던 수요가 사라짐 → Micron 주가 폭락
• 저자는 "어떤 형태의 구제금융 없이는 OpenAI가 18~24개월 내 파산할 수도 있다"는 과감한 견해를 밝힘

[IMPORTANT] Gemma4는 전화기에서 구동되도록 설계되었음에도 MMLU Pro 85.2%를 기록하며 Claude Sonnet 4.5 Thinking과 Arena 리더보드에서 동등함. 18개월 전 SOTA 수준의 모델이 이제 소비자용 노트북에서 실행됨 — 프런티어 모델만으로는 더 이상 해자(moat)가 되지 않음.

인텔리전스에서 캐퍼빌리티로: 모델만으론 부족하다

• 최고의 모델을 갖는 것 자체가 해자가 되던 시대가 끝나가고 있음
• 덜 유능했던 모델들이 6~12개월 사이에 이전 SOTA 수준을 따라잡고 있음
• Anthropic의 대응 전략이 눈에 띔
  • Claude Code: 개발자 워크플로에 침투
  • Claude Cowork: 팀 단위의 협업 레이어 장악
  • Claude Managed Sessions: 에이전트 오케스트레이션 표준화
  • 모델 자체가 해자가 되지 못한다면 사용 레이어를 잡고 전환 비용을 높이는 전략
  • Max 플랜 구독자 한 명이 $200 구독료에 $27,000 상당의 컴퓨트를 소비한다는 분석도 있음 — 수요를 쫓아가며 보조금을 쏟아붓는 구조
• 반면 애플은 AI 인프라와 사용자 토큰 보조에 거의 아무것도 쓰지 않음 → 오히려 옵션성과 레버리지가 커지는 역설

컨텍스트가 진짜 희소 자원이다

• 인텔리전스가 풍부해질수록 개인 컨텍스트가 진짜 희소 자원이 됨
• 모든 것을 추론할 수 있지만 나에 대해 아무것도 모르는 모델은 범용 도구에 불과함
• 애플은 이미 25억 개 활성 기기를 통해 방대한 개인 컨텍스트를 보유하고 있음
  • Apple Watch의 헬스 데이터
  • iPhone으로 찍은 모든 사진
  • 메모, 메시지, 위치 이력, 앱 사용 패턴, 이메일
  • 기기 센서를 통한 환경 인식
• 온디바이스 프라이버시의 재발견: "Privacy. That's iPhone" 포지셔닝이 이제 구체적 가치가 됨
  • 의료 기록과 15년치 사진을 OpenAI에 넘길 의향이 있는가? 대부분은 그렇지 않음
  • 네트워크 요청 없이 기기에서만 실행되는 모델이 그 모든 데이터에 접근한다면? 전혀 다른 질문임
• $1B Gemini 딜의 논리: 프런티어 모델을 직접 만드는 대신 클라우드급 추론이 필요한 쿼리를 위해 Google의 모델을 저렴하게 구매함
  • OpenAI의 주간 컴퓨트 비용에 비하면 반올림 오차 수준의 금액
  • 컨텍스트 레이어, 온디바이스 스택, 모든 것을 중개하는 OS는 내부에 유지

Apple Silicon의 예상치 못한 이점

• Apple Silicon은 AI를 위해 설계된 것이 아니라 효율성·배터리 수명·열 성능·하드웨어-소프트웨어 공동 설계를 위해 만들어졌음
• 그런데 이 설계가 LLM 추론에 완벽하게 들어맞음

통합 메모리 아키텍처의 핵심:

• 전통적 아키텍처: CPU와 GPU가 별도 칩에 별도 메모리 풀 → 데이터 이동이 느리고 전력을 많이 씀
• Apple M/A 시리즈: CPU, GPU, Neural Engine이 동일 다이에 올라 하나의 고대역폭 메모리 풀을 공유
  • 버스 크로싱 없음, 전송 오버헤드 없음, CPU↔GPU 전환 레이턴시 없음
• LLM 추론은 컴퓨트가 아니라 메모리 대역폭이 병목임 → 애플 아키텍처가 정확히 이 병목을 해소함

[IMPORTANT] 누군가 M3 Max Mac에서 Qwen 397B(209GB 모델)를 5.7 tok/s 속도로 실행하는 데 성공함. 활성 RAM은 단 5.5GB만 사용. 가중치는 SSD에 두고 약 17.5 GB/s 속도로 스트리밍. Mixture-of-Experts 아키텍처 덕분에 각 토큰이 전체 레이어의 일부만 활성화함 — 이것이 "LLM in a Flash" 기법의 핵심임.

• 이 구현을 위한 약 5,000줄의 Objective-C와 Metal 셰이더는 Claude가 작성함
• MLX가 온디바이스 AI의 사실상 표준 프레임워크로 부상 중
  • Gemma, Qwen, Mistral 등 주요 모델 아키텍처가 MLX 지원을 추가함
  • App Store 플랫폼 전략의 재현 가능성: 애플이 모델 경쟁에서 이기지 않아도 모델이 가장 잘 실행되는 플랫폼이 되면 생태계가 따라옴

전략인가 행운인가, 아니면 둘 다인가

• 하드웨어-소프트웨어 공동 설계 전략은 수년 전부터 애플의 핵심 원칙이었음
• 프라이버시 포지셔닝, 온디바이스 처리, 자체 실리콘 개발은 모두 상업적으로 위험했던 시기에 내린 결정임
  • AI를 염두에 두지 않았던 결정들이 AI 시대에 완벽한 포지셔닝을 만들어냄
• 애플이 계획할 수 없었던 것들
  • 통합 메모리 아키텍처가 LLM에 이토록 완벽히 맞아떨어질 것
  • 오픈웨이트 모델이 이렇게 빠르게 능력을 갖출 것
  • 400B 파라미터 모델을 SSD에서 스트리밍하는 게 실제로 작동할 것
• 결론: "운이 좋았다. 하지만 이건 올바른 기반을 구축했을 때 찾아오는 종류의 운이다"

나머지 업계가 3년간 최고의 모델 경쟁을 벌이는 동안, 애플은 관망하며 자신들의 기기와 생태계가 이 AI 미래에 어떻게 맞아들어갈지 파악하고 있었음. 리스크가 있었지만 영리한 포지셔닝이었음.

---

기술 맥락

LLM 추론이 왜 메모리 대역폭에 묶여 있는지 설명이 필요해요. 행렬 곱셈 자체는 GPU가 엄청나게 빠른데, 문제는 추론할 때마다 수백억 개 파라미터의 가중치를 메모리에서 계속 읽어와야 한다는 거거든요. 데이터를 얼마나 빨리 '먹여줄 수 있냐'가 병목이지, 연산 속도 자체가 문제가 아닌 거예요.

전통적인 GPU 아키텍처는 CPU와 GPU가 PCIe 버스로 연결돼 있어서, 여기서 데이터를 주고받는 게 만성적인 병목이 돼요. Apple Silicon은 CPU·GPU·Neural Engine이 같은 다이에 있고 하나의 메모리 풀을 공유하니까 이 병목 자체가 없어요.

MoE(Mixture of Experts) 아키텍처는 여기에 또 하나의 마법을 더해요. 모델 전체를 한 번에 메모리에 올리는 게 아니라, 각 토큰을 처리할 때 필요한 '전문가' 레이어만 선택적으로 활성화하는 거거든요. Qwen 397B가 활성 RAM 5.5GB로 동작할 수 있는 이유가 바로 이 덕분이에요. MLX는 Apple이 만든 머신러닝 프레임워크로, 이 통합 메모리 구조를 네이티브로 활용하도록 설계돼 있어서 다른 프레임워크보다 Apple 하드웨어에서 효율이 높아요.