macOS 26에 LLM이 내장되는데, Apple은 Siri한테만 쓰게 해둠 — apfel이 그걸 풀어줌

• macOS 26(Tahoe)부터 모든 Apple Silicon Mac에 온디바이스 LLM이 탑재됨 — Apple Intelligence의 일부로, Neural Engine과 GPU에서 추론이 돌아감

  • 네트워크 호출 없음, 클라우드 없음, API 키 없음. 그냥 모델이 거기 있음
  • Swift API인 FoundationModels 프레임워크를 통해 SystemLanguageModel에 접근 가능

• 문제는 Apple이 이걸 Siri랑 Writing Tools 같은 시스템 기능에만 쓰고 있다는 것

  • 터미널 명령어도 없고, HTTP 엔드포인트도 없고, 텍스트를 파이프로 넘길 방법이 없음
  • FoundationModels 프레임워크 자체는 존재하지만, 쓰려면 Swift 앱을 직접 짜야 함

• apfel이 이 문제를 해결함 — Swift 6.3 바이너리로 LanguageModelSession을 감싸서 세 가지 방식으로 노출시킴

  • UNIX CLI 도구: stdin/stdout으로 텍스트를 주고받을 수 있음
  • OpenAI 호환 HTTP 서버: Hummingbird 기반으로 돌아가서, 기존 OpenAI API 클라이언트 코드를 그대로 갖다 쓸 수 있음
  • 인터랙티브 채팅: 컨텍스트 관리 기능까지 지원

• 로컬 LLM 생태계에서 꽤 의미 있는 포지션을 잡을 수 있는 도구

  • ollama나 llama.cpp 같은 기존 로컬 LLM 도구와 달리, 별도 모델 다운로드가 필요 없음 — OS에 이미 깔려 있는 모델을 그대로 활용
  • OpenAI 호환 서버를 제공하니까 기존 워크플로우에 드롭인으로 넣을 수 있음

---

기술 맥락

• Apple이 FoundationModels라는 프레임워크를 macOS 26에 넣은 건, 그동안 Core ML이 해왔던 역할의 확장이에요. Core ML은 이미지 분류나 간단한 예측 모델을 돌리는 데 주로 쓰였는데, 이번에는 아예 언어 모델 전용 API를 별도로 만든 거거든요

• SystemLanguageModel이라는 게 핵심인데, 이건 앱이 직접 모델 파일을 관리할 필요 없이 OS가 제공하는 모델에 세션을 열어서 접근하는 구조예요. 모델 업데이트나 최적화를 OS 레벨에서 처리할 수 있으니까 개발자 입장에서는 편하죠

• apfel이 Hummingbird를 웹 서버로 선택한 이유가 있어요. Hummingbird는 Swift 서버 생태계에서 Vapor 다음으로 주목받는 프레임워크인데, 더 가볍고 모듈러한 설계라서 이런 단일 목적 서버에 잘 맞거든요. OpenAI 호환 API를 제공한다는 건, /v1/chat/completions 같은 엔드포인트를 그대로 구현했다는 뜻이라 기존에 OpenAI API를 호출하는 코드가 있으면 base URL만 바꾸면 됨

• Apple Silicon의 Neural Engine은 초당 수조 번의 연산이 가능한 전용 칩이에요. GPU와 함께 쓰면 로컬에서도 꽤 괜찮은 추론 성능이 나오는데, 클라우드 왕복 지연이 없으니 체감 속도는 더 빠를 수 있어요