프리즘ML, 270억 매개변수 모델을 아이폰에서 돌렸다고 주장

• 프리즘ML이 270억 매개변수 대규모 언어 모델을 아이폰 17 프로에서 실행했다고 밝힘

  • 사용한 모델은 알리바바의 오픈소스 모델 큐원 3.6 270억 매개변수 버전
  • 원래 54GB 규모인 모델을 자체 압축 기술로 4GB 미만까지 줄였다고 주장함
  • 다음 주 오픈소스로 공개할 계획이라고 함

• 진짜 포인트는 “모바일에서 작은 모델을 돌렸다”가 아니라 “큰 모델을 거의 그대로 쓴다”는 주장임

  • 대부분의 모바일 AI 모델은 희소 전문가 혼합 구조로 일부 매개변수만 활성화함
  • 애플의 현재 온디바이스 모델도 200억 매개변수급이지만 실제 활성 매개변수는 10억~40억개 수준으로 알려짐
  • 프리즘ML은 270억개 매개변수를 모두 동시에 활용한다고 주장해서, 접근 방식이 꽤 다름

• 이 기술이 맞다면 애플의 온디바이스 AI 전략에는 꽤 큰 힌트가 됨

  • 애플은 가능한 많은 AI 기능을 아이폰 안에서 처리하려고 해왔음
  • 이유는 명확함. 클라우드 추론 비용을 줄이고, 사용자 데이터를 밖으로 덜 보내고, 응답 지연도 낮출 수 있음
  • 실제로 애플은 세계개발자회의에서 구글 제미나이 기반의 새 시리를 공개하면서도 일부 AI 기능은 기기 내 실행이라고 설명함

• 프리즘ML은 스마트폰에서도 복잡한 대화, 고급 추론, 자율형 AI 에이전트, 코딩 작업까지 가능하다고 보고 있음

  • 이 정도 작업은 보통 클라우드의 큰 모델이 맡는 영역으로 여겨졌음
  • 만약 모바일에서 쓸 만한 품질로 된다면, 앱 개발자는 서버 비용과 개인정보 처리 설계를 완전히 다르게 볼 수 있음

• 회사 배경도 흥미로움

  • 프리즘ML은 캘리포니아공과대학교 연구진이 만든 스핀오프 기업
  • 올해 1,625만달러, 약 240억원 규모의 시드 투자를 받음
  • 투자자에는 오픈AI 초기 투자사로 알려진 코슬라벤처스도 포함됨

• 프리즘ML CEO 바박 하시비는 앞으로 3년 안에 필요한 AI 기능의 95%가 스마트폰, 노트북, 가전기기 같은 로컬 환경에서 처리될 거라고 봄

  • 최첨단 일부 기능만 클라우드로 가고, 대부분의 일상 AI는 기기 안에서 끝난다는 그림임
  • 이 전망이 맞으면 AI 산업의 비용 구조는 데이터센터 중심에서 디바이스 중심으로 일부 이동함

---

기술 맥락

• 여기서 벌어진 기술적 선택은 “작은 모바일 전용 모델을 새로 만들기”보다 “큰 모델을 압축해서 단말에 넣기”에 가까워요. 이렇게 하면 이미 검증된 큰 모델의 추론 능력을 최대한 유지하면서, 모바일 기기의 메모리 한계를 우회할 수 있거든요.

• 희소 전문가 혼합은 요청마다 일부 전문가만 켜서 연산량을 줄이는 방식이에요. 반면 프리즘ML은 270억개 매개변수를 모두 활성화한다고 주장하니, 실제 품질이 유지된다면 모바일 모델의 성능 상한을 다르게 잡을 수 있어요.

• 애플 입장에서는 이게 단순한 성능 뉴스가 아니에요. 클라우드 추론은 많이 쓸수록 비용이 계속 나가고, 개인정보 이슈도 따라오거든요. 아이폰 안에서 더 많은 추론을 처리할 수 있으면 기능, 비용, 보안 설계가 한꺼번에 바뀌어요.

• 다만 “성능 손실 없음”은 꽤 센 주장이라 공개 모델과 벤치마크를 봐야 해요. 특히 코딩, 장문 추론, 에이전트 작업처럼 실패가 티 나는 워크로드에서 기존 클라우드 모델과 얼마나 버티는지가 관건이에요.