래블업, 맥북용 AI 추론 엔진 ‘MLXcel’ 오픈소스로 푼다

• 래블업이 애플 실리콘용 AI 추론 엔진 ‘MLXcel’을 오픈소스로 공개할 예정임

  • 대상은 M1, M2, M3, M4 같은 애플 실리콘 기반 맥 환경임
  • 대규모 언어 모델(LLM) 추론 성능을 맥OS에서 최대한 끌어내려고 자체 개발한 엔진임
  • 공개 장소는 글로벌 오픈소스 플랫폼 깃허브가 될 예정임

• MLXcel은 애플의 머신러닝 프레임워크 MLX를 그냥 감싼 수준이 아니라, 운영 쪽 기능을 보강한 엔진에 가까움

  • 기반은 애플의 MLX 깃허브 프로젝트임
  • 여기에 래블업이 자체 성능 튜닝, 오케스트레이션, 모델 운용 기능을 더했다고 설명함
  • 기존에는 래블업의 AI 모델 서빙 플랫폼 ‘Backend.AI:GO’에서 지원해오던 기술임

• 이 공개가 의미 있는 이유는 AI 개발 인프라의 진입장벽을 낮출 수 있어서임

  • 지금까지 고성능 AI 개발은 엔비디아 GPU가 들어간 서버나 대규모 클라우드 인프라를 가진 빅테크 중심으로 돌아가는 경우가 많았음
  • 래블업은 MLXcel을 통해 스타트업, 대학 연구실, 학생, 개인 개발자도 맥북이나 맥 스튜디오로 LLM 실험을 해볼 수 있다고 봄
  • 기사에서 직접 언급된 활용처는 LLM 실험, 멀티모달 테스트, 에이전트 연구임

• 비용과 보안 측면에서도 꽤 현실적인 포인트가 있음

  • 별도 클라우드 응용프로그램환경(API)에 의존하지 않고 맥OS 기반 디바이스 인프라를 활용할 수 있음
  • 기업이나 기관 입장에선 개발부터 배포까지 자체 디바이스 안에서 처리할 수 있어 보안성을 높일 수 있음
  • 클라우드 비용을 줄이고, 이미 보유한 맥 장비를 AI 개발 자원으로 돌릴 수 있다는 계산도 가능함

• 래블업은 이걸 단순 로컬 장난감이 아니라 애플 생태계용 AI 개발·배포 기반으로 키우려는 분위기임

  • 회사는 오는 6월 애플 세계개발자회의(WWDC)에서 공개될 새 실리콘 환경과 디바이스도 MLXcel에서 지원할 계획임
  • 신정규 대표는 윈도 생태계에 메타 ‘라마’ 같은 오픈소스와 AI 추론 엔진이 있는 것처럼, 애플 디바이스에서도 AI 개발과 배포를 쉽게 만들겠다고 설명함
  • 국내 AI 접근성과 확장성을 높이고 생태계 저변을 넓히겠다는 메시지도 같이 냄

• 아직 기사에 빠진 중요한 정보도 있음. 성능 벤치마크 숫자는 공개되지 않았음

  • 어떤 모델에서 토큰 생성 속도가 얼마나 나오는지, 메모리 사용량이 어느 정도인지, 기존 MLX 기반 도구보다 얼마나 빠른지는 기사에 없음
  • 그래서 개발자 입장에선 깃허브 공개 이후 실제 벤치마크와 지원 모델 목록을 봐야 판단 가능함
  • 그래도 “맥OS 로컬 추론을 오픈소스로 밀겠다”는 방향 자체는 한국 개발자 커뮤니티에서도 꽤 공유될 만한 뉴스임

---

기술 맥락

• MLXcel의 선택지는 ‘클라우드 GPU로 보내서 추론하기’가 아니라 ‘애플 실리콘 로컬 자원을 직접 쓰기’에 가까워요. 맥북이나 맥 스튜디오를 이미 쓰는 팀이라면 새 인프라를 크게 사지 않고도 LLM 실험을 시작할 수 있기 때문이에요.

• 기반 기술로 MLX를 고른 이유도 명확해요. MLX는 애플 실리콘의 머신러닝 가속 환경에 맞춰진 프레임워크라서, 맥OS에서 모델을 돌릴 때 일반적인 범용 런타임보다 하드웨어 특성을 더 잘 활용할 여지가 있거든요.

• 래블업이 MLX 위에 성능 튜닝, 오케스트레이션, 모델 운용 기능을 얹었다는 점도 중요해요. 실제 개발팀은 모델 하나를 실행하는 것보다 여러 모델을 관리하고, 서빙하고, 배포 흐름에 붙이는 부분에서 시간을 많이 쓰기 때문이에요.

• 이 접근은 엔비디아 GPU 서버를 완전히 대체한다기보다는, 연구실·스타트업·개인 개발자의 초기 실험 비용을 낮추는 쪽에 더 가까워요. 기사에서도 LLM 실험, 멀티모달 테스트, 에이전트 연구처럼 빠르게 돌려보고 검증해야 하는 작업이 주된 활용처로 언급돼요.

• 보안 맥락도 있어요. 클라우드 API로 데이터를 보내지 않고 자체 디바이스에서 개발과 배포를 처리하면, 민감한 데이터나 내부 실험을 외부 인프라에 덜 노출할 수 있기 때문이에요.