본문으로 건너뛰기
피드

Apple, 3B 파라미터 온디바이스 GUI 에이전트 Ferret-UI Lite 공개

ai-ml 약 3분
vote
0
댓글
북마크

Apple이 3B 파라미터의 온디바이스 GUI 에이전트 Ferret-UI Lite를 공개함. 실시간 크롭&줌과 멀티 에이전트 기반 자체 학습 데이터 생성 파이프라인으로 최대 24배 큰 모델과 동등한 성능을 달성함.

  • 1

    3B 파라미터로 최대 24배 큰 GUI 에이전트 모델과 동등/상회하는 벤치마크 성능

  • 2

    실시간 크롭&줌 기법으로 작은 모델의 이미지 토큰 처리 한계를 보완

  • 3

    멀티 에이전트 파이프라인으로 합성 학습 데이터를 자체 생성

  • 4

    짧은 호라이즌 태스크에 강하나 복잡한 멀티스텝 인터랙션에서는 약함

  • 5

    완전 온디바이스 실행으로 프라이버시 보장

Ferret-UI Lite: 3B 파라미터로 24배 큰 모델을 이기는 온디바이스 GUI 에이전트

  • Apple이 Ferret-UI Lite를 공개함 — 3B 파라미터짜리 온디바이스 GUI 에이전트 모델로, 최대 24배 큰 모델과 동등하거나 더 나은 벤치마크 성능을 보임
  • Ferret 시리즈는 2023년 첫 논문에서 시작해 Ferret-v2, Ferret-UI(13B), Ferret-UI 2로 확장되어 왔고, Ferret-UI Lite는 이 계보의 경량화 버전임

핵심 기술: 실시간 크롭 & 자체 학습 데이터 생성

  • 실시간 크롭 앤 줌 기법이 특히 주목할 만함 — 먼저 초기 예측을 하고, 해당 영역을 잘라낸 뒤, 잘라낸 이미지에서 다시 예측함. 3B라는 작은 모델이 제한된 이미지 토큰 처리 능력을 보완하는 방식임
  • 학습 데이터를 스스로 생성하는 멀티 에이전트 파이프라인을 구축함: 커리큘럼 태스크 생성기가 점점 어려운 목표를 제안하고, 플래닝 에이전트가 단계를 나누고, 그라운딩 에이전트가 실행하고, 크리틱 모델이 결과를 평가함
  • 이 파이프라인 덕분에 실제 환경에서 발생하는 오류, 예상 못한 상태, 복구 전략 같은 "지저분한" 데이터를 대규모로 확보할 수 있었음. 사람이 직접 라벨링한 깨끗한 데이터만으로는 어려운 부분임

ℹ️참고

> 기존 Ferret-UI 시리즈가 iPhone 스크린샷 등 Apple 인터페이스로 평가한 반면, Ferret-UI Lite는 Android, 웹, 데스크톱 환경(AndroidWorld, OSWorld 벤치마크)에서 학습·평가됨. 재현 가능한 대규모 테스트베드가 이쪽에 있기 때문으로 추정됨

트레이드오프와 의의

  • 짧은 호라이즌의 저수준 태스크에서는 강했지만, 복잡한 멀티스텝 인터랙션에서는 상대적으로 약했음 — 작은 온디바이스 모델의 예상 가능한 한계임
  • 가장 큰 장점은 완전 온디바이스 실행이라는 점 — 데이터가 클라우드로 나가지 않으므로 프라이버시가 보장됨
  • SFT(지도 학습 미세조정) + 강화학습을 결합한 훈련 방식을 사용해 3B라는 제약 안에서 성능을 최대한 끌어올림

서버 사이드 대형 모델 중심이던 GUI 에이전트 분야에서 3B급 온디바이스 모델이 경쟁력 있는 성능을 보여준 것은, 향후 모바일 기기에서 프라이버시를 유지하면서 앱을 자율 조작하는 에이전트의 실용화 가능성을 시사함.

댓글

댓글

댓글을 불러오는 중...

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.