메타 SAM 3.1 공개 — 실시간 다중 객체 추적 속도 2배, 고성능 서버 없이도 가능

• 메타가 영상 객체 추적 AI 모델 SAM 3.1을 오픈소스로 공개함 — 핵심은 속도
  • 기존 SAM 3는 객체 10개를 추적하려면 10번 순차 처리해야 했음
  • SAM 3.1은 '오브젝트 멀티플렉싱' 기술로 최대 16개 객체를 한번에 처리
  • H100 GPU 기준 초당 처리 프레임이 16장 → 32장으로 2배 향상

• 속도만 빨라진 게 아니라 정확도도 개선됨

  • '글로벌 리즈닝' 방식 적용 — 여러 객체를 동시 처리하면서 위치 관계와 주변 맥락을 함께 고려
  • 사람이 밀집한 복잡한 장면에서도 개별 객체를 더 정확하게 구분

• 실제 프로덕션 적용 사례가 이미 있음

  • 페이스북 마켓플레이스 'View in Room' — 가구 AR 미리보기 기능에 활용
  • 메타 AR 안경 '아리아 젠 2'의 1인칭 시점 영상 실시간 분석
  • 야생동물 보호 — 카메라 트랩 영상 속 동물 자동 식별·추적
  • 해양 탐사 — 수중 생물 연구 접목

• 기존 SAM 3 사용자라면 전환이 매우 쉬움

  • 모델 파일만 교체하면 즉시 적용 가능, 코드 수정이나 재학습 불필요
  • 모델 파일 + 연구 논문 + 소스코드 + 온라인 플레이그라운드 모두 무료 공개

---

기술 맥락

• SAM은 "Segment Anything Model"의 약자인데, 이름 그대로 사진이나 영상에서 뭐든 골라내는 걸 목표로 하는 모델이에요. 단순 바운딩 박스가 아니라 픽셀 단위 세그멘테이션을 하기 때문에 자율주행, 의료 영상, 로봇 비전 같은 분야에서 핵심 인프라처럼 쓰이고 있거든요.

• 이번 3.1의 '오브젝트 멀티플렉싱'이 중요한 이유는, 기존에는 추적 대상이 늘어날수록 연산이 선형으로 증가해서 실시간 처리가 사실상 불가능했기 때문이에요. 16개 객체를 한 패스로 처리한다는 건 배치 추론과 비슷한 발상인데, 이걸 추적 정확도를 유지하면서 해낸 게 핵심이에요.

• 모델 파일만 교체하면 된다는 건 API 호환성을 깨지 않았다는 뜻이에요. 오픈소스 모델의 버전 업그레이드에서 이런 하위 호환성은 생태계 확산에 굉장히 중요한 요소거든요. 파인튜닝 없이 드롭인 교체가 가능하다는 건 실무 도입 장벽을 확 낮춰주는 부분이에요.