엔비디아, 로봇용 물리 AI 모델 ‘코스모스 3’ 오픈소스로 공개

• 엔비디아가 컴퓨텍스에서 로봇용 ‘물리 AI’ 기반 모델 코스모스 3(Cosmos 3)를 공개함

  • 핵심은 언어 모델처럼 텍스트만 다루는 게 아니라, 물체 움직임·중력·충돌 같은 현실 세계의 물리 법칙까지 모델이 예측하게 만드는 것
  • 로봇이나 자율주행차가 실제 세계에서 사고 치기 전에, 가상 환경에서 수많은 상황을 먼저 겪어보게 하려는 방향임

• 엔비디아는 코스모스 3를 ‘완전히 개방된 옴니모델’이라고 부름

  • 여기서 옴니(omni)는 텍스트, 영상, 이미지, 소리, 행동 신호를 한 모델이 함께 받아들이고 만들어낼 수 있다는 의미
  • 이전 모델들이 특정 입력 형식에 무게를 뒀다면, 코스모스 3는 여러 모달리티를 텍스트와 동등하게 처리한다는 게 엔비디아 쪽 설명임

• 학습 데이터 규모는 물리 AI 쪽에서는 거의 괴물급으로 제시됨

  • 20조 개 토큰, 10억 장 이미지, 4억 개 실제·합성 영상으로 학습됐다고 함
  • 텍스트뿐 아니라 글·영상·소리를 망라한 복합 데이터라, 현실 세계의 시간 흐름과 상호작용을 배우는 데 초점을 둔 셈

• 구조적으로는 혼합 트랜스포머(mixture-of-transformers)를 쓴다는 점을 내세움

  • 추론용 트랜스포머가 물체 간 상호작용, 움직임, 시공간 관계를 먼저 이해함
  • 생성용 트랜스포머는 그 이해를 바탕으로 영상이나 행동 경로를 만들어냄
  • 쉽게 말하면 사람이 “공을 던지면 어디로 날아갈까?”를 머릿속으로 그려보고 행동하는 것과 비슷한 모델링임

• 모델은 용도별로 3가지 크기로 나뉨

  • 슈퍼(Super)는 높은 물리 정확도가 필요한 작업용
  • 나노(Nano)는 빠른 생성이 필요한 경량 버전
  • 엣지(Edge)는 공장 로봇이나 자율주행차처럼 현장에서 실시간 추론이 필요한 환경을 겨냥하며, 곧 출시될 예정

• 전부 오픈소스로 공개된다는 점도 꽤 중요함

  • 엔비디아 쪽은 API만으로는 물리 AI 개발이 쉽지 않다고 봄
  • 기업 입장에서는 모델을 자체 환경에서 직접 돌리고, 커스터마이징하고, 민감한 데이터를 외부로 덜 내보낼 수 있음
  • 로봇·제조·자율주행 쪽은 데이터 보안과 현장 제약이 빡세서 이 부분이 단순한 홍보 문구는 아님

• 다만 엔비디아도 “로봇의 성배”를 다 풀었다고 말하진 않음

  • 밍위 리우 부사장은 물리 AI의 핵심 과제가 AI 에이전트의 범용화 능력이라고 봄
  • 여기서 범용화는 특정 환경에서만 잘하는 게 아니라, 새로운 상황에서도 로봇이 알아서 적응하는 능력임
  • 엔비디아는 아직 이 문제를 풀지 못했지만, 코스모스 3가 그 토대가 될 수 있다고 보는 쪽임

• 비즈니스적으로 보면 이건 엔비디아다운 전략이기도 함

  • 오픈소스로 생태계를 키우면 물리 AI 개발자가 늘어남
  • 물리 AI가 늘어나면 학습·시뮬레이션·추론에 필요한 컴퓨팅 수요도 같이 커짐
  • 결국 더 많은 GPU와 인프라 수요로 이어질 가능성이 크니, 모델 공개와 반도체 매출이 따로 노는 이야기가 아님

---

기술 맥락

• 코스모스 3의 선택은 “로봇에게 언어를 가르치자”가 아니라 “로봇에게 세계를 예측하게 하자”에 가까워요. 현실의 로봇은 답변을 잘하는 것보다, 어떤 행동이 충돌이나 실패로 이어질지 미리 아는 게 훨씬 중요하거든요.

• 월드 모델이 중요한 이유는 실제 환경에서 시행착오를 하기 어렵기 때문이에요. 공장 로봇이나 자율주행차는 실수 비용이 크니까, 가상 세계에서 먼저 수많은 장면을 겪게 하고 그 경험을 행동 판단에 쓰려는 거예요.

• 오픈소스로 공개하는 것도 물리 AI에서는 특히 의미가 커요. API 호출만으로는 현장 센서, 로봇 제어, 보안 요구사항, 지연 시간 같은 조건을 맞추기 어렵거든요. 기업이 직접 실행하고 튜닝할 수 있어야 실제 배포까지 갈 가능성이 높아요.

• 엣지 버전이 따로 나오는 건 클라우드 추론만으로는 로봇 문제를 풀기 어렵다는 신호예요. 네트워크가 느리거나 끊겨도 기계는 바로 판단해야 하니까, 현장 기기에서 돌아가는 모델이 필요해요.