---
title: "엔비디아, 로봇용 물리 AI 모델 ‘코스모스 3’ 오픈소스로 공개"
published: 2026-06-03T08:05:02.427Z
canonical: https://jeff.news/article/3649
---
# 엔비디아, 로봇용 물리 AI 모델 ‘코스모스 3’ 오픈소스로 공개

엔비디아가 컴퓨텍스에서 물리 AI 기반 모델 ‘코스모스 3’를 공개했다. 텍스트, 이미지, 영상, 소리, 행동 신호를 함께 다루는 월드 모델이고, 20조 토큰과 10억 장 이미지, 4억 개 영상으로 학습됐다는 점을 전면에 내세웠다. 로봇과 자율주행 쪽에서 ‘가상으로 먼저 겪어보고 행동하는 AI’를 만들려는 흐름이 본격화되는 분위기다.

- 엔비디아가 컴퓨텍스에서 로봇용 ‘물리 AI’ 기반 모델 코스모스 3(Cosmos 3)를 공개함
  - 핵심은 언어 모델처럼 텍스트만 다루는 게 아니라, 물체 움직임·중력·충돌 같은 현실 세계의 물리 법칙까지 모델이 예측하게 만드는 것
  - 로봇이나 자율주행차가 실제 세계에서 사고 치기 전에, 가상 환경에서 수많은 상황을 먼저 겪어보게 하려는 방향임

- 엔비디아는 코스모스 3를 ‘완전히 개방된 옴니모델’이라고 부름
  - 여기서 옴니(omni)는 텍스트, 영상, 이미지, 소리, 행동 신호를 한 모델이 함께 받아들이고 만들어낼 수 있다는 의미
  - 이전 모델들이 특정 입력 형식에 무게를 뒀다면, 코스모스 3는 여러 모달리티를 텍스트와 동등하게 처리한다는 게 엔비디아 쪽 설명임

- 학습 데이터 규모는 물리 AI 쪽에서는 거의 괴물급으로 제시됨
  - 20조 개 토큰, 10억 장 이미지, 4억 개 실제·합성 영상으로 학습됐다고 함
  - 텍스트뿐 아니라 글·영상·소리를 망라한 복합 데이터라, 현실 세계의 시간 흐름과 상호작용을 배우는 데 초점을 둔 셈

> [!IMPORTANT]
> 코스모스 3의 포인트는 “AI가 영상을 예쁘게 만든다”가 아니라 “행동하기 전에 결과를 예측한다”에 가까움. 로봇공학에서 이 차이는 꽤 큼.

- 구조적으로는 혼합 트랜스포머(mixture-of-transformers)를 쓴다는 점을 내세움
  - 추론용 트랜스포머가 물체 간 상호작용, 움직임, 시공간 관계를 먼저 이해함
  - 생성용 트랜스포머는 그 이해를 바탕으로 영상이나 행동 경로를 만들어냄
  - 쉽게 말하면 사람이 “공을 던지면 어디로 날아갈까?”를 머릿속으로 그려보고 행동하는 것과 비슷한 모델링임

- 모델은 용도별로 3가지 크기로 나뉨
  - 슈퍼(Super)는 높은 물리 정확도가 필요한 작업용
  - 나노(Nano)는 빠른 생성이 필요한 경량 버전
  - 엣지(Edge)는 공장 로봇이나 자율주행차처럼 현장에서 실시간 추론이 필요한 환경을 겨냥하며, 곧 출시될 예정

- 전부 오픈소스로 공개된다는 점도 꽤 중요함
  - 엔비디아 쪽은 API만으로는 물리 AI 개발이 쉽지 않다고 봄
  - 기업 입장에서는 모델을 자체 환경에서 직접 돌리고, 커스터마이징하고, 민감한 데이터를 외부로 덜 내보낼 수 있음
  - 로봇·제조·자율주행 쪽은 데이터 보안과 현장 제약이 빡세서 이 부분이 단순한 홍보 문구는 아님

- 다만 엔비디아도 “로봇의 성배”를 다 풀었다고 말하진 않음
  - 밍위 리우 부사장은 물리 AI의 핵심 과제가 AI 에이전트의 범용화 능력이라고 봄
  - 여기서 범용화는 특정 환경에서만 잘하는 게 아니라, 새로운 상황에서도 로봇이 알아서 적응하는 능력임
  - 엔비디아는 아직 이 문제를 풀지 못했지만, 코스모스 3가 그 토대가 될 수 있다고 보는 쪽임

- 비즈니스적으로 보면 이건 엔비디아다운 전략이기도 함
  - 오픈소스로 생태계를 키우면 물리 AI 개발자가 늘어남
  - 물리 AI가 늘어나면 학습·시뮬레이션·추론에 필요한 컴퓨팅 수요도 같이 커짐
  - 결국 더 많은 GPU와 인프라 수요로 이어질 가능성이 크니, 모델 공개와 반도체 매출이 따로 노는 이야기가 아님

---
## 기술 맥락

- 코스모스 3의 선택은 “로봇에게 언어를 가르치자”가 아니라 “로봇에게 세계를 예측하게 하자”에 가까워요. 현실의 로봇은 답변을 잘하는 것보다, 어떤 행동이 충돌이나 실패로 이어질지 미리 아는 게 훨씬 중요하거든요.

- 월드 모델이 중요한 이유는 실제 환경에서 시행착오를 하기 어렵기 때문이에요. 공장 로봇이나 자율주행차는 실수 비용이 크니까, 가상 세계에서 먼저 수많은 장면을 겪게 하고 그 경험을 행동 판단에 쓰려는 거예요.

- 오픈소스로 공개하는 것도 물리 AI에서는 특히 의미가 커요. API 호출만으로는 현장 센서, 로봇 제어, 보안 요구사항, 지연 시간 같은 조건을 맞추기 어렵거든요. 기업이 직접 실행하고 튜닝할 수 있어야 실제 배포까지 갈 가능성이 높아요.

- 엣지 버전이 따로 나오는 건 클라우드 추론만으로는 로봇 문제를 풀기 어렵다는 신호예요. 네트워크가 느리거나 끊겨도 기계는 바로 판단해야 하니까, 현장 기기에서 돌아가는 모델이 필요해요.

## 핵심 포인트

- 코스모스 3는 텍스트·영상·이미지·소리·행동 신호를 함께 처리하는 물리 AI 기반 모델임
- 학습 데이터 규모는 20조 토큰, 10억 장 이미지, 4억 개 실제·합성 영상으로 제시됨
- 슈퍼, 나노, 엣지 3가지 크기로 제공되며 모든 모델이 오픈소스로 공개됨
- 엔비디아도 로봇의 범용화 문제는 아직 풀지 못했다고 인정함

## 인사이트

LLM 다음 전장이 로봇과 자율주행 쪽 ‘월드 모델’로 옮겨가는 게 꽤 선명해졌음. 엔비디아가 모델을 열어주는 건 개발자 친화적 제스처이기도 하지만, 결국 물리 AI가 커질수록 GPU 수요가 같이 커지는 구조라 비즈니스적으로도 영리한 판임.