엔비디아, 레벨 4 로보택시용 320억 파라미터 오픈 추론 모델 알파마요 2 슈퍼 공개

엔비디아가 로보택시용 오픈 추론 모델을 키웠다

• 엔비디아가 레벨 4 로보택시 개발을 겨냥한 NVIDIA Alpamayo 2 Super를 공개함

  • 320억 개 파라미터를 가진 추론 기반 VLA 모델임
  • VLA는 vision language action의 줄임말로, 시각 정보를 보고 언어적 추론을 거쳐 행동까지 결정하는 모델 계열임
  • 엔비디아는 이 모델을 오픈 AI 모델, 시뮬레이션 프레임워크, 피지컬 AI 데이터셋으로 구성된 Alpamayo 제품군의 확장판으로 소개함

• 핵심 목표는 자율주행 스택을 처음부터 다시 만들 부담을 줄이는 것임

  • 로보택시 개발사는 인식, 추론, 계획, 실행, 검증 파이프라인을 모두 자체 구축해야 하는 압박이 큼
  • Alpamayo 2 Super는 인간과 비슷한 인식·추론·행동을 지원하고, 안전성 검증과 규제기관 협업에 필요한 해석 가능성까지 제공하는 걸 목표로 함

• 모델 규모는 기존 100억 파라미터급에서 320억 파라미터로 커졌음

  • NVIDIA Cosmos 월드 파운데이션 모델을 기반으로 구축됨
  • 롱테일 시나리오에서의 추론, 3D 공간 이해, 궤적 예측 성능을 끌어올렸다고 설명함
  • 여기서 롱테일 시나리오는 자주 나오진 않지만 사고 위험이 큰 희귀 주행 상황을 뜻함

• 인식 범위도 전방 중심에서 360도 상황 인식으로 확장됨

  • 전방, 측면, 후방 맥락을 함께 보도록 바뀜
  • 차선 변경, 합류, 교차로 통과처럼 주변 차량과 보행자 맥락이 중요한 상황에서 더 안전한 판단을 목표로 함

• Alpamayo 2 Super는 단순 궤적만 내는 모델이 아니라 고수준 주행 결정을 예측함

  • 양보, 차선 변경, 정지 같은 메타 액션을 출력함
  • 궤적과 인과 관계(chain-of-causation, CoC) 추적 정보도 함께 다룸
  • 즉 “어디로 갈지”뿐 아니라 “왜 그 선택을 했는지”까지 모델링하려는 방향임

• 데이터 레이블링 쪽 개선도 꽤 큼

  • 320억 파라미터 파운데이션 모델로 2D 그라운딩 기반 추론 자동 레이블링을 도입함
  • 엔비디아는 데이터 레이블링 주기를 수개월에서 수일로 줄일 수 있다고 설명함
  • 자율주행 데이터는 장면 수가 많고 예외 케이스가 중요해서, 이 비용 절감은 개발 속도에 바로 영향을 줌

폐쇄 루프 훈련과 시뮬레이션까지 묶는다

• 엔비디아는 AlpaGym이라는 오픈소스 폐쇄 루프 강화학습 프레임워크도 공개함

  • 오픈 루프 훈련은 기록된 데이터를 기준으로 모델을 평가하고 한 번의 행동 세트를 생성하는 방식임
  • AlpaGym은 NVIDIA AlpaSim 안에서 모델의 지속적인 의사결정과 관찰 사이클을 지원함
  • 제동, 조향, 경로 탐색 같은 선택이 환경에 영향을 주고, 그 결과가 다시 다음 판단으로 이어짐

• 폐쇄 루프가 중요한 이유는 자율주행의 실패가 한 번의 예측 오류로 끝나지 않기 때문임

  • 정적인 데이터셋에서는 멀쩡해 보이는 모델도 실제 주행에서는 작은 실수가 누적될 수 있음
  • AlpaGym은 이런 누적 오류와 극한 상황 실패 사례를 찾고, 모델이 경험을 통해 학습하게 돕는 구조임

• NVIDIA OmniDreams는 희귀 주행 상황을 대규모로 만들어내는 생성형 월드 모델임

  • 현실 도로에서 드물게 발생하는 롱테일 시나리오를 시뮬레이션으로 많이 만들 수 있음
  • 로보택시 안전성 검증에서는 평범한 주행보다 이런 희귀 케이스 대응이 훨씬 중요함

• Omniverse NuRec 기반 Neural Reconstruction도 함께 언급됨

  • 실제 차량 주행 시나리오를 시뮬레이션에 활용해 대규모 합성 훈련 데이터를 생성함
  • 현실 주행 데이터를 다시 학습 가능한 시뮬레이션 자산으로 바꾸는 역할에 가까움

sequenceDiagram
    participant 실제차량 as 실제 차량
    participant 누렉 as Omniverse NuRec
    participant 시뮬 as AlpaSim·OmniDreams
    participant 훈련 as AlpaGym
    participant 모델 as Alpamayo 2 Super
    실제차량->>누렉: 주행 장면 데이터 제공
    누렉->>시뮬: 시뮬레이션 가능한 장면 재구성
    시뮬->>훈련: 희귀 주행 시나리오 생성
    훈련->>모델: 폐쇄 루프 강화학습 수행
    모델->>훈련: 조향·제동·차선 변경 행동 선택
    모델->>실제차량: 소형 모델로 압축 후 차량 배포

오픈 모델로 로보택시 생태계를 잡겠다는 그림

• Alpamayo 2 Super는 교사 모델로 설계됨

  • 차량 내부의 NVIDIA DRIVE Hyperion 플랫폼에서 돌아가는 더 작은 모델로 압축될 수 있음
  • 예시로 NVIDIA DRIVE AGX Thor 같은 차량용 가속 컴퓨팅 환경이 언급됨
  • 큰 모델로 고품질 추론을 만들고, 차량에는 실행 가능한 작은 모델로 내리는 구조임

• 기존 Alpamayo 1 Nano와 Alpamayo 1.5 Nano는 100억 파라미터 모델이었음

  • 이번 320억 파라미터 모델로 올라가면서 전체 자율주행 스택의 추론과 인식 성능을 끌어올리려는 흐름임
  • 제조사가 완전히 처음부터 스택을 새로 만들 필요 없이 단일 오픈 릴리스로 출발점을 얻을 수 있다는 게 엔비디아의 주장임

• Alpamayo는 출시 이후 다운로드 약 40만 회를 기록함

  • COMPUTEX Best Choice Awards의 Vehicle Technology and Smart Cockpit Award도 수상함
  • 연구자와 개발자가 자기 데이터셋, 시나리오, 주행 정책에 맞춰 모델을 조정할 수 있는 사후 훈련 스크립트도 제공됨

• Alpamayo 2 Super는 올여름 공개 예정임

  • 깃허브에는 추론 코드 형태로 공개됨
  • 허깅 페이스에는 모델 가중치 형태로 제공될 예정임
  • 로보택시 연구팀이나 자율주행 스타트업 입장에서는 꽤 큰 실험 기반이 열리는 셈임

기술 맥락

• 엔비디아가 Alpamayo 2 Super를 크게 키운 이유는 자율주행이 단순 인식 문제가 아니기 때문이에요. 차선, 차량, 보행자를 보는 것만으로는 부족하고, 왜 양보해야 하는지, 왜 멈춰야 하는지, 다음 행동이 어떤 결과를 낳는지까지 이어져야 하거든요.

• 320억 파라미터 교사 모델을 두고 차량에는 더 작은 모델을 배포하는 구조도 현실적인 선택이에요. 큰 모델은 고품질 레이블과 추론을 만들기에 좋지만, 실제 차량 안에서는 지연 시간과 전력, 하드웨어 제약이 있어요. 그래서 큰 모델로 학습시키고 작은 모델로 압축하는 방식이 나와요.

• 폐쇄 루프 강화학습이 중요한 이유는 실제 주행에서는 모델의 행동이 다음 상황을 바꾸기 때문이에요. 오픈 루프 평가는 기록된 영상에 답을 맞히는 데 가깝지만, 로보택시는 조향 한 번이 주변 차량 반응과 다음 위험 상황을 바꿔요. AlpaGym은 이 누적 효과를 훈련에 넣으려는 도구예요.

• OmniDreams와 NuRec은 데이터 부족 문제를 풀기 위한 축이에요. 희귀 사고 상황을 현실에서 충분히 모으는 건 비싸고 위험하거든요. 실제 주행 장면을 재구성하고 합성 시나리오를 만들면, 로보택시가 평소에는 거의 만나지 못하는 예외 상황을 훨씬 많이 학습할 수 있어요.

• 오픈 모델 공개는 생태계 전략이기도 해요. 개발자가 깃허브와 허깅 페이스에서 코드와 가중치를 받아 실험할 수 있으면, 엔비디아의 시뮬레이션·훈련·차량용 컴퓨팅 플랫폼까지 같이 쓰게 될 가능성이 커져요. 모델 공개가 곧 하드웨어와 플랫폼 확산으로 이어지는 구조예요.