엔비디아, 로봇·자율주행용 피지컬 AI 에이전트 도구 대거 공개

• 엔비디아가 피지컬 AI용 오픈소스 에이전트 스킬과 도구를 대거 풀었음

  • 로보틱스, 자율주행차, 비전 AI, 산업용 디지털 트윈 워크플로우가 대상임
  • 핵심은 복잡한 개발 작업을 에이전트가 바로 실행할 수 있는 반복 가능한 작업 단위로 바꾸는 것임

• 이번 공개는 단순히 SDK 몇 개 추가한 느낌이 아니라, 엔비디아 피지컬 AI 스택 전체를 에이전트 친화적으로 재포장한 쪽에 가까움

  • NVIDIA Cosmos는 물리 세계 추론과 생성을 맡고, Omniverse는 시뮬레이션과 디지털 트윈을 맡음
  • Isaac은 로봇 시뮬레이션과 로봇 학습, Metropolis는 비전 AI, Alpamayo는 자율주행, Jetson은 엣지 AI 배포 쪽에 붙음
  • 개발자는 어떤 도구를 호출할지, 어떤 결과물을 만들어야 할지, 결과를 어떻게 검증할지까지 스킬 형태로 넘길 수 있음

• 적용 범위가 꽤 넓음. 특히 제조와 자율주행 쪽은 이미 숫자가 나왔다는 점이 포인트임

  • 페가트론은 결함 이미지 생성 스킬로 만든 합성 데이터를 써서 AI 모델 훈련과 배포 시간을 기존 대비 67% 줄였음
  • 델타 일렉트로닉스는 금속 버스바의 과도한 납땜 불량을 잡아내며 불량 검출률을 17% 높였음
  • 인벤텍은 노트북 섀시 제조 공정에서 결함 데이터 수집 부담을 30% 줄였음
  • 폭스콘은 제조 초기 단계 오류 탐지로 초도 수율을 약 3% 끌어올렸음

• 자율주행 쪽에선 시뮬레이션 생성량이 꽤 세게 나옴

  • 리오토, Afari, DeepRoute.ai는 Omniverse NuRec 모델로 뉴럴 장면 재구성과 렌더링을 수행 중임
  • 하루 1,000건 이상의 재구성과 30만 건 이상의 렌더링·시뮬레이션을 만든다고 함
  • 이 정도면 단순 데모가 아니라 학습·평가 데이터 공장을 돌리는 쪽에 가까움

• 산업용 AI에서는 디지털 트윈과 OpenUSD 워크플로우가 중심임

  • 케이던스, 다쏘시스템, 지멘스, 시높시스는 엔지니어링 데이터 검사, 시뮬레이션, 인터랙티브 디지털 트윈에 Omniverse 기술을 쓰고 있음
  • PTC, MetAI, Lightwheel은 Isaac Sim과 OpenUSD 기반으로 CAD 데이터를 시뮬레이션 가능한 에셋과 환경으로 바꾸는 흐름을 만들고 있음
  • SK하이닉스도 자율형 팹 2030 로드맵의 일부로 Omniverse 기반 반도체 팹 디지털 트윈을 구축 중임

• 의료와 로보틱스까지 같이 묶은 것도 눈에 띔

  • 폭스콘은 Nurabot을 병원과 장기 요양 시설로 확대하고, 수술실 워크플로우용 스크럽 간호 협동 로봇도 선보였음
  • 컴팔은 PolyMedX 로봇을 시뮬레이션, AI, 실제 병원 운영이 결합된 플랫폼으로 키우는 중임
  • 1X, Agile Robots, Agility, FieldAI, NEURA Robotics, Skild AI, Universal Robots 같은 로보틱스 기업들도 피지컬 AI 스택을 쓰고 있음

• 개발자가 바로 만져볼 수 있는 접점도 열려 있음

  • 피지컬 AI 에이전트 도구와 스킬은 GitHub와 skills.sh에서 제공됨
  • Neural Reconstruction, Video Augmentation, 결함 이미지 생성 같은 스킬은 NVIDIA Brev의 Physical AI Launchables로 즉시 체험 가능함
  • 마이크로소프트, 코어위브, 네비우스는 이 스킬과 도구를 자사 클라우드 서비스에 통합하는 중임

---

기술 맥락

• 이번 선택의 핵심은 피지컬 AI 개발을 “사람이 도구를 하나씩 실행하는 방식”에서 “에이전트가 도구와 스킬을 조합하는 방식”으로 옮기는 거예요. 로봇이나 자율주행 개발은 데이터 생성, 시뮬레이션, 학습, 평가, 배포가 길게 이어지기 때문에 반복 작업을 줄이는 효과가 커요.

• 엔비디아가 Omniverse, Isaac, Cosmos, Jetson을 따로 흩뿌리지 않고 에이전트 도구로 묶는 이유도 여기에 있어요. 물리 세계 AI는 모델 하나만 좋아서는 안 되고, 합성 데이터와 시뮬레이터와 엣지 배포 환경이 같이 돌아가야 하거든요.

• 제조 사례가 중요한 건 실제 비용 절감 숫자가 나왔기 때문이에요. 페가트론의 67% 시간 단축이나 델타의 17% 검출률 개선은 “합성 데이터가 쓸 만하다”는 주장을 현장 지표로 보여주는 쪽이에요.

• 한국 개발자 입장에서는 반도체 팹과 제조 검사 쪽을 특히 봐야 해요. SK하이닉스처럼 디지털 트윈과 자율형 팹을 준비하는 조직은 에이전트 기반 워크플로우가 단순 개발 도구가 아니라 운영 자동화 레이어가 될 수 있거든요.