엔비디아, 로봇·자율주행·공장 AI용 오픈소스 에이전트 스킬 공개

엔비디아가 이번에 공개한 건 “로봇용 챗지피티”가 아니라 개발 자동화 스택에 가까움

• 엔비디아가 컴퓨텍스 2026, GTC 타이베이에서 피지컬 인공지능용 오픈소스 에이전트 스킬과 도구 모음을 공개함

  • 대상은 로보틱스, 자율주행차, 비전 인공지능, 산업용 디지털 트윈, 의료 로봇 같은 현실 세계 기반 시스템임
  • 개발자가 직접 여러 툴을 이어 붙이는 대신, 에이전트가 실행 가능한 작업 단위로 워크플로우를 바꿔주는 게 포인트임

• 젠슨 황은 인공지능 에이전트가 소프트웨어 개발을 바꾸는 흐름이 이제 피지컬 인공지능으로 넘어간다고 봄

  • 말하자면 “코드 짜는 에이전트”에서 “로봇·공장·차량 개발 파이프라인을 굴리는 에이전트”로 확장되는 그림임
  • 교통, 제조, 의료, 로보틱스처럼 실패 비용이 큰 영역에서 데이터 생성, 시뮬레이션, 평가를 빠르게 반복하는 게 핵심임

코스모스, 옴니버스, 아이작을 에이전트가 호출하는 구조

• 엔비디아는 자사 라이브러리, 모델, 프레임워크를 에이전트가 직접 쓸 수 있는 도구로 바꾸는 중임

  • 코스모스는 물리 세계 추론과 생성을 위한 월드 파운데이션 모델 쪽을 맡음
  • 옴니버스는 시뮬레이션과 디지털 트윈, 아이작은 로보틱스 시뮬레이션과 로봇 학습에 쓰임
  • 메트로폴리스는 비전 인공지능, 알파마요는 자율주행, 젯슨은 엣지 인공지능 개발 쪽에 붙음

• 새 스킬은 코딩 에이전트가 따라 할 수 있는 반복 가능한 지침으로 제공됨

  • 어떤 도구를 호출해야 하는지, 어떤 결과물을 만들어야 하는지, 개발자가 어떻게 검증해야 하는지를 포함함
  • 네모클로 블루프린트와 오픈쉘 런타임을 함께 쓰면 로컬·클라우드 환경에서 정책 기반 보안과 개인정보 보호 거버넌스까지 붙일 수 있음

sequenceDiagram
    participant 개발자
    participant 코딩에이전트
    participant 엔비디아스킬
    participant 시뮬레이션환경
    participant 실제시스템
    개발자->>코딩에이전트: 작업 목표와 검증 기준 전달
    코딩에이전트->>엔비디아스킬: 필요한 도구와 절차 호출
    엔비디아스킬->>시뮬레이션환경: 합성 데이터와 테스트 시나리오 생성
    시뮬레이션환경->>코딩에이전트: 평가 결과 반환
    코딩에이전트->>실제시스템: 검증된 모델·설정 배포

적용 분야는 꽤 노골적으로 산업 현장 중심임

• 로보틱스와 엣지 인공지능에서는 데이터 생성부터 젯슨 기반 배포 최적화까지 겨냥함

  • 인식, 이동성 훈련 데이터 생성, 시뮬레이션, 내비게이션 훈련 자동화가 포함됨
  • 로봇 학습을 고도화하고 엣지 장치에 올리는 과정까지 하나의 파이프라인으로 묶으려는 의도임

• 자율주행차에서는 실제 차량 데이터를 가상 시뮬레이션 환경으로 재구성하는 쪽이 중요함

  • 실제와 유사한 주행 시나리오를 대규모로 생성하고, 폐쇄 루프 강화 학습으로 훈련·평가 범위를 넓힐 수 있음
  • 리오토, 아파리, 딥루트.ai는 하루 1,000건 이상의 재구성과 30만 건 이상의 렌더링·시뮬레이션을 만들고 있음

• 비전 인공지능과 제조 검사에서는 합성 데이터가 바로 돈 되는 영역임

  • 페가트론은 결함 이미지 생성 스킬로 만든 합성 데이터를 써서 인공지능 모델 훈련·배포 시간을 67% 줄였음
  • 델타 일렉트로닉스는 금속 버스바 납땜 불량 검출율을 17% 높였고, 인벤텍은 노트북 섀시 결함 데이터 수집 부담을 30% 줄였음
  • 폭스콘은 제조 초기 단계 오류 탐지로 초도 수율을 약 3% 끌어올렸다고 함

한국 쪽 포인트는 SK하이닉스와 반도체 팹 디지털 트윈

• SK하이닉스는 자율형 팹 2030 로드맵의 일부로 엔비디아 옴니버스 기반 반도체 팹 디지털 트윈을 구축 중임

  • 엔비디아, SK텔레콤과 함께 제조 특화 피지컬 인공지능을 위한 엔비디아 에이전트 툴킷 검증도 진행 중임
  • 반도체 제조처럼 장비·공정·물류가 복잡한 환경에서는 디지털 트윈과 에이전트 자동화가 꽤 직접적인 의미를 가짐

• 산업용 소프트웨어 쪽에서는 케이던스, 다쏘시스템, 지멘스, 시높시스가 옴니버스 기반 기술을 활용 중임

  • 엔지니어링 데이터 검사, 시뮬레이션, 인터랙티브 디지털 트윈 구현이 주요 사용처임
  • PTC, 멧AI, 라이트휠은 아이작 심과 오픈USD 워크플로우로 CAD 데이터를 시뮬레이션 가능한 에셋으로 바꾸고 있음

• 의료 로봇까지 범위가 넓어짐

  • 폭스콘과 컴팔은 헬스케어용 아이작을 활용해 병원 로보틱스 개발을 가속하고 있음
  • 폭스콘은 환자 진료용 누라봇을 병원과 장기 요양 시설로 확대하고, 수술실 워크플로우용 스크럽 간호 협동 로봇도 선보였음

오픈소스 배포와 클라우드 통합까지 같이 감

• 엔비디아 피지컬 인공지능 에이전트 도구와 스킬은 깃허브와 스킬스.sh에서 사용할 수 있음

  • 모든 코딩 에이전트와 함께 쓸 수 있다고 밝힘
  • 뉴럴 리컨스트럭션, 비디오 증강, 결함 이미지 생성 같은 합성 데이터 스킬은 브레브의 피지컬 인공지능 런처블로 즉시 체험 가능함

• 마이크로소프트, 코어위브, 네비우스는 이 스킬과 도구를 자사 클라우드 서비스에 통합함

  • 개발자는 합성 데이터 생성과 배포를 클라우드에서 더 쉽게 확장할 수 있음
  • 결국 엔비디아는 모델, 시뮬레이터, 런타임, 클라우드 실행 환경까지 한 번에 묶는 생태계 싸움을 하는 셈임

기술 맥락

• 이번 선택의 핵심은 피지컬 인공지능 개발을 “사람이 도구를 하나씩 실행하는 방식”에서 “에이전트가 검증 가능한 절차를 따라 실행하는 방식”으로 바꾸는 거예요. 로봇이나 자율주행은 데이터 만들기, 시뮬레이션 돌리기, 모델 평가하기, 엣지 장치에 올리기가 전부 따로 놀면 반복 속도가 너무 느리거든요.

• 엔비디아가 코스모스, 옴니버스, 아이작, 젯슨을 한 흐름으로 묶는 이유는 각 컴포넌트가 개발 파이프라인의 다른 레이어를 잡고 있기 때문이에요. 코스모스는 세계 모델과 데이터 생성 쪽, 옴니버스는 디지털 트윈과 시뮬레이션 쪽, 젯슨은 실제 배포 장치 쪽이라서 이걸 에이전트가 연결하면 자동화 범위가 확 넓어져요.

• 합성 데이터가 강조되는 것도 현실적인 이유가 있어요. 제조 불량이나 위험한 주행 상황은 실제 데이터를 많이 모으기 어렵고, 일부 케이스는 일부러 만들 수도 없거든요. 그래서 페가트론의 67% 시간 단축이나 델타의 17% 검출율 개선 같은 숫자가 이 발표에서 중요한 근거로 쓰여요.

• SK하이닉스의 반도체 팹 디지털 트윈 사례는 한국 개발자에게 특히 가까운 포인트예요. 반도체 공장은 장비 수, 공정 단계, 품질 변수까지 복잡해서 실제 라인에서 바로 실험하기 어렵고, 그래서 시뮬레이션과 에이전트 기반 검증이 운영 안정성과 비용 절감에 직접 연결돼요.