현대로템·NC AI, 게임 AI 기술로 미래 전장 로봇 훈련한다

• 현대로템과 NC AI가 미래 전장용 ‘피지컬 AI’ 개발에 들어감

  • 국방과학연구소가 발주한 ‘피지컬 AI 기반 통합 시뮬레이터 및 모듈형 로봇 시스템’ 국책 연구개발 과제의 최종사업자로 선정됨
  • 목표는 여러 종류의 무인로봇을 한꺼번에 운용하고, 현실과 가상의 차이를 줄인 전장 시뮬레이션 환경을 만드는 것임

• 이번 프로젝트의 핵심 키워드는 NC AI가 맡는 월드모델임

  • 월드모델은 로봇이 현실 세계의 물리 법칙과 환경 변화를 가상공간에서 학습하도록 만드는 기술임
  • 실제 전장에 투입하기 전에 가상환경에서 충분히 훈련시켜 오작동을 줄이는 게 목적임
  • 전장 로봇은 “한 번 실패해도 다시 하면 되지”가 안 통하는 영역이라, 시뮬레이션 품질이 곧 실전 안정성과 연결됨

sequenceDiagram
    participant 전장환경 as 전장 환경
    participant 디지털트윈 as 디지털 트윈
    participant 월드모델 as 월드모델
    participant 무인로봇 as 무인로봇
    participant 관제시스템 as 통합 관제 시스템
    전장환경->>디지털트윈: 지형과 상황을 가상공간에 재현
    디지털트윈->>월드모델: 합성 데이터와 물리 조건 제공
    월드모델->>무인로봇: 이동과 판단 전략 학습
    관제시스템->>무인로봇: 자연어 기반 임무 명령 전달
    무인로봇->>관제시스템: 수행 상태와 환경 정보 반환

• NC AI가 여기서 강점을 내세우는 부분은 게임 개발에서 쌓은 3차원 가상세계 구축 경험임
  • 게임 회사가 만든 고품질 3D 환경 생성 능력이 전장 시뮬레이터로 넘어가는 그림임
  • 자체 3D 생성형 AI 기술을 활용해 전장 환경을 정밀하게 재현한 합성 데이터를 대량 공급할 계획임
  • 실제 전장 데이터를 마음껏 모으기 어려우니, 가상환경과 합성 데이터가 훈련 데이터의 빈칸을 메우는 역할을 함

• 현대로템 쪽은 자연어 명령 기반의 이종·다중 로봇 통합 관제 시스템을 따로 수주했음

  • 기존에는 운영자가 로봇을 한 대씩 따로 조작해야 했음
  • 앞으로는 “정찰하라”, “이동하라” 같은 자연어 명령으로 다양한 무인 플랫폼을 동시에 통제하는 방향임
  • 적용 대상에는 다목적무인차량 HR-셰르파와 다족보행로봇이 포함됨

• 최종 그림은 유무인 복합전투체계, 즉 사람과 AI 무인체계가 같이 움직이는 전장임

  • 여러 로봇이 군집 단위로 움직이고, 사람이 상위 명령을 내리면 AI가 상황에 맞게 실행하는 구조로 가려는 것임
  • K-방산이 장갑차, 전차 같은 하드웨어 중심에서 AI 소프트웨어와 전장 데이터 경쟁으로 넘어가는 흐름이 보임

기술 맥락

• 이 프로젝트에서 중요한 선택은 실제 로봇을 바로 굴리는 대신 디지털 트윈과 월드모델을 먼저 세우는 거예요. 전장 로봇은 테스트 비용도 크고 실패 리스크도 커서, 현실에서 모든 상황을 직접 겪게 하며 학습시키기 어렵거든요.

• NC AI가 게임 개발 경험을 들고 들어온 이유는 가상환경의 품질 때문이에요. 로봇이 가상에서 배운 행동을 현실로 가져오려면 지형, 장애물, 시야, 물리 조건이 그럴듯해야 해요. 게임에서 축적한 대규모 3D 월드 제작 노하우가 여기서 훈련장 인프라가 되는 셈이에요.

• 합성 데이터도 같은 맥락이에요. 실제 전장 데이터는 양도 부족하고 수집도 까다로워요. 그래서 다양한 상황을 가상으로 만들고, 그 안에서 로봇이 반복 학습할 수 있게 하는 방식이 현실적인 선택이 돼요.

• 현대로템의 자연어 관제는 사람과 로봇 사이 인터페이스를 바꾸려는 시도예요. 로봇 한 대씩 조이스틱처럼 조작하는 방식으로는 다종·다중 무인체계를 굴리기 어렵거든요. 사람이 “정찰하라”처럼 의도를 말하면 시스템이 여러 플랫폼에 임무를 나눠주는 방향으로 가야 확장성이 생겨요.