미스트랄, 단일 RGB 카메라만 쓰는 로봇 내비게이션 모델 로보스트랄 네비게이트 공개

단일 카메라만으로 로봇 내비게이션을 밀어붙임

• 미스트랄이 로보스트랄 네비게이트(Robostral Navigate)를 공개함. 회사의 첫 임바디드 내비게이션(embodied navigation) 모델임

  • 모델 크기는 8B
  • 입력은 RGB 이미지와 자연어 지시문
  • 출력은 로봇이 다음에 어디로 움직여야 하는지에 대한 행동임

• 예시 지시는 이런 식임

  • “로비를 나가서 복도를 지나 보급실에 들어간 뒤, 두 번째 선반을 바라보고 멈춰라”
  • 즉 단일 명령을 여러 단계로 해석하고, 긴 경로를 스스로 수행해야 하는 문제임

• 가장 큰 주장은 센서 구성임

  • 많은 내비게이션 시스템은 깊이 센서, 라이다(LiDAR), 여러 카메라를 사용함
  • 로보스트랄 네비게이트는 일반 RGB 카메라 하나만 쓴다고 함
  • 그런데도 R2R-CE validation unseen에서 76.6% 성공률을 기록했다고 밝힘

벤치마크와 적용 범위

• 공개된 주요 숫자는 꽤 선명함

  • R2R-CE validation seen 성공률은 79.4%
  • R2R-CE validation unseen 성공률은 76.6%
  • 모델은 미스트랄 내부에서 직접 만들었고, 학습은 전부 시뮬레이션에서 진행됨
  • 휠형, 다족형, 비행 로봇에서 동작하고 로봇 크기 차이에도 일반화된다고 설명함

• 타깃 환경은 사무실만이 아님

  • 사무실
  • 주거 공간
  • 상업 건물
  • 야외 환경
  • 제조, 배송, 물류, 호텔·접객 같은 고객 수요가 큰 영역을 언급함

• 데모 성격도 “정해진 복도 주행”보다 긴 지시 수행에 가까움

  • 작업 중인 사무실에서 긴 경로 지시를 완전히 자율적으로 수행하는 사례를 제시함
  • 사람과 장애물이 있는 낯선 공간에 적응할 수 있다고 설명함

‘좌표로 이동’보다 ‘이미지 안의 지점을 가리키기’

• 로보스트랄 네비게이트는 기본적으로 포인팅(pointing) 방식으로 다음 이동 위치를 예측함

  • 현재 카메라 이미지에서 목표 위치의 이미지 좌표를 추론함
  • 도착했을 때 바라봐야 할 방향도 함께 예측함
  • 과거 관측 이력과 현재 작업 지시를 같이 사용함

• 이 방식은 카메라와 로봇이 달라도 강한 쪽으로 설계됨

  • 미터 단위 이동량에만 의존하면 카메라 내부 파라미터나 실제 세계 스케일 변화에 민감할 수 있음
  • 이미지 안의 지점을 찍는 방식은 카메라 intrinsics와 세계 크기 변화에 더 자연스럽게 버틴다고 설명함

• 다만 목표 지점이 현재 시야 밖에 있으면 포인팅만으로는 안 됨

  • 이 경우 로봇의 로컬 좌표계 기준 이동 명령으로 fallback함
  • 예시는 “2미터 앞으로, 1.5미터 왼쪽으로, 왼쪽으로 25도 회전” 같은 형태임

데이터와 학습 파이프라인이 핵심

• 모델은 기존 오픈소스 VLM을 가져다 쓴 게 아니라고 함

  • 미스트랄 내부에서 처음부터 만들었다고 밝힘
  • 초기화는 포인팅, 카운팅, 객체 위치 찾기 같은 grounding 작업에 특화된 비전-언어 모델에서 시작함
  • “어디에 무엇이 있는지” 이해한 뒤 “어떻게 이동할지”로 확장했다는 설명임

• 데이터 생성은 전부 시뮬레이션에서 처리함

  • 약 6천 개 장면에서 수집한 약 40만 개 궤적을 사용함
  • 시뮬레이션 기반이라 데이터 반복과 개선 속도를 높일 수 있었다고 함

• 감독학습 단계에서 프리픽스 캐싱(prefix-caching)을 크게 활용함

  • 트리 기반 어텐션 마스킹으로 전체 에피소드를 하나의 시퀀스로 압축함
  • 모든 타임스텝을 한 번의 forward pass에서 학습하면서, 타임스텝 사이 정보 누수는 막는 방식임
  • 타임스텝마다 샘플 하나를 만드는 방식보다 학습 토큰 수를 22배 줄였다고 밝힘
  • 원문 표현대로라면 몇 달 걸릴 학습을 며칠짜리 실행으로 바꾼 셈임

강화학습으로 실패 회복까지 학습

• 감독학습 뒤에는 온라인 강화학습을 붙임

  • 미스트랄은 대규모 LLM 후처리 지식을 로봇 내비게이션에도 적용했다고 설명함
  • CISPO라는 온라인 강화학습 알고리즘으로 성능을 더 올림

• 강화학습의 목적은 단순 경로 흉내내기를 넘는 것임

  • 시행착오에서 배우기
  • 실패에서 회복하기
  • 탐색 행동을 얻기
  • 행동 복제만 했을 때 생기는 분포 이동 문제를 줄이기

• 이 단계만으로 성공률이 3.2% 올랐다고 함

  • 아직 plateau가 보이지 않아 더 많은 학습과 실험으로 성능이 더 오를 거라고 전망함

다음 목표는 통합 임바디드 에이전트

• 미스트랄은 로보스트랄 네비게이트를 첫 단계로 봄

  • 내비게이션은 범용 로봇의 기초 능력이라는 입장임
  • 대규모 시뮬레이션, 효율적 학습, 강한 grounding prior를 결합하면 작은 모델과 단일 RGB 카메라로도 최신 성능에 도달할 수 있다고 주장함

• 채용 메시지도 붙어 있음

  • 로봇이 사무실, 가정, 상업 건물, 야외를 자율적으로 이동하게 만드는 팀을 확장 중이라고 밝힘
  • 연구자와 엔지니어를 모집하고 있음

---

기술 맥락

• 로보스트랄 네비게이트의 큰 선택은 센서를 늘리지 않고 모델과 학습 방식으로 문제를 푼 거예요. 라이다나 깊이 센서를 붙이면 공간 정보를 더 직접적으로 얻을 수 있지만, 하드웨어 비용과 플랫폼 복잡도가 올라가거든요.

• 포인팅 방식이 중요한 이유는 로봇마다 카메라 위치, 렌즈, 크기, 이동 특성이 다르기 때문이에요. “앞으로 1미터” 같은 명령은 환경 스케일과 센서 보정에 민감하지만, 이미지 안에서 어디로 가야 하는지 찍는 방식은 여러 로봇 형태에 더 잘 일반화될 수 있어요.

• 시뮬레이션에서 6천 장면과 40만 궤적을 만든 것도 현실적인 선택이에요. 실제 로봇으로 모든 실패와 경로를 수집하면 비용과 시간이 너무 커요. 대신 시뮬레이션으로 대량 데이터를 만들고, 강화학습으로 실패 회복과 탐색 행동을 보강한 구조예요.

• 프리픽스 캐싱으로 토큰을 22배 줄인 건 연구 속도와 직결돼요. 로봇 내비게이션은 한 에피소드가 여러 관측과 행동으로 길어지기 쉬운데, 매 타임스텝을 따로 학습하면 계산이 폭발하거든요. 전체 에피소드를 한 시퀀스로 다루면서 정보 누수를 막은 게 핵심이에요.

• 이 접근이 실제 제품으로 의미 있으려면 낯선 건물, 움직이는 사람, 조명 변화, 카메라 차이에서도 버텨야 해요. 원문은 validation unseen과 실제 사무실 주행을 근거로 들지만, 다양한 현장 배포에서 같은 성능이 나오는지는 다음 검증 포인트예요.