구글 딥마인드, 전신 제어 로봇용 ‘제미나이 로보틱스 2’ 공개

로봇 모델이 팔만 움직이는 단계에서 전신으로 넘어감

• 구글 딥마인드가 Gemini Robotics 2를 공개했음

  • 목표는 로봇이 발부터 손끝까지 몸 전체를 써서 복잡한 작업을 수행하게 만드는 것
  • 기존 로봇이 좁고 반복적인 작업에 묶여 있거나 원격 조작에 의존했다면, 이번 발표는 예측 불가능한 환경에 적응하는 쪽을 강조함

• 예시로 나온 작업은 꽤 직관적임

  • 휴머노이드가 어질러진 방을 보고 걷고, 몸을 숙이고, 팔을 뻗고, 물체를 집어 정리함
  • 다른 로봇과 팀을 이뤄 작업을 더 빨리 끝내는 시나리오도 포함됨
  • 모델 일부는 로컬 기기에서 실행되며, 완전히 새로운 로봇 몸체에도 몇 시간 만에 적응할 수 있다고 함

• 이번 제품군은 크게 3개 모델로 나뉨

  • Gemini Robotics 2는 시각-언어-행동 모델(VLA)로, 시각과 언어 입력을 실제 모터 제어로 바꿈
  • Gemini Robotics ER 2는 체화 추론(embodied reasoning) 모델로, 사람과 대화하고 물리 세계를 이해하며 몇 분짜리 다단계 작업을 계획함
  • Gemini Robotics On-Device 2는 로봇 기기에서 로컬로 돌도록 최적화된 VLA 모델임

sequenceDiagram
    participant 사람 as 사람
    participant 추론모델 as 추론 모델
    participant 행동모델 as 행동 모델
    participant 로봇 as 로봇 몸체
    participant 환경 as 물리 환경
    사람->>추론모델: 작업 지시
    추론모델->>환경: 방 상태 관찰
    추론모델->>행동모델: 단계별 행동 계획 전달
    행동모델->>로봇: 모터 제어 명령 생성
    로봇->>환경: 걷기, 집기, 놓기 수행
    환경->>추론모델: 진행 상태와 실패 여부 반영

휴머노이드 전신 제어와 손 조작

• 핵심 데모 중 하나는 Apptronik의 Apollo 2 휴머노이드 제어임

  • “물뿌리개를 아래 선반의 초록색 통에 넣어” 같은 지시를 주면, 로봇이 테이블까지 걸어가 물뿌리개를 집음
  • 이후 선반까지 몇 걸음 이동하고, 목적지에 정확히 놓는 흐름을 수행함
  • 딥마인드는 아직 이동 속도는 더 발전해야 한다고 인정하지만, 전신 협응이 필요한 현실 작업으로 가는 중요한 단계라고 봄

• 손 조작도 이번 발표에서 꽤 크게 다뤄짐

  • Apollo 2의 SharpaWave 손은 다섯 손가락과 22 자유도(degree of freedom)를 갖고 있음
  • 이 손으로 매듭 묶기나 지퍼백 밀봉 같은 섬세한 작업을 시연함
  • Franka Duo 플랫폼의 표준 2지 평행 그리퍼로는 좁은 공간에 물건을 빽빽하게 넣는 작업 같은 복잡한 조작을 수행함

몇 분짜리 작업과 여러 로봇 협업

• Gemini Robotics ER 2는 로봇의 고수준 두뇌 역할을 맡음

  • 사용자 지시를 처리하고, 방을 관찰하고, 필요한 단계를 추론함
  • VLA 모델과 협력해 실제 행동을 실행하고, 작업 완료까지 진행 상태를 추적함
  • 특정 단계가 실패하면 자가 수정하고 새로운 상황이나 목표에도 일반화하는 걸 목표로 함

• 이번 버전은 더 긴 작업 시퀀스를 안정적으로 처리하는 데 초점을 둠

  • 몇 분 동안 이어지는 작업을 다루고, 그 안에서 수백 개 결정을 내리는 시나리오를 언급함
  • 작업이 언제 시작되고 끝나는지 이해하고, 핵심 이벤트가 발생한 순간도 짚을 수 있다고 함
  • 로봇이 그냥 명령 하나를 수행하는 수준에서, 진행 관리를 하는 에이전트로 이동하는 셈임

• 다중 로봇 협업도 새로 들어감

  • 서로 다른 유형의 로봇이 소통하며 단일 로봇 혼자 처리하기 어려운 워크플로를 나눠 수행하는 방식임
  • 물리 세계에서는 한 로봇의 이동 범위, 손 모양, 힘, 센서가 모두 제약이기 때문에 협업이 꽤 중요한 방향임

로컬 실행과 빠른 하드웨어 적응

• Gemini Robotics On-Device 2는 네트워크가 불안정하거나 지연 시간이 부담인 현장을 겨냥함

  • 인터넷 연결 없이 로봇 기기에서 직접 실행되도록 만든 가장 효율적인 VLA 모델이라고 설명함
  • 공장, 창고, 현장 로봇처럼 지연 시간과 연결성이 바로 안정성 문제가 되는 환경에서 의미가 큼

• 새 로봇 몸체에 빨리 적응한다는 주장도 중요함

  • 모델은 기본적으로 여러 몸체를 다루는 multi-embodiment 구조임
  • Gemini Robotics 1.5의 motion transfer 기술을 이어받아, 새 양팔 로봇 형태에 보통 200개 미만 예시와 몇 시간의 적응 시간으로 맞출 수 있다고 함
  • Dexmate, SO101, Trossen 같은 서로 다른 형태와 센서, 자유도를 가진 플랫폼에서도 다양한 작업을 수행하는 사례를 제시함

• 공개 범위는 모델마다 다름

  • Gemini Robotics ER 2는 Google AI Studio에서 사용할 수 있고 Gemini Enterprise Agent Platform에서는 비공개 프리뷰로 제공됨
  • VLA와 On-Device 모델은 얼리 액세스 파트너에게 제공됨
  • 즉 일반 개발자가 바로 전체 로봇 스택을 만져볼 수 있는 단계는 아니고, 하드웨어 파트너 중심으로 풀리는 흐름임

기술 맥락

• 이번 발표의 핵심 선택은 로봇 제어를 하나의 거대한 엔드투엔드 모델로만 밀지 않고, 추론 모델과 행동 모델로 역할을 나눈 점이에요. 고수준 계획은 ER 모델이 맡고, 실제 모터 제어는 VLA 모델이 맡아야 긴 작업에서 상태 추적과 물리 제어를 분리할 수 있거든요.

• 전신 제어가 중요한 이유는 사람 사는 공간이 로봇 팔 하나로 끝나지 않기 때문이에요. 선반 아래칸에 물건을 넣으려면 걷기, 균형 잡기, 몸 숙이기, 손 조작이 한 번에 맞아야 해서 모델이 몸 전체의 제약을 같이 이해해야 해요.

• On-Device 모델은 클라우드 모델과 다른 제약을 받아요. 로봇은 네트워크 지연이 생기면 동작 품질이나 안전성에 바로 영향이 가기 때문에, 현장에서 빠르게 반응해야 하는 작업은 로컬 실행이 훨씬 유리해요.

• 200개 미만 예시로 새 몸체에 적응한다는 주장은 로봇 배포 비용과 연결돼요. 로봇마다 데이터셋을 크게 다시 모아야 하면 확장이 막히는데, 몇 시간짜리 적응으로 충분하다면 하드웨어 파트너를 늘리는 속도가 달라질 수 있어요.