Mistral, 단일 카메라 로봇 내비게이션 모델 Robostral Navigate 공개

 (mistral.ai)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 로봇이 RGB 카메라 하나와 자연어 지시만으로 복잡한 환경을 이동하도록 만든 Mistral의 첫 8B embodied navigation 모델임
  • R2R-CE validation unseen에서 76.6% 성공률을 기록해 단일 카메라 방식뿐 아니라 depth·다중 카메라 기반 최고 시스템보다도 높은 성능을 냄
  • 현재 화면의 목표 이미지 좌표와 도착 시 방향을 예측하는 pointing 방식을 쓰며, 시야 밖 목표는 로봇 로컬 좌표계의 변위 명령으로 대체함
  • 기존 오픈소스 VLM에 의존하지 않고 사내에서 구축했으며, 시뮬레이션으로 만든 약 40만 개 trajectory와 6,000개 scene으로 학습함
  • prefix-caching으로 학습 토큰을 22배 줄이고, 이후 CISPO 온라인 강화학습으로 성공률을 3.2% 더 끌어올림

단일 카메라 기반 로봇 내비게이션

  • Robostral Navigate는 RGB 이미지와 자연어 지시를 입력받아 로봇이 환경을 이동하도록 만든 Mistral의 첫 embodied navigation 모델임
  • 예시 지시는 “로비를 나가 복도를 지나 비품실에 들어간 뒤 두 번째 선반을 바라보고 멈추라”는 형태임
  • depth 센서, LiDAR, 여러 카메라를 함께 쓰는 접근과 달리, 이 모델은 일반 RGB 카메라 하나만 사용함
  • R2R-CE(Room-to-Room in Continuous Environments) validation unseen은 학습에 포함되지 않은 환경에서 지시를 따라 이동하는 벤치마크임
    • Robostral Navigate는 validation unseen에서 76.6% 성공률을 기록함
    • 최고 단일 카메라 접근보다 9.7포인트 높음
    • depth 또는 다중 카메라를 쓰는 최고 시스템보다 4.5포인트 높음

벤치마크 성능과 로봇 호환성

  • 이 모델은 사무실, 주거·상업 건물, 야외 환경 같은 복잡한 공간에서 로봇이 자율 이동하도록 설계됨
  • 하나의 지시만으로 사람과 장애물이 있는 실제 공간에서 전체 작업을 스스로 수행할 수 있음
  • 주요 성능과 동작 조건은 다음과 같음
    • R2R-CE에서 최첨단 성능을 기록함
    • validation seen 성공률은 79.4% 임
    • validation unseen 성공률은 76.6% 임
    • LiDAR나 depth 센서 없이 단일 RGB 카메라로 동작함
    • 사내 구축 8B 모델이며, 학습은 전적으로 시뮬레이션 기반임
    • 바퀴형, 보행형, 비행형 로봇에서 동작하고 로봇 크기 차이에 일반화함
    • 카메라 내부 파라미터 차이에 강건함
    • prefix-caching을 통한 토큰 효율 학습을 사용함

Pointing 기반 이동 방식

  • Robostral Navigate는 작업과 관측 이력을 바탕으로 로봇이 다음에 이동해야 할 위치를 pointing 방식으로 예측함
  • 예측 대상은 현재 카메라 뷰 안의 목표 위치에 해당하는 이미지 좌표와, 도착했을 때 필요한 방향임
  • metric displacement에 의존하는 명령과 달리 pointing은 카메라 내부 파라미터와 실제 세계 스케일 변화에 자연스럽게 강건함
  • 목표 위치가 현재 시야 밖에 있으면 pointing만으로 처리하기 어려움
    • 이 경우 로봇의 로컬 좌표계에서 변위 명령으로 대체함
    • 예시는 “앞으로 2미터, 왼쪽으로 1.5미터 이동하고 왼쪽으로 25도 회전” 같은 형태임

사내 구축 모델과 시뮬레이션 데이터

  • Robostral Navigate는 기존 오픈소스 VLM에 의존하지 않고 전적으로 사내에서 구축됨
  • 초기화에는 pointing, counting, object localization 같은 grounding 작업에 특화된 Mistral의 비전-언어 모델을 사용함
  • 내비게이션은 사물의 위치를 이해한 뒤 이동 방법을 학습하는 방식으로, 이러한 grounding 능력의 확장에 해당함
  • 데이터 생성 파이프라인은 모두 시뮬레이션 안에서 구축됨
    • 데이터 반복 개선을 빠르게 수행할 수 있었음
    • 최종 데이터셋은 약 40만 개 trajectory와 6,000개 scene으로 구성됨

효율 학습과 온라인 강화학습

  • 지도학습의 핵심 요소는 prefix-caching 기반 효율 학습 알고리듬임
  • tree 기반 attention masking 전략으로 전체 episode를 하나의 sequence로 압축함
    • 모든 time step을 단일 forward pass에서 학습할 수 있음
    • time step 사이의 정보 누출은 막음
  • time step마다 하나의 샘플을 쓰는 학습과 비교해 학습 토큰 수를 22배 줄이면서 학습 신호는 보존함
  • 실제로는 수개월 걸릴 학습 실행을 며칠 안에 끝나는 실행으로 바꿈
  • 지도학습 이후에는 CISPO 온라인 강화학습 알고리듬으로 성능을 개선함
    • 모델이 시행착오에서 배우고 실패에서 회복하며 탐색 행동을 습득할 수 있게 함
    • 일반 behavior cloning의 distribution shift 문제를 완화함
    • 이 단계만으로 성공률이 3.2% 향상됨
    • 아직 plateau가 보이지 않아 더 많은 학습과 실험으로 수치를 더 높일 수 있음

통합 embodied agent로의 다음 단계

  • Robostral Navigate는 통합 embodied agent를 향한 첫 단계에 해당함
  • Mistral은 내비게이션을 범용 로보틱스의 기반 능력으로 봄
  • 대규모 시뮬레이션, 효율 학습, 강한 grounding prior를 결합하면 컴팩트 모델과 단일 RGB 카메라로 최첨단 embodied navigation을 달성할 수 있음을 보여줌
  • Mistral은 로보틱스 팀을 확장 중이며, 연구 과학자와 엔지니어 채용을 진행하고 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • “R2R-CE에서 최첨단 성능”이라고 하지만, R2R-CE는 시뮬레이션 환경으로 구성된 벤치마크임을 분명히 해야 함
    이 벤치마크를 이기는 건 로봇이 Minecraft나 다른 비디오게임을 잘하게 만드는 것과 비슷한 수준의 의미가 있음. 멋지긴 하지만 로봇은 디지털 환경이 아니라 물리적 현실에서 동작해야 함
    현실 세계에서 로봇 시스템 성능을 평가하기는 매우 어려움. 성능이 나쁘면 평가를 끝내기 위해 예비 로봇도 많이 필요해짐
    기사에는 매끈한 바닥과 거의 비어 있는 사무실 같은 환경에서 물리 로봇이 2배속으로 이동하는 필수 시연 영상도 들어 있음. 이제 이 분야의 상징처럼 된 장면이고, 끝부분에 세 명이 로봇 경로를 조심스럽게 가로지르는 장면은 가산점감임
    하지만 이건 몇 년 전 Aloha를 둘러싼 과장과 비슷함. 대형 기술 기업에 팀을 인수시키거나 멋진 기술을 더 연구할 자금을 얻기에는 좋지만, 집이나 사무실을 돌아다니는 로봇 가정부/집사로 가는 실질적 진전이라고 기대하기에는 부족함

  • 암시상으로는, 그리고 사실이길 바라지만, 이건 지도 없는 내비게이션으로 보임. 그렇다면 인상적임
    환경을 미리 캡처한 지도가 있으면 이런 작업은 훨씬 쉬움. 하지만 지도 없이 한다면 대단함
    예전에는 로봇이 자기 위치를 모르면 조금도 이동하지 못하는 “납치된 로봇” 문제가 늘 있었음. 여기서는 현재 시야에서 해석 가능한 지시이거나 추측 항법으로 따라갈 수 있는 한, 로봇이 지시를 수행하는 것처럼 보임

    • Mistral 로보틱스 팀에서 일하고 있는데, 이건 지도 없는 방식이 맞음. 입력은 텍스트 프롬프트와 전면 RGB 카메라 이미지뿐임
    • 현대적인 SLAM이나 VSLAM이면 그 문제를 해결하지 않나?
    • 센서를 전혀 쓰지 않고 실제 기하 구조도 없이 최근 순전파 토큰 정도만 가진 상태라면, 미리 캡처한 지도가 있을 때 왜 훨씬 쉬워지는지 설명해 줄 수 있나?
    • 일종의 탐색 노드를 만드는 건 매우 흥미로울 듯함. 이동하면서 의미론적 SLAM 문제를 푸는 식임
      “이 층에서 엘리베이터를 찾아”라고 지시하면, 돌아다니며 지도를 만들고 사람이 엘리베이터를 찾는 방식처럼 행동할 수 있을까?
      현재 이런 내비게이션 모델은 지시 작성자가 유용한 시각적 이동 기준점을 아주 잘 알고 있다고 가정하는데, 대부분의 사용 사례에서는 현실적이지 않음

  • 실제로 이걸 만져볼 수 있는 현실적인 경로가 궁금함. 취미 실험용으로 OpenClaw에 연결해 보고 싶음
    꿈은 OpenClaw를 농장 로봇에 넣는 것임. 가파른 언덕 제초용 궤도식 RC 잔디깎이를 개조해서, “울타리선을 탐색하며 식물 사진을 찍고, 옻나무와 침입성 인동덩굴을 모두 찾아 Roundup 분무기로 뿌리고, 매주 반복한 뒤 종 분포 지도를 보고하고, 배터리가 부족하면 헛간으로 돌아와 충전해” 같은 작업을 맡기고 싶음
    OpenClaw를 로봇 몸체에 넣는 건 어렵지 않음. YouTube에도 그런 영상이 많음. 하지만 실제로 사람들이 만든 것을 파고들면 이동 부분이 항상 가장 투박하고, 내 실험에서도 마찬가지였음
    이런 8B 모델은 경로 설정과 내비게이션 문제를 해결하기에 딱 좋아 보임
    Mistral이나 비슷한 회사에 더 익숙한 사람이 있다면, 이들이 이런 취미 제작자 실험에도 관심이 있는지 궁금함. 아니면 주로 상업 파트너만 찾는 걸까? 실험에 쓰기 위해 라이선스 비용을 낼 의향은 있지만, 혼자 하는 개인이라면 사업화하지 않는 한 협력해 주지 않을지도 모르겠음

    • 이걸로 OpenClaw 같은 로봇을 만들면 멋지겠지만, 지금 모델은 텍스트로 걷기/환경 이해를 하는 데 초점이 있어 보임. 로봇이 세상과 상호작용하게 하려면 무엇을 쓸 수 있을까?
    • 나처럼 궁금한 사람이 있을까 봐, 지금까지 알아낸 것을 공유함. Mistral Discord에 가서 Miscord 봇에게 물어봤더니, 현재 공식 발표와 문서는 주로 Airbus, BMW 같은 기업·산업 파트너십에 초점이 맞춰져 있다고 답했음
      그래도 Robostral Navigate는 하드웨어 독립적으로 설계되어 어떤 로봇 플랫폼에도 붙일 수 있고, LiDAR나 깊이 센서 없이 단일 RGB 카메라만 필요하므로 취미 장비에도 이론상 잘 맞음
      아직 공개 취미/비상업 라이선스나 오픈소스 릴리스는 없고, 개인용 가격이나 라이선스 단계도 발표되지 않았음. 지금 할 수 있는 일은 Mistral AI에 직접 연락해 “OpenClaw + Robostral Navigate로 개인 실험을 하는 취미 제작자인데 비상업 라이선스를 논의하고 싶다”고 명확히 묻는 것임
      Mistral Discord나 포럼을 지켜보는 것도 좋고, 반응이 없다면 ROS나 Habitat 같은 오픈소스 로보틱스 프로젝트에서 비슷한 기능을 구현하는 흐름을 기다릴 수 있음

  • 공개 모델은 아닌 것 같지만, 만약 공개된다면 단일 카메라 내비게이션을 쉽게 쓸 수 있게 되어 멋진 취미 로봇 프로젝트가 많이 가능해질 듯함

  • 아주 멋짐. Mistral 팀 축하함. 야외에서의 지도 없는 내비게이션은 꽤 오래전부터 있었지만, 건물 내부에서의 지도 없는 내비게이션은 비교적 새로운 편임
    Stanford 연구자들이 임의의 이미지에서 지리 위치를 맞히는 시각 모델 PIGEON을 훈련한 적이 있음. 스토킹 같은 사생활 악용 가능성이 너무 커서 공개되지는 않았는데, 이 로봇 뒤에도 비슷한 종류의 기술이 들어간 것 같음. 더 아는 사람이 있으면 정정해 주면 좋겠음
    PIGEON 논문 링크: https://lukashaas.github.io/PIGEON-CVPR24/

  • Mistral은 넓게 가면서도 틈새를 공략하는 듯함. 앞으로 영리한 전략일 수 있음

    • 산업 파트너를 위한 맞춤형 자동화에 많이 투자하고 있으니, 이건 그들의 도구함에 반가운 추가물이 될 것임
    • 충분히 훌륭한 전략일 수 있음. 순수 연산력으로는 Anthropic이나 OpenAI를 따라가기 어렵지만, 그만큼의 힘이 필요 없는 응용이 아주 많고 속도와 에너지 효율에 최적화하는 편이 더 나은 경우도 많음
    • 이들이 이익 동기 대신 내 세금으로 돌아가기 때문임

  • 매우 미니멀해서 인상적임
    한편으로는 2010년쯤 학계 연구자들과 Willow Garage가 올리던 로봇 시연 영상이 떠오름
    로보틱스의 문제는 그럴듯해 보이는 시연을 만들기는 쉽지만, 일반적인 경우에 제대로 동작하게 만들기는 정말 어렵다는 것임. 자율주행이 좋은 예임

    • 로보틱스는 결국 엣지 케이스가 전부임. 작업의 95%를 완벽하게 해내는 로봇이 이미 가능한 응용은 많지만, 그래도 충분하지 않음. 마지막 5%가 너무 넓어서 메우기 불가능에 가까움

  • 저녁을 만들고 설거지하고 쓰레기를 내다 버리는 가정용 도우미 로봇을 기다릴 준비는 되어 있음
    다만 그런 도우미들이 나를 위해서든 나를 상대로든 전쟁에 동원될 때가 무서움

    • 솔직히 많은 기능은 괜찮지만, 주류 로봇은 무겁고 아이들 위로 넘어질까 봐 걱정됨. 아이들은 기계 입장에서는 예측 불가능하지만, 대부분의 부모에게는 어느 정도 예상 가능함
      우리의 센서 샘플링 속도와 지능의 추론 속도는 현재 최고 수준 로봇보다 몇 자릿수나 앞서 있음. 지금은 사람이 훨씬 정교하고 유능함
      충분히 가벼운 장치가 가능하길 바라지만, 배터리 무게 요구사항을 생각하면 어떻게 가능할지 잘 모르겠음
    • 후자가 전자보다 훨씬 먼저 올 것 같음
    • 드론에 폭파당하러 사람이 가는 대신 로봇을 보낸다면 오히려 안심해야 할지도 모름
    • 전자는 꽤 오래 기다려야 할 듯함. 로봇이 헷갈릴 때마다 낯선 사람이 원격 조작으로 집 안을 돌아다녀도 괜찮다면 모르겠지만
    • 집마다 지능형 휴머노이드 로봇 한 대라니, 정말 뭐가 잘못될 수 있겠나. 아마 최악의 아이디어일 가능성이 큼

  • “R2R-CE(Room-to-Room in Continuous Environments)에서 76.6% 달성”이라는데, 나머지 23.4% 동안 무엇을 했는지가 궁금함

    • “다음 방으로 가”라고 했는데 문이 두 개 있거나, “정수기에서 돌아”라고 했는데 싱크대가 있는 식의 문제가 가장 클 것 같음. 물론 늘 그렇듯 마지막 1%가 또 다른 99%만큼 어려움
      결과 그래프가 있는 페이지에서 내비게이션 오류를 보면 이 질문에 가장 관련 있는 지표가 나옴. 그 모델은 “잘못된 방향으로 이동하지 않는” 데는 뛰어나므로, 실패율은 길을 못 알아낸 경우였을 가능성이 큼
    • 아마 다른 방에 도착하지 못했을 것임

  • 이건 정말 멋짐. 로봇이 손가락으로 가리키는 방향을 이용해 어디로 갈지 결정할 수 있다는 점은 훌륭한 설계 결정이고, 로보틱스는 정말 다음 개척지임. Mistral을 확실히 응원하게 됨

답변달기