Gemini Robotics 2, 로봇에 전신 지능을 제공

 (deepmind.google)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Google DeepMind가 시각·언어 입력을 동작으로 변환해 휴머노이드의 발부터 손끝까지 제어하고, 정교한 조작과 로봇 간 협업을 지원하는 Gemini Robotics 2 모델군을 공개함
  • 모델군은 전신 제어용 VLA인 Gemini Robotics 2, 장기 작업을 계획·감독하는 Gemini Robotics ER 2, 로봇에서 로컬 실행되는 Gemini Robotics On-Device 2로 구성됨
  • 휴머노이드는 걷기·굽히기·물체 운반을 연계하고, 22자유도 5지 손으로 매듭을 묶거나 지퍼백을 밀봉하며, 여러 로봇이 단독으로 처리하기 어려운 작업에 협업할 수 있음
  • On-Device 2는 네트워크 연결 없이 실행되며, 일반적으로 200개 미만의 사례와 몇 시간의 적응 과정만으로 형태·센서·자유도가 크게 다른 새 양팔 로봇에 적용 가능함
  • ER 2는 Google AI Studio와 Gemini Enterprise Agent Platform 비공개 프리뷰로 제공되고, VLA 및 On-Device 모델은 조기 접근 파트너에게 열려 있지만 이동 속도와 정밀도는 여전히 개선이 필요함

역할이 다른 세 가지 로봇 모델

  • 기존 로봇은 주로 좁고 반복적인 작업 순서를 사전 프로그래밍하거나 원격 조작하는 방식이어서, 예측하기 어려운 환경에 스스로 적응하거나 한 로봇의 기술을 다른 형태로 옮기기 어려움
  • Gemini Robotics 2는 시각·언어 입력을 모터 제어로 변환하는 비전-언어-행동 모델(VLA) 임
    • 휴머노이드 전체와 양팔 로봇을 제어함
    • 양손과 그리퍼를 이용한 정교한 조작을 지원함
  • Gemini Robotics ER 2는 로봇의 에이전트 역할을 맡는 체화 추론(ER) 모델임
    • 사람과 소통하고 물리적 환경을 이해함
    • 수분 동안 이어지는 다단계 작업을 계획함
    • 여러 로봇의 팀 작업을 지원함
  • Gemini Robotics On-Device 2는 로봇 장치에서 로컬로 실행하도록 최적화한 효율적인 VLA임
    • 몇 시간 분량의 데이터로 완전히 새로운 로봇 형태에 적응할 수 있음
  • 모델별 제공 범위는 서로 다름

상체를 넘어선 휴머노이드 전신 제어

  • 이전 모델이 탁상 작업을 위한 휴머노이드 상체 제어에 집중했다면, Gemini Robotics 2는 전신 동작까지 제어 범위를 넓힘
  • Apptronik Apollo 2는 “물뿌리개를 아래 선반의 초록색 상자에 넣으라”는 지시를 처리할 수 있음
    • 테이블까지 걸어가 물뿌리개를 집음
    • 선반으로 이동한 뒤 지정된 위치에 정확히 내려놓음
  • 걷기·굽히기·균형 잡기·물체 조작을 연결해 좁고 어수선한 공간의 작업을 수행하지만, 이동 속도는 더 개선해야 함

손과 그리퍼를 활용한 정교한 조작

  • Apollo 2에 장착된 SharpaWave 손의 다섯 손가락과 22개 자유도를 제어함
    • 매듭을 묶는 섬세한 동작을 수행함
    • 지퍼백을 밀봉할 수 있음
  • Franka Duo의 표준 2지 평행 그리퍼로 빽빽하게 물건을 포장하는 등 복잡한 작업도 처리함
  • 사람 수준의 손재주에 도달하려면 정밀도와 속도를 계속 높여야 함

장기 작업 추론과 다중 로봇 협업

  • Gemini Robotics ER 2는 로봇의 고수준 두뇌로서 사용자 지시를 처리하고 사람과 소통함
    • 공간을 관찰해 필요한 단계를 추론함
    • VLA와 조율해 실제 동작을 수행함
    • 완료될 때까지 진행 상황을 추적함
  • 복잡한 다단계 작업을 실행하다가 단계가 실패하면 자가 수정하고, 새로운 상황과 목표에도 일반화할 수 있음
  • 한 번의 작업에서 수백 번 판단하며, 수분 동안 이어지는 작업 순서를 이전보다 안정적으로 처리함
  • 작업의 시작과 종료를 이해하고 핵심 사건이 발생한 시점을 식별해 진행 상태를 추적함
  • 서로 다른 유형의 로봇이 소통하고 협력함으로써 단일 로봇만으로 수행하기 어려운 복잡한 작업 흐름을 처리할 수 있음

새 로봇 형태로 빠르게 적응

  • Gemini Robotics On-Device 2는 네트워크 지연이나 인터넷 연결 없이 작동해야 하는 환경을 위해 로봇 장치에서 로컬 실행됨
  • 여러 로봇 형태를 기본 지원하며, Gemini Robotics 1.5의 동작 전이 기술을 계승함
  • 일반적으로 200개 미만의 사례와 몇 시간의 적응 과정만으로 새로운 양팔 로봇에 적용할 수 있음
  • 외형·센서·자유도가 크게 다른 로봇에도 적응하며, Dexmate·SO101·Trossen 플랫폼에서 다양한 작업을 수행함

불확실성까지 다루는 로봇 안전

  • 로봇의 물리적 능력이 커지는 만큼 전통적인 물리 안전 조치와 AI 안전 프레임워크를 결합한 다층 안전 접근법을 적용함
  • ASIMOV-Agentic은 에이전트 안전 조율과 불확실성 처리를 평가하는 새 벤치마크임
    • VLA가 요청한 안전하지 않은 도구 호출을 체화 추론 에이전트가 거부할 수 있는지 측정함
    • 작업 수행 가능성을 예측하고, 불확실할 때 사람의 개입을 선제적으로 요청하는지 평가함
  • Gemini Robotics ER 2는 안전 제약 준수 및 사람 근접 벤치마크에서 Google DeepMind의 기존 로봇 모델 중 가장 안전한 성능을 보임
    • 주변 사람을 더 잘 감지함
    • 사람이 지나치게 가까워지면 안전 도구를 호출하고 로봇을 안전하게 정지함
    • 사람과 함께 작업하기 위한 협업 안전 표준에서 요구되는 기능임
  • 세부 평가는 Gemini Robotics 2: Safety Technical Report에서 확인할 수 있음
  • 단일 작업 자동화를 넘어 사람과 함께 복잡한 문제를 해결하는 범용 물리 AI의 핵심 지능 구축을 목표로 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이 모델 개발에 참여한 DeepMind 연구자로서, DeepMind는 일하기 좋은 곳임. Gemini·Gemma, 로보틱스, 날씨·생물학 같은 과학 등 지능과 관련된 거의 모든 분야를 오갈 수 있는 몇 안 되는 독특한 연구소이며 훌륭한 동료가 많으니 합류를 고려해볼 만함

    • 프런티어 모델 개발과 공개 모델 개발은 구체적으로 무엇이 다른지 궁금함. 공개 모델은 보통 더 작고 안전성 검사를 더 거치지만 본질적으로 비슷하며, 일반적인 AI 연구 대부분이 양쪽에 모두 적용되지 않나 싶음
    • 정부·기업·군대의 악용을 어떻게 막고 있는지 진지하게 궁금함. 이 기술이 보통 사람의 삶을 개선하는 데 얼마나 쓰이고, 감시와 통제를 강화하는 데 얼마나 쓰일지도 알고 싶음
    • “유일한 연구소”라는 표현은 과함. Allen Institute for AI(AI2) 도 프런티어 수준은 덜하지만 대부분의 영역을 다루며, NSF의 1억 5,200만 달러 지원과 Nvidia 협력도 기대됨. 로보틱스 분야에는 MolmoBot, MolmoSpaces, MolmoAct 등이 있음: https://allenai.org/embodied-ai
    • 2007년부터 AGI Conference를 운영한 AGI Society의 전무이사로서, 내년 행사에서 연구를 발표해주길 초청하고 싶음. 올해는 Alexander Lerchner의 발표가 훌륭했으며 선호하는 이메일을 알려주면 연락하겠음

  • Anthropic과 OpenAI가 관심의 80%를 차지하지만, Google이 프런티어급·고속·공개 가중치 모델부터 이미지·동영상·음악 생성과 로보틱스까지 해내는 범위는 인상적임

    • Google은 여러 신기술의 최전선에서 묵묵히 유능한 회사처럼 움직이는 반면, OpenAI와 Anthropic의 최신 챗봇은 “통제 불능 AI”, “너무 위험해 금지해야 함” 같은 과장된 보도를 받음. 이런 과대광고 순환이 신생 경쟁사들의 터무니없는 기업가치를 떠받치고 있음
    • Google DeepMind는 AI 최전선에서 새로운 개념을 개발하는 반면, 다른 곳들은 벤치마크 점수 몇 퍼센트를 좇는 중임
    • 단백질 접힘 연구와 노벨상도 빼놓을 수 없음

  • 로봇의 동작은 느리고 매끄럽지 않지만 초기 ChatGPT도 매우 둔해 보였음. LLM만큼 빠르게 발전한다면 몇 년 안에 활용 범위가 엄청나게 커질 수 있음

    • 가사 작업은 사람이 하는 것보다 오래 걸려도 상관없음. 퇴근 전에 청소를 끝내기만 하면 충분함
    • GPT-2에서 GPT-3까지와 Gemini Robotics 1에서 2까지 모두 15개월이 걸렸지만, 전자는 엄청난 도약이었던 반면 후자는 거의 달라지지 않았음: https://blog.google/products-and-platforms/products/gemini/h...
      느리고 정적인 로봇 동작과 빠르고 유연한 동작은 난이도가 완전히 다름. 빠르게 움직이면 여러 관절과 질량의 회전 관성, 균형 변화를 초당 수백~수천 번 계산해야 함. 티셔츠를 정지 상태에서 90% 확률로 접는 것은 쉽지만, 99% 성공률이나 빠른 접기는 믿기 어려울 만큼 복잡함
    • 실시간 속도로도 합리적으로 보이는 첫 홍보 영상임. 다만 다른 자료의 성공률 50~75% 가 첫 시도 기준인지 최종 성공 기준인지는 불명확함
    • Google이 모라벡의 역설에 정면으로 도전하는 건 꽤 대담함: https://en.wikipedia.org/wiki/Moravec%27s_paradox
    • 동작은 매끄럽지만 느리며, 아마 안전 때문일 가능성이 큼. 강력한 모터를 단 로봇은 실제로 사람을 다치게 할 수 있어서 산업용 로봇도 안전 펜스 안에서 작동함
      디지털 인형처럼 역기구학 동작을 그대로 흉내 내리라 기대하면 안 됨. 최적화 목표가 에너지 소비 절감이라면 다관절 전동 팔의 움직임이 다소 이상하게 보일 수 있음

  • 휴머노이드 로봇은 액추에이터의 한계 때문에 기대를 접었음. Honda ASIMO 이후 혁신이 거의 없었고, 80kg짜리 흔들리는 금속 덩어리를 집이나 직장에 두고 싶어 할 사람은 없을 것 같음
    최종 로봇 혁명은 뇌를 대체한 유전자변형 인간·동물의 몸을 이용할 수도 있음. 의식이 없도록 만든 곰을 Neuralink와 LLM으로 제어하면 건설 노동자로 더 적합하고, 빠른 동물은 배송에, 기린은 창고에 활용할 수 있다고 봄

    • 기린은 키만 클 뿐 무게를 거의 들지 못하므로 창고에서 쓸모가 의문임. 액추에이터 혁신이 없었다는 주장도 믿기 어려우며, MIT Cheetah의 액추에이터는 역구동성과 가변 강성 면에서 ASIMO와 전혀 다르고 탄성 요소를 결합하는 연구도 활발함
    • Cortical Labs가 이 분야를 연구하며 한때 Doom 시연도 공개했음. 생체형은 범용성이 있지만 많은 작업에는 금속형이 더 튼튼하고, 뇌는 대역폭이 낮고 지연이 커서 추론에는 실리콘 칩이 유리함
      3D 프린팅 분야의 흥미로운 작업을 보며 액추에이터도 많이 발전한다고 생각했기에, 뒤처졌다는 주장에 대해 더 알고 싶음
    • 액추에이터가 발전하지 않았다는 데 전혀 동의할 수 없음. Ben Katz의 MIT Mini Cheetah 연구 이후 토크 밀도와 가격이 크게 개선됐고, 이를 기반으로 한 Unitree G1 액추에이터는 작지만 강력하며 준직결 구동에 가까움. BD E-Atlas 모터도 완전 수동 냉각식이면서 토크 밀도가 좋아 보이며 지금처럼 빠르게 발전한 적이 없음
    • 그런 미래는 끔찍하지만 기술적 난도와 실험 허가 장벽 때문에 아주 멀리 있을 듯함. 다만 휴머노이드 형태는 막다른 길이라는 데는 동의함
      식기세척기처럼 입력을 처리해 결과를 내는 거대한 상자를 만들면 됨. 사람 손을 흉내 내기보다 세탁기·건조기에 대응하는 의류 접기 장치나 통합형 로봇 주방을 만드는 편이 훨씬 효율적임
    • 생체를 개조하는 일은 휴머노이드 로봇 제작보다 몇 자릿수는 더 어려워 보임. 아직 소 없이도 시장성 있는 가격으로 햄버거를 만들지 못함

  • 이 기술의 실제 수준을 솔직히 평가해줄 사람이 필요함. 필요한 계측 장비, 상호작용 품질, 문손잡이 돌리기와 낙상 복구, 충돌 회피 같은 비정형 일상 작업의 성능이 궁금함

    • 이 분야에서 일하며 휴머노이드가 아닌 시각-언어-행동 모델(VLA), 즉 ChatGPT를 로봇 팔에 연결한 주제로 학사 논문을 썼음. 아직 실용 단계가 아니며, 조립 부품은 정확한 명칭이 없는 경우도 있어 사람이 이해할 모호한 지시를 로봇은 처리하지 못할 수 있음
      신뢰할 만한 정확도 자료도 부족하고 LIBERO 같은 벤치마크는 거의 모두 95%를 기록해 포화됐으며, 회사와 연구자마다 자체 평가를 사용함. 시연을 속이거나 사람 가까이에서 위험하게 작동시키는 회사도 많음
      문손잡이와 낙상 복구 자체보다 제조 과정에서 벽돌이나 부품을 정확히 정렬하는 일이 어려움. 관리할 관절이 많고 복잡한 휴머노이드보다는 Mobile ALOHA 같은 바퀴 달린 로봇 팔이 호텔 객실 정리나 작업이 일정한 식당 조리에 더 적합해 보임
    • 아직 GPT-1 수준이지만 GPT-2에 해당하는 순간이 임박한 느낌
    • 진짜 검증 기준은 가정용 서비스형 로봇을 판매하는 스타트업이 실제로 반복 사용자를 확보하는지임. 여러 로봇 시제품을 전문적으로 만들었는데 발전은 분명하지만 일반 소비자가 허드렛일에 안정적으로 쓰기에는 매우 멂
      https://rodneybrooks.com/why-todays-humanoids-wont-learn-dex...의 주장처럼 손재주는 하드웨어 문제이기도 하며, 그리퍼는 손이 아님. 다지 손 조작조차 여전히 어렵고 센서도 충분하지 않음
    • 로봇 업계에는 특정 시연만을 위해 정교하게 꾸민 영상과, 자율 작동이라고 해놓고 실제로는 원격 조종한 사기까지 눈속임이 매우 많음. 로봇개나 무인 지상차량도 과대광고와 달리 실용성이 떨어짐
      로보틱스는 협동로봇 분야를 제외하면 틈새 산업이며, 예외는 체공 시간 문제만 해결하면 큰 잠재력이 있는 드론임. 휴머노이드는 실제 환경에서 유용해지려면 아직 멀었고, 대부분의 무인 지상차량은 계단에서 후진조차 못함

  • AI 로보틱스가 진짜 혁명임. 지금은 자본 보유자가 더 많은 자본을 얻으려면 인간 노동이 필요하지만, 로봇 추론 비용이 인건비보다 낮아지면 더는 인간 노동이 필요하지 않게 됨. AI는 비육체 노동에도 영향을 주지만 세계 인구 상당수는 육체노동에 종사함

    • 추론 외 비용을 무시하고 그 최종 상태를 받아들인다면, 자본이 민주화될 경우 매우 좋지만 소수 계층에 계속 집중되면 종말에 가까운 결과가 됨
    • 추론 비용만의 문제는 아님. 현실에서 물건이나 생물을 잘못 다뤘을 때의 피해는 비물질적 응용과 전혀 다르므로 고장 안전장치와 독립 제한기가 필요할 수 있음
    • 그 변화가 정말 좋은 것인지 의문임

  • 자녀가 없는 47세 남성으로서, 노년에 돌봄 로봇의 도움을 받을 가능성을 기대하고 있음

    • 살아 있는 동안 Star Wars 같은 드로이드를 볼 가능성이 커졌다는 사실이 놀라운데, 모두 너무 평범한 일처럼 받아들이는 듯함
    • 50대로서 80대 부모를 둔 지금 당장도 매우 유용할 것임. 주변 친구 다수도 비슷한 처지임

  • 많은 가사 작업은 휴머노이드 없이 자동화할 수 있음. Roomba가 바닥을 청소하고, 주택에 자동 쓰레기 처리와 식료품 반입·분류·보관 시스템을 넣을 수 있음
    휴머노이드는 불쾌하고 신뢰하기 어려움. 제작자의 정치적 관점에 반대하는 상황에서도 그런 로봇이 집 안에 있는데 편히 잘 수 있을지 의문임

    • 기존 아파트, 연립주택, 반독립형 주택에는 그런 설비를 도입하기가 사실상 불가능하고 신축 단독주택에서도 비싼 해법임. 기존 인간 환경이 휴머노이드에 맞춰져 있으므로 휴머노이드 형태가 유용함
    • Roomba는 바닥의 80~90%만 청소하며 실제 진공청소기만큼 깨끗하지도 않음. 개 장난감 치우기와 먼지통 비우기까지 고려하면 실제로는 60% 정도라서 100%를 처리하려면 인간형 전체가 필요함
    • 로봇을 신뢰해야 하는 상황 자체가 없어야 함. Roomba나 식기세척기가 오작동해도 손가락을 절단할 수 없고 엿듣거나 감시할 수도 없는데, 이런 것이 좋은 로봇임

  • 유한한 지구에서 계속 늘어나는 인간에 더해 왜 로봇 몸체까지 추가하려는지 의문임. 데이터센터 AI는 적어도 물리적으로 나와 어깨를 맞대고 경쟁하지 않는데, 인간이 있는데도 정교한 로봇을 원하는 이유를 모르겠음

    • 인간의 무한한 팽창은 멈출 조짐이 많음. 정교한 로봇이 필요한 명백한 이유는 허리가 부서질 만큼 힘들거나, 더럽거나, 위험하거나, 지루해서 인간이 하기 싫은 일을 맡기기 위해서임

  • 로봇 구동에 전체 LLM을 사용하면 너무 무거워서 강력한 GPU로도 최소 지연 시간이 1~2초일 가능성이 크며, 실용 로봇에는 적합하지 않음
    기계 시각은 머신러닝이 담당하되 동작 구동은 전통적인 PID 기반 선형·비선형 제어에 맡겨야 하며, 전체 LLM을 제어기로 쓰면 하드웨어 한계에 부딪힐 듯함

    • 현재 지연 시간 문제는 맞지만 추론 최적화 여지가 커서 가까운 미래에는 달라질 가능성이 높음. PID 같은 해석·최적화 기반 제어는 수십 년간 정체된 반면, 종단 간 제어는 보행 에너지 효율과 낙엽 더미를 밟아도 넘어지지 않는 강건성에서 뛰어난 성능을 보였고 새 로봇에 적용하기도 훨씬 쉬움
      Physical Intelligence 같은 회사는 지능과 지연 시간을 함께 해결하기 위해 빠른 계층과 느린 계층을 결합한 계층형 구조에서도 좋은 결과를 내고 있음
    • Nvidia는 자사 칩에서 20억 매개변수 VLA를 10Hz로 실행하며, 공개한 5억 매개변수 모델도 10Hz로 작동하는 것으로 알고 있음
답변달기