OK-Robot: 어디서나 집어 옮기기 가능한 오픈형 모듈러 홈 로봇 프레임워크

 (ok-robot.github.io)
2P by GN⁺ | ★ favorite | 댓글 3개
  • OK-Robot은 새로운 가정 환경에서 언어 지시만으로 물건을 찾아 집고 옮기는 pick-and-drop 작업을 제로샷으로 수행하려는 개방형 모듈러 로봇 프레임워크임
  • 비전-언어 모델(VLM), 내비게이션 프리미티브, 집기 프리미티브를 결합해 별도 학습 없이 객체 인식·이동·조작을 이어 붙임
  • 뉴욕시의 10개 실제 가정에서 171개 작업을 평가했고, 완전히 새로운 집에서 58.5% 성공률을 기록함
  • 깨끗하고 어수선하지 않은 환경에서는 성공률이 82% 로 올라갔으며, Open Vocabulary Mobile Manipulation(OVMM)에서 이전 작업 대비 약 1.8배 성능을 보임
  • 주요 실패는 객체 검색, 어려운 조작 자세, 하드웨어 문제에서 발생해 개방형 지식 모델과 로봇 모듈의 세밀한 통합이 성능을 좌우함

프레임워크 구성과 목표

  • OK-Robot은 임의의 가정에서 제로샷, 언어 조건 기반 pick-and-drop 작업을 수행하기 위한 개방형 모듈러 프레임워크임
  • 시스템은 세 가지 구성요소를 결합함
    • 비전-언어 모델(VLM): 언어 질의 기반 객체 탐지
    • 내비게이션 프리미티브: 모바일 시스템 이동 제어
    • 집기 프리미티브: 다양한 객체 조작
  • 별도 학습 단계 없이 객체 인식, 이동, 집기를 통합해 실제 가정 작업을 수행하는 시스템 우선 접근을 사용함
  • 프로젝트 자료:

실제 가정 평가와 실패 요인

  • 뉴욕시의 10개 가정 환경에서 171개 pick-and-drop 작업을 시도함
  • 완전히 새로운 집에서의 성공률은 58.5% 였고, Open Vocabulary Mobile Manipulation(OVMM)에서 이전 작업 대비 약 1.8배 성능을 보임
    • 성공률: {p:58}
  • 더 깨끗하고 어수선하지 않은 환경에서는 성공률이 82% 로 상승함
    • 정돈된 환경 성공률: {p:82}
  • 실패 원인은 긴 꼬리 형태로 분포하며, 가장 큰 세 가지 원인은 다음과 같음
    • 의미 메모리에서 이동해야 할 올바른 객체를 찾지 못함: 9.3%
    • 조작 모듈이 어려운 자세를 받음: 8.0%
    • 하드웨어 어려움: 7.5%
  • VLM 같은 개방형 지식 시스템을 로봇 모듈과 결합할 때는 모델 성능뿐 아니라 객체 메모리, 조작 자세, 하드웨어 안정성까지 함께 맞물려야 함

함께 보면 좋은 글 β

yeorinhieut   [-]

https://hello-robot.com/purchase

본품은 2.5만달러...
추가로 아이폰 프로 필요
도킹형 충전기는 995달러 ㅋㅋㅋㅋ

호구잡이 가격인가요

답변달기
yeorinhieut   [-]

도킹스테이션은 진짜 왜 저런 가격이죠
연결 방식도 dc 커넥터를 직접 꼽는 방식이네요..ㅋㅋㅋ

https://hello-robot.com/stretch-docking-station

답변달기
GN⁺   [-]
Hacker News 의견들

  • 이런 로봇은 장애물 처리가 가능해지기 전까지 시장이 작을 것 같음
    고양이가 바닥 한가운데 둔 장난감, 열린 창문 때문에 테이블에서 날아간 종이, 아이들이 흩어놓은 장난감, 자리를 비운 사이 책상에서 굴러 떨어진 연필, 바닥에 둔 빨래, 카펫과 마룻바닥 사이 단차, 열리거나 닫힌 문 등이 모두 문제임
    주요 작업 전에 장난감 치우기, 종이 줍기, 빨래 줍기, 문 열기 같은 여러 중간 작업이 끼어들 수 있음
    케이블, 옮기면 안 되는 쌓인 물건, 가구, 자는 반려동물, 배달 상자 더미 같은 것은 바퀴 달린 로봇을 반영구적으로 막을 수 있음
    그래서 범용 가정용 로봇은 바퀴가 아니라 다리가 있어야 하고, 안정성을 위해 두 개보다 많을 수도 있다고 봄
    이상하게 들릴 수 있지만 이상적인 설계는 커다랗고 친근한 거미와 개의 중간쯤일지도 모름
    로봇공학이 대체로 세상을 2차원 평면으로 보는 발상에 갇힌 게 이상하고, 3차원 세계에서 이동성을 다루는 진짜 어려운 문제를 이상화해 없애버린 듯함
    이 로봇이 하는 모든 일도 평평한 수평면에서만 이뤄지고, 작동하려면 사람이 먼저 방을 돌아다니며 치워둔 것처럼 보임
    Roomba도 같은 문제가 있음

    • 많은 사람이 편리함을 위해 필요한 희생을 감수할 것 같음
      바닥에 케이블을 길게 늘어뜨리지 않으면 되고, 가구에 표시 테이프를 붙일 수 있으며, 로봇이 물건을 집어 치워서 걸려 넘어질 위험으로 남기지 않게 할 수도 있음
      식기세척기가 쉽게 잡고 옮기고 씻을 수 있는 식기처럼 사람에게도 로봇에게도 친화적인 물건으로 바꿀 수도 있음
      이미 우리는 전자레인지나 식기세척기 사용 가능 제품을 사며 그렇게 하고 있고, 뭔가가 그렇지 않다는 걸 알면 놀랄 정도임
      반려동물이 스스로 쓰도록 사람용 문에 반려동물 문을 다는 비용도 감수함
      인간은 적응력이 높은 종임
      두 번째로, 로봇을 천장 레일 아래 매다는 아이디어를 늘 좋아했음
      훌륭한 영화 Moon에서도 볼 수 있는데, 가구 위를 떠다닐 수 있어서 사람보다 이동성이 좋다는 장점이 있음
    • 그건 범용 개념이 아니라 특정 플랫폼의 한계에 대한 비판에 가까움
      로봇 앞 바닥에 있는 물건을 팔이 집을 수 있게 되기만 하면 됨
      불가능해 보이지는 않고, 여러 모델을 연결해 “Takis를 침실 협탁으로 옮겨”라고 말하면 실행할 수 있게 한 데모는 놀라움
      팔이 바닥까지 닿을 만큼 충분히 관절화되도록 만드는 “작은” 로봇공학 문제만 남은 셈임
    • 바퀴 달린 장비라면 병원 환경에서도 같은 문제가 있음
      거기서는 코드 푸셔로 해결함
      바닥의 물건을 밀어내는 일종의 가축 방지용 격자 같은 장치임
      모든 문제에 복잡한 해결책이 필요한 건 아님
      이 프로젝트의 훌륭함은 특히 로봇 설계의 단순함에 있다고 봄

  • 아주 멋짐
    로봇공학 경험이 거의 없어서 어리석은 질문일 수 있지만 궁금함
    물체가 무엇인지 어떻게 아는지? 실시간 물체 분류 신경망 같은 걸 쓰는지, 한계는 무엇인지?
    로봇이 요청을 수행할 수 없다는 걸 아는지? 예를 들어 큰 상자나 아주 무거운 케틀벨을 옮기라고 하면?
    물체가 숨겨져 있거나 가려져 있으면 얼마나 잘 되는지? 찾으러 다니는지? 요청한 물체에 접근하려면 다른 물체를 치워야 하는 경우는 어떻게 되는지?

    • 이 분야에서 일하지만 저자 중 한 명은 아니라는 전제로 말하면, 질문들이 핵심을 정확히 짚었음
      이 작업은 정말 멋지지만, 현대 로봇 학습 시스템의 많은 한계를 그대로 짚고 있음
      1. 물체 분류기를 사용함
        여기(https://github.com/ok-robot/ok-robot/tree/main/ok-robot-navi...)에 설명되어 있는데, 이해한 바로는 기본적으로 ViT 모델, 즉 이미지 분류 모델로 이미지에 라벨을 붙이고 이를 복셀 격자에 투영함
        그런 다음 CLIP의 언어 임베딩으로 언어와 복셀 격자를 연결함
        한계는 이걸 로봇에서 실행하려면 이런 모델의 초대형 버전을 쓸 수 없다는 것임
        클라우드에서 큰 모델을 쓸 수도 있지만 지연 시간이 많이 생김
      2. 유효하지 않은 요청을 식별하지는 거의 못할 것임
        언어 임베딩이 포괄하지 않는 요청이면 로봇이 아무것도 하지 않을 수도 있음
        하지만 이 시스템은 물리 컨트롤러의 하드웨어 한계를 제외하면 물리에 대한 지식이 없어 보임
      3. 숨겨진 물체는 거의 확실히 안 됨
        복셀 라벨링은 복셀에 라벨을 붙이는 모듈에 의존하고, 시각 정보가 없으면 라벨을 붙일 수 없음
        또 포크가 서랍 안에 있고, 서랍은 부엌에 있고, 부엌은 보통 집 뒤쪽에 있다는 식의 복잡한 고차 추론은 없는 것 같음
        부분적으로 가려진 경우는 시각 분류기의 한계에 달려 있어서 될 수도 있음
        ViT는 매우 좋지만 물체가 얼마나 가려졌는지에 따라 달라질 것임
    • 프로젝트/논문 저자로서 확인해보면, 아래쪽에서 fishbotics가 이미 많은 질문에 답했지만 추가로 말할 수 있음
      물체 인식은 대부분 Lang-SAM(https://github.com/luca-medeiros/lang-segment-anything)을 사용하고, 이미지와 텍스트를 연결하는 무거운 작업은 CLIP 임베딩(https://openai.com/research/clip)이 맡음
      CLIP류 모델의 장점 중 하나는 나중에 질의할 수 있는 클래스를 미리 지정할 필요가 없고, 실행 중에 떠올린 표현을 그대로 쓸 수 있다는 점임
      현재 로봇은 수행 불가능한 요청을 알지 못함
      지금 모델은 매우 단순하고 특별히 영리한 처리를 시도하지 않음
      다만 그래서 코드를 공개했고, 커뮤니티가 이 프로젝트 위에서 환경의 시각 단서를 더 많이 활용하는 더 똑똑한 로봇을 만들 수 있기를 바람
      초기 스캔에서 물체가 숨겨져 있거나 가려져 있으면 실패함
      그래도 추가 연구의 좋은 출발점이 될 수 있다고 봄
      한 가지 장점은 전체 3D 정보를 고려하므로, 어떤 물체가 일부 각도에서만 보여도 로봇이 찾을 가능성이 있다는 것임

  • 장애인, 노인, 게이머, 극도로 게으른 사람과 그들을 돌보는 사람들에게 삶을 바꿀 수 있는 기술로 보임

    • 어디서 봤는지는 잊었지만, 일반적으로 장애인을 위해 개선한 것은 모두에게도 좋아짐
      보도를 휠체어 친화적으로 만들면 유모차를 미는 부모, 무거운 짐을 든 사람, 지팡이를 짚는 사람, 자전거를 탄 어린아이, 시력이 좋지 않은 사람에게도 도움이 되는 식임
    • 이 가정용 로봇 작업에서 큰 동기 중 하나가 노인, 장애인, 또는 모든 일을 해낼 시간이 부족한 바쁜 부모를 생각하는 것임
      개인적으로는 AI가 모두가 원하는 일자리가 아니라 아무도 원하지 않는 일을 맡도록 가르칠 수 있기를 희망함

  • 멋짐
    빨래를 접고 제자리에 넣도록 훈련시킬 수 있다면 2만5천 달러짜리 로봇도 진지하게 살 의향이 있음

    • 빨래와 설거지, 요리, 아이들이 어지른 것 치우기를 해낼 수 있다면 10만 달러짜리 로봇도 바로 살 것임
    • 접는 용도로는 이 로봇 말고 두 번째 로봇을 사야 할 수도 있음: https://pantor.github.io/speedfolding/

  • 없는 물건을 찾는 것 같은 장기 작업을 해결하려면, 주석이 달린 장면을 템플릿화된 설명으로 바꿔서 인터랙티브 픽션으로 학습된 충분히 큰 모델에 넣을 수 있음
    “당신은 부엌에 서 있습니다. 앞쪽 오른편에는 손잡이가 오른쪽에 달린 큰 냉장고가 있습니다. 왼쪽에는 캐비닛들이 있고 그 위 조리대에는 접시가 놓여 있습니다.”
    > get beer
    “여기에는 맥주가 보이지 않습니다.”
    << COT: 맥주는 냉장고에 자주 있다는 것을 안다. 냉장고를 열어봐야 한다
    > open fridge
    “냉장고를 열자 맥주 캔 4개가 보입니다.”
    > get beer
    “가져갔습니다”
    물론 이게 실제로 동작하려면 아직 몇 년은 남았지만, 생각해보면 아주 흥미로움
    실제 센서가 공급하는 인터랙티브 픽션 서사와 내부 독백으로서의 사고 연쇄 블록을 결합하는 방식임

    • 이제 로봇에게 방을 돌아다니며 “열쇠, 열쇠, 열쇠... 내가 열쇠를 어디에 뒀을까?”라고 중얼거리게 가르칠 수 있겠음
    • 멀티모달 LLM은 이미 이런 종류의 작업을 아주 잘함
      부엌 사진을 찍고 ChatGPT에게 맥주를 어디서 찾을지 물어보면 됨
      실제로 꽤 자주 이렇게 씀
      게을러서 부품과 보드 사진을 찍고 ESP32에 어떻게 배선할지 물어보는데, 사진 몇 장만으로 보드와 칩, 핀 배치를 구분하고 어떤 선을 어디에 연결해야 하는지, 주의할 점까지 알려줌
      부품에 유용한 라이브러리까지 제안하는 경우도 많고, 사실상 마법 같음

  • 실패 분석이 정말 잘 되어 있음
    하드웨어 실패가 무엇을 뜻하는지 궁금함
    예를 들어 “Realsense가 잘못된 깊이를 줬다”는 5번의 시도가 있는데, 그걸 어떻게 판단했는지 궁금함

    • 모든 데이터를 수집한 뒤 사후 분석으로 실패 원인을 봄
      언급한 5번의 시도에서는 Realsense가 투명하거나 반투명한 물체에서 잘못된 깊이값을 냈고, 그래서 로봇 머리 카메라에서 생성된 포인트 클라우드 자체가 틀렸음

  • 오픈소스인데도 거의 2만5천 달러나 듦
    왜 이렇게 비싼지 궁금함

    • 만든 뒤 유지보수하는 엔지니어들의 급여를 감당해야 하는 소량 생산 제품이기 때문임
    • 로봇 기준으로는 2만5천 달러가 나쁘지 않음
      대부분의 이동 조작 로봇은 5자리 가격 이상인데, 주로 시장이 작고 재료비와 공학 비용이 높으며 로봇 제작 자체가 골치 아프기 때문임
    • 언제부터 오픈소스가 싸다는 뜻이었나?
      노동은 공짜가 아님
      맞춤형 PCB와 하드웨어를 소량으로 만드는 것도 싸지 않고, 로봇을 제작하고 보정하고 테스트하는 것도 싸지 않음
    • 가격은 어디에 있음?
      제품 페이지 링크가 있는지 궁금함
    • 소프트웨어는 오픈소스임
      하드웨어는 독점이고 특허로 보호됨

  • 이거 Dobb-E와 같은 것 아닌가?
    https://dobb-e.com/

    • 아님
      다만 팀에 같은 사람들이 일부 있음
      예를 들어 내가 Dobb-E의 제1저자이고, 내 지도교수가 두 프로젝트를 모두 지도하고 있음
      주요 차이는 이 프로젝트가 제로샷이라 새 집에서 새로운 데이터가 0개 필요하지만 기술은 집기와 내려놓기 두 가지뿐이라는 점임
      반면 Dobb-E는 여러 기술을 가질 수 있지만 새 집에서 몇 가지 시연을 제공해야 함
    • 두 프로젝트는 관련 있어 보이고 공통 저자도 있음
      둘 다 사용한 로봇의 웹사이트에 언급되어 있음: https://hello-robot.com/stretch-embodied-ai

  • 한동안 이 프로젝트를 지켜봤는데 진전이 훌륭함
    팔다리 제어가 제한된 사람을 위해 휠체어 같은 이동 보조기기와 통합하는 모습을 상상함
    불가능했던 작업을 도와주는 “스마트” 외골격 같은 것이 된다면 정말 많은 사람에게 판도를 바꿀 수 있음

  • 짐을 얹고 지점 간에 보낼 수 있는 안정화 플랫폼 차량을 정말 원함
    Segway 같은 자이로 안정화 플랫폼을 A 지점에서 B 지점까지, 아주 나쁘지는 않지만 울퉁불퉁한 산책로 같은 경로로 왕복시킬 수 있으면 좋겠음
    예전에 선택지를 계속 살펴보려 했지만 이 용도에 맞는 것을 본 적이 없음
    이런 사용 사례에 맞는 새 제품을 아는 사람이 있는지 궁금함
    구체적으로는 음료와 오르되브르가 담긴 쟁반을 부동산의 한쪽에서 다른 쪽으로 흘리지 않고 옮겨야 하며, 최소한 약간의 전지형 주행은 필요함

답변달기