▲

GN⁺: HN 공개: 6자유도를 지원하는 오픈소스 디지털 스타일러스

 (github.com/Jcparkyn)
1P by neo 2023-11-13 | favorite | 댓글 1개

D-POINT: 광학-관성 추적을 이용한 디지털 펜

  • D-POINT는 카메라 추적과 관성 측정을 사용하여 6DoF(자유도 6개) 입력을 실현하는 오픈소스 디지털 스타일러스임.
  • 저지연, 압력 감지, 서브밀리미터 정확도를 제공하며, 모든 평평한 표면에서 사용 가능하고 소비자용 웹캠과 호환됨.
  • 이 프로젝트는 전기공학 학부 졸업 논문의 일부이며, 코드와 설계 파일을 오픈소스로 공개하여 다른 사람에게 유용하길 바람.

설계

  • 스타일러스의 주요 부품은 3D 프린팅으로 제작되며, 힘 센서, USB-C로 충전하는 리튬 이온 배터리, 블루투스 및 로직을 위한 아두이노 기반 개발 보드를 포함함.
  • 시각적 자세 추정을 위해 스타일러스 뒷면에 8개의 인쇄된 ArUco 마커가 부착됨.

시각적 자세 추정 (VPE)

  • VPE 과정은 4가지 주요 단계로 진행됨:
    1. 마커 감지: OpenCV를 사용하여 스타일러스에 있는 각 ArUco 마커의 모서리를 감지함.
    2. 롤링 셔터 보정: 간단한 2D 모션 모델을 사용하여 롤링 셔터가 관찰된 모서리 위치에 미치는 영향을 추정하고 보정함.
    3. Perspective-n-Point (PnP): 이 모서리 위치에서 PnP 알고리즘을 사용하여 카메라에 대한 스타일러스의 자세를 추정함.
    4. 좌표 변환: 카메라와 그리기 표면에 대해 보정된 스타일러스의 자세를 사용하여 그리기 표면에 대한 스타일러스 팁의 위치와 방향을 계산함.

관성 융합

  • 확장 칼만 필터(EKF)를 사용하여 VPE 추정치와 가속도계 및 자이로스코프의 관성 데이터를 융합하고, Rauch-Tung-Striebel(RTS) 알고리즘을 사용하여 실시간으로 추정치를 정제함.
  • 카메라 프레임의 시간 지연을 고려하기 위해 음의 시간 측정 업데이트 알고리즘을 사용함.
  • EKF는 NumPy와 Numba를 사용하여 구현되며, 관성 측정을 사용함으로써 카메라만을 사용할 때보다 지연 시간을 크게 줄이고, 빠른 움직임에 대한 정확도와 보고율을 향상시킴.

GN⁺의 의견

  • D-POINT는 고도의 기술과 혁신적인 설계를 통해 디지털 스타일러스의 새로운 가능성을 제시함.
  • 오픈소스로 제공되어 기술에 관심 있는 사람들이 자유롭게 사용하고 개선할 수 있는 기회를 제공함.
  • 이 기술은 소비자용 웹캠과 호환되고, 모든 평평한 표면에서 사용할 수 있어 사용자 경험을 향상시키는 데 중요한 역할을 할 수 있음.
▲
neo 2023-11-13  [-]
Hacker News 의견

  • 프로젝트에 대한 감탄

    "정말 멋진 프로젝트다. 내가 상상만 했던 것을 실제로 구현해냈다. 'Elite: Dangerous' 게임을 할 때 HOTAS(손으로 조작하는 스로틀과 조이스틱)와 페달을 사용했는데, 우주선을 더 나은 방식으로 조종할 수 있을 것 같았다. 손에 들고 있는 우주선 모델을 움직여 게임 속 우주선도 같은 방식으로 움직이게 하는 것이 내가 원했던 것이다. 이 프로젝트는 그런 것을 가능하게 할 수 있어 보인다. 추진력은 다른 손으로 비슷한 방식으로 조종할 수 있을 것이다. 이런 새롭거나 이상한 입력 모델은 정말 놀랍고, 이런 능력으로 상상력을 마음껏 펼칠 수 있다."

  • 프로젝트의 학문적 가치

    "이 프로젝트는 전기공학 학부 졸업 논문의 일부였다. 학부생이라니! 이 프로젝트로 최고 점수를 받지 못했다면 정의가 없는 것이다."

  • 웹캠의 미래에 대한 흥미로운 고찰

    "웹캠의 사용이 흥미롭다. 기존의 단일 ~78° FOV 웹캠이 듀얼(스테레오) 어안 웹캠으로 대체될 미래가 올지 궁금하다. 이러한 웹캠은 새로운 UX 상호작용(눈동자 추적을 포함한 제스처)을 가능하게 하고, 새로운 주변 장치 상호작용(이 스타일러스처럼, 레이싱 게임을 위한 스티어링 휠 등)을 가능하게 하며, VR 존재감을 포함한 훨씬 유연한 웹캠 회의를 위한 3D 180° 촬영을 가능하게 할 것이다. 컴퓨터 디스플레이 앞의 전체 3D 공간을 입력 방법으로 사용할 수 있는 아이디어가 다가오고 있으며, 웹캠을 사용하는 방식이 그 방향으로 한 걸음 나아가는 것처럼 느껴진다."

  • 롤링 셔터 보상 기술에 대한 인식

    "롤링 셔터 보상은 꽤 멋지고, 처음부터 문제가 될 것을 알았는지, 아니면 시스템을 구축한 후에야 알게 되었는지 궁금하다."

  • 입력 장치에 대한 창의적인 접근

    "특히 융합 기술이 인상적이다. '노트북 키보드... 손 모양, 3D 스타일러스, 터치'를 탐구하면서 떠오른 몇 가지 생각들이 있다. 버튼을 추가하면 3D 마우스가 될 수 있지만, 카메라 커버리지가 문제가 될 수 있다. 노트북의 몸체는 대부분 비어 있고(배터리도 얇게 만들 수 있음), 마커가 달린 스타일러스를 들고 타이핑하는 것이 가능하다. 큰 팁은 ThinkPad 키보드 위에서 부드럽게 움직일 수 있고, 덜 조밀한 힘 센서와 추가 팁 마커를 위한 공간을 제공한다. 얇은 실리콘 리본 케이블은 매우 유연할 수 있으며, 나는 아두이노에 스타일러스를 연결하기만 하면 된다. 또한, 관성 센서가 금속 클리커와 같은 것을 어떻게 인식할지 궁금하다."

  • 6DOF(6자유도) 컨트롤러에 대한 열정과 프로젝트의 소프트웨어 측면에 대한 칭찬

    "6DOF에 대한 열정이 크다! 하드웨어와 컴퓨터 비전 포즈 작업에 대한 멋진 작업이지만, 회전할 수 있는 소프트웨어 표면을 그리는 것이 거의 더 인상적이다. 이것은 어떤 형태의 물리적 사용자 인터페이스 제어와 함께 사용될 수 있으며, 같은 효과를 위한 손가락 슬라이더와 같은 것이 될 수 있다. 문제 해결 기술을 위한 좋은 프로젝트로 보인다. 잘 해냈다, 브라보!"

  • 프로젝트에 대한 감탄과 칼만 필터 사용의 실제 예

    "매우 멋진 프로젝트다. 도움이 되는 문서화. 칼만 필터 사용의 좋은 실제 예시다!"

  • 프로젝트에 대한 감탄과 직접 구축하고 싶은 열망

    "정말 인상적인 프로젝트다! 정말 좋아한다, 꼭 한 번 만들어보고 싶다."

  • 로봇공학/VR에의 응용 가능성과 기술적 질문

    "정말 멋지다! 로봇공학/VR에도 유용할 수 있다. 웹캠을 이용한 한 손 추적은 어떤가? 질문: 자이로+가속도계를 사용하여 압력을 추적할 수 있나? 적어도 '탭'은? 또 다른 질문: 비용은 얼마나 드나? 특히 압력 센서의 비용은?"

  • 카메라를 이용한 외부 추적에 대한 호기심과 기술에 대한 아쉬움

    "카메라를 이용한 외부 추적은 생각하지 못한 멋진 아이디어다. 발브/HTC가 사용하는 등대 기술을 저렴하게 복제한 좋은 작업이 없어서 슬프다."

답변달기