▲

Project Gameface의 Android 버전 출시

 (developers.googleblog.com)
6P by xguru 6달전 | favorite | 댓글과 토론
  • 구글 I/O 2023에서 발표한 Project Gameface 오픈소스
    • 핸즈프리 게이밍 '마우스'로, 머리 움직임과 얼굴 제스처를 사용하여 컴퓨터 커서를 제어할 수 있게 함
    • 사람들이 눈썹을 올려 클릭 및 드래그 하거나, 입을 열면 커서를 이동하게 할 수 있어 게임 접근성을 높임
  • 이 프로젝트는 근육 질환으로 인해 사지마비를 겪고 있는 비디오 게임 스트리머 Lance Carr의 이야기에서 영감을 받아 시작됨
    • Lance와 협력하여 Project Gameface를 현실화함

프로젝트의 활용

  • 이제 더 많은 코드를 오픈 소스로 공개하여 개발자들이 모든 Android 기기를 더 접근 가능하게 만드는 애플리케이션을 개발할 수 있게 지원
  • 기기의 카메라를 통해 얼굴 표정과 머리 움직임을 매끄럽게 추적하여 직관적이고 개인화된 제어로 변환함
  • 개발자는 이제 사용자가 얼굴 표정, 제스처 크기, 커서 속도 등을 사용자 정의하여 경험을 구성할 수 있는 애플리케이션을 구축할 수 있음

Android용 Project Gameface 구축 시 세 가지 핵심 원칙

  1. 장애인에게 Android 기기를 조작할 수 있는 새로운 추가 수단 제공
  2. 확장을 가능하게 하는 비용 효율적인 솔루션 구축
  3. 첫 번째 Gameface 출시에서 얻은 교훈과 지침을 활용하여 사용자 친화적이고 맞춤형으로 제품 개발

Android 기기에서의 커서 구현

  • Android 기기를 작동하기 위한 새로운 방법 출시
    • Project Gameface에 대한 긍정적인 피드백을 바탕으로, 개발자와 사용자가 머리 움직임으로 커서를 이동하고 얼굴 표정을 통해 작업을 수행하는 아이디어를 높이 평가한다는 것을 알게 됨
  • Android 기기에 새로운 가상 커서를 가져오기 위해 동일한 아이디어 복제
    • Android 접근성 서비스를 사용하여 새 커서를 만들고 MediaPipe의 Face Landmarks Detection API를 활용하여 사용자의 머리 움직임에 따라 커서가 이동하도록 프로그래밍함
  • API 내에는 왼쪽 눈썹 올리기 또는 입 벌리기와 같은 52가지 얼굴 제스처의 표현력을 나타내는 52개의 얼굴 블렌드쉐이프 값이 있음
    • 이 중 일부 값을 사용하여 광범위한 기능을 효과적으로 매핑하고 제어하여 사용자 정의 및 조작을 위한 확장된 가능성 제공
    • 또한 블렌드쉐이프 계수를 활용하여 개발자가 각 특정 표현식에 대해 다른 임계값을 설정할 수 있는 기능을 제공하여 경험을 사용자 정의할 수 있도록 함

Project Gameface 시각화

  • Android 접근성 서비스의 최고의 기능을 Project Gameface에 도입함
  • 모바일 동작
    • Windows 버전의 Project Gameface에서는 사용자가 일반적인 클릭 동작을 복제할 수 있도록 함
    • 그러나 Android에서는 사용자가 수행해야 하는 기능이 더 다양함
    • OS에 입력되는 터치 이벤트와 "뒤로 가기", "멀티태스킹 전환", "홈"과 같은 글로벌 액션 이벤트가 있음
    • Android 접근성 API를 사용하여 사용자에게 제공할 수 있는 동작을 결정함
    • 현재 Android용 Project Gameface는 GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS를 지원함
  • 카메라 피드
    • 카메라 피드는 사용자 경험을 크게 향상시켜 정확한 임계값 설정과 제스처에 대한 더 깊은 이해를 가능하게 함
    • 또한 사용자가 자신의 머리 움직임과 제스처를 이해하기 위해 카메라가 적극적으로 사용되고 있음을 명확히 알림
    • 카메라 피드를 오버레이로 생성하는 것만으로는 Android 설정과 같은 중요한 섹션에 접근할 수 없게 됨
    • Project Gameface와 함께 Android 접근성 서비스를 사용하여 카메라가 Android 설정 및 기타 중요한 섹션에서도 계속 떠 있도록 함
  • '드래그 기능' 수행 가능
    • Android 접근성 서비스는 현재 사용자가 실시간으로 상호작용하는 화면 드래그를 수행할 수 있는 간단한 방법이 없음
    • 그러나 제품을 업그레이드하여 드래그 기능을 포함시켜 사용자가 시작 및 종료 지점을 정의할 수 있도록 함
    • 결과적으로 지정된 경로를 따라 드래그 작업이 원활하게 수행됨
  • 기대와 개방성
    • Project Gameface의 잠재력을 기대하며, 개발자와 기업들이 이를 활용하여 새로운 경험을 구축하기를 기대함
    • Gameface의 코드는 이제 Github에서 오픈 소스로 공개됨