▲

MacBook을 1달러 하드웨어로 터치스크린으로 전환한 Project Sistine

 (anishathalye.com)
1P by GN⁺ 8시간전 | ★ favorite | 댓글 1개
  • Project Sistine은 MacBook을 단 1달러의 부품과 컴퓨터 비전 기술로 터치스크린처럼 동작하게 만든 프로토타입
  • 내장 웹캠 앞에 작은 거울을 설치해 화면을 비스듬히 인식하고, 손가락과 반사상의 교차점을 터치로 감지
  • 피부색 필터링과 외곽선 분석을 통해 터치·호버 지점을 계산하고, 호모그래피 보정으로 화면 좌표에 매핑
  • 감지된 입력은 마우스 이벤트로 변환되어 기존 앱에서도 즉시 터치 조작이 가능
  • 480p 카메라에서도 작동하며, 고해상도 카메라나 곡면 거울을 사용하면 인식 범위를 확장할 수 있는 저비용 터치스크린 구현 사례

Project Sistine 개요

  • MacBook을 터치스크린으로 전환하기 위해 단 1달러의 하드웨어와 간단한 컴퓨터 비전 기술을 사용한 Project Sistine 시연
    • 약 16시간 동안 4명이 제작한 proof-of-concept 프로토타입
    • 이름은 시스티나 성당의 ‘천지창조’ 그림 재현에서 착안

기본 원리

  • 화면을 비스듬히 보면 빛 반사로 손가락과 그 반사상이 함께 보이는 현상을 이용
    • 손가락이 반사상과 맞닿는 순간을 감지해 터치 여부를 판별
  • 기존 Kevin이 제작한 ShinyTouch 프로젝트에서 아이디어를 가져옴
    • 외부 웹캠을 사용하던 방식을 MacBook 내장 웹캠과 소형 거울로 대체
    • 내장 카메라 앞에 작은 거울을 설치해 화면 전체를 비스듬히 내려다보는 시야 확보
    • 카메라 영상에서 손가락 움직임을 인식해 터치 이벤트로 변환

하드웨어 구성

  • 필요한 재료는 소형 거울, 종이 접시, 문 경첩, 글루건 등 단순한 부품
    • 거울을 적절한 각도로 고정해 카메라가 화면 전체를 볼 수 있도록 구성
    • 칼과 글루건만으로 몇 분 안에 조립 가능한 형태

손가락 감지 알고리듬

  • 입력 영상에서 손가락과 반사상을 찾아 터치/호버 지점 계산

    • 피부색 필터링 및 이진화 → 외곽선 검출 → 두 개의 주요 외곽선 선택

      • 두 외곽선이 수평 방향으로 겹치고, 작은 외곽선이 위쪽에 위치해야 함
      • 두 외곽선의 상단과 하단을 연결한 선의 중점을 터치/호버 지점으로 설정
      • 두 외곽선 간의 수직 거리로 터치와 호버를 구분
      • 결과 영상에서는 손가락과 반사선이 녹색, 경계 상자가 빨강, 터치 지점이 자홍색으로 표시됨

매핑 및 보정

  • 웹캠 좌표를 화면 좌표로 변환하기 위해 호모그래피(homography) 계산
    • 사용자가 화면의 특정 지점을 터치하며 보정(calibration) 수행
    • 수집된 좌표 쌍을 기반으로 RANSAC 알고리듬으로 투영 행렬 추정
    • 보정 후 화면 위에 빨간 선으로 투영 행렬 시각화, 추정된 터치 지점은 파란 점으로 표시

응용

  • 프로토타입은 호버와 터치를 마우스 이벤트로 변환해 기존 앱을 즉시 터치 대응 가능하게 함
    • 자체 앱 개발 시에는 호버 높이 등 세부 터치 데이터도 직접 활용 가능

결론 및 개선 가능성

  • Project Sistine은 1달러 하드웨어로 노트북을 터치스크린화한 실험적 구현
    • 480p 내장 카메라에서도 작동하며, 고해상도 카메라나 곡면 거울을 사용하면 전체 화면 인식 가능
    • 저비용으로 실용적인 터치스크린 시스템으로 발전할 가능성 존재

소스 코드

  • Sistine 프로토타입은 MIT 라이선스 오픈소스로 공개
▲
GN⁺ 8시간전  [-]
Hacker News 의견들

  • Steve Jobs가 2010년에 말하길, 수직 터치스크린은 멋진 데모용일 뿐 실제로는 팔이 금방 피로해져서 인체공학적으로 끔찍하다고 했음
    Business Insider 기사에서 인용된 내용임

    • 2007년에는 “스타일러스는 아무도 원하지 않는다”고 말하며, 손가락이야말로 최고의 포인팅 장치라고 강조했음. 아이러니하게도 8년 뒤 Apple Pencil이 등장함
    • 원래 ‘고릴라 암(gorilla arm)’ UX 연구는 훨씬 오래전부터 있었음. Microsoft Surface가 틈새 히트를 치며 여러 클론을 낳았고, 요즘은 화면을 평평하게 눕히거나 낮은 각도로 두면 터치가 꽤 잘 작동함
      예전의 저가형 Android 스타일러스폰이나 Palm Pilot 복제품은 정말 형편없었지만, 예술가들에게는 여전히 압력 감지 스타일러스가 유용한 도구임
      (참고로 ‘gorilla arm’ 용어는 1980년대 Jargon File에서 유래함)
    • 이건 터치를 주 인터페이스로 쓰는 것에 대한 반대일 뿐임. 실제로는 버튼 하나 누를 때 마우스보다 화면을 직접 터치하는 게 훨씬 빠를 때가 많음. 선택지로서 터치는 훌륭함
    • 나는 회사에서 터치+스타일러스 기반 CAD 앱을 개발 중인데, 키보드 단축키가 없어도 충분히 자연스럽게 작업함
      기기를 평평하게 두거나 회전시키며 쓰고, Kindle Scribe나 Galaxy Note 10+도 함께 사용함.
      Apple Sidecar를 써보고 싶지만, 또 다른 스타일러스를 사야 해서 망설이는 중임. 언젠가 Apple이 Newton의 후속기기를 내주길 바람
    • 올해 Apple이 터치스크린 MacBook을 출시하면 사람들의 반응이 어떨지 궁금함

  • 나는 터치스크린 MacBook Pro를 공짜로 줘도 원하지 않음. 이미 키보드 단축키로 최적화돼 있는데 굳이 화면을 눌러야 할 이유가 없음
    업무용이라면 터치보다 키보드·트랙패드가 훨씬 효율적임

    • 핵심은 “터치스크린 MacBook이 필요하다”가 아니라, 유리 반사로 터치를 시뮬레이션했다는 기술적 성취가 흥미로운 것 같음
    • 리뷰어들이 MacBook에 터치가 없다고 비판하지만, 실제로는 대부분 도킹 상태로 쓰기 때문에 터치가 쓸모없음.
      메인 모니터는 터치가 없고, 노트북 화면은 보조용이라 손을 뻗을 이유가 없음. 그래서 Touch Bar도 실패했다고 생각함
    • 접히지 않는 노트북에서의 터치는 마치 풍선 위에 손가락 그림 그리는 느낌이라 어색함
    • 나도 같은 생각이지만, 터치 습관이 한번 들면 며칠 동안 MacBook 화면을 무의식적으로 건드리게 됨. 무의식적 기대감이 존재함
    • iPad를 오래 쓰다가 MacBook으로 전환하면 나도 모르게 화면을 터치하려고 함. 아마 나만 그런 건 아닐 것임

  • 이 프로젝트를 보니 예전 Johnny Lee의 Wii-mote 실험이 떠오름
    johnnylee.net/projects/wii/

  • 예전에 쓰던 회사 노트북에 터치스크린이 있었는데, 의외로 일주일에 한두 번은 유용했음
    기차에서 옆 사람에게 팔꿈치를 부딪히지 않으려면 화면을 직접 터치하는 게 편했고, 스크롤할 때도 손가락으로 하는 게 자연스러웠음
    주 입력 장치는 아니었지만, 보조 입력 옵션으로는 괜찮았음

  • “피부색 필터링”이라는 문구를 보고 의문이 생김. 어떤 피부색을 기준으로 하는지, 특히 어두운 피부에서는 얼마나 잘 작동하는지 데이터가 궁금함

  • 노트북에서는 터치스크린이 쾌적하지 않음. 개인적으로는 없는 게 좋음

    • 하지만 스크롤할 때는 터치가 꽤 자연스러운 UX임. iPad에 Magic Keyboard를 연결해보면, 트랙패드로 정밀 조작하고 손가락으로 큰 요소를 움직이는 조합이 훌륭함
    • 어차피 쓰기 싫으면 안 쓰면 됨

  • 정말 멋진 컴퓨터 비전 응용 사례임. 코드도 공개해줘서 고맙게 생각함

  • 단순한 프로토타입이지만 흥미로움. 조명 조건에 따라 인식이 달라질지 궁금함 — 야외나 역광에서도 잘 작동할까?

  • “피부색 필터링” 대신 배경 차감(background subtraction) 을 썼으면 더 안정적이었을 것 같음. 피부색은 조명에 따라 너무 다양함

  • 카메라를 화면 사이에 두고 MacBook을 닫을 때 화면이 깨질 것 같은 상상이 듦.
    Mac을 좋아하지만, 하드웨어가 너무 섬세해서 불안함. 회사 노트북이라 더 조심하게 됨

답변달기