19P by xguru 2022-11-17 | favorite | 댓글 3개
  • 폰이 우리가 말하는 것을 항상 녹음해서 AI로 처리한다면 무슨 일이 일어날까요? 제가 먼저 해봤습니다
  • 잠잘때 빼고 깨어 있는 시간 동안 항상 녹음(부적절한 상황에서는 끄기도 함). PoC이고 아직 실제 적용은 어려움
  • 만든 동기는 OpenAI의 Whisper가 공개 되어서

동작 방식

  • 두개의 마이크로 하루 종일 말하는 것을 녹음하고, 하루가 끝나면 Whisper로 처리해서 텍스트로 변환
  • 이를 활용해 초보적인 수준의 "Ok Google" 스타일 디지털 비서를 만들수 있다는 걸 깨달았음
  • 매일 추출 가능한 두가지 정보가 있음
    • Active : 의식적으로 비서에게 지시하는 것
    • Passive : 내가 무슨 액션 할 필요없이 정보가 추출되어야 할 나머지 모든 정보들

Active Functions

  • 매일 저녁 비동기로 처리되어야 할 것들은 'KEYWORD COMMAND data END KEYWORD' 방식으로 얘기함
    • 'Robert WEIGHT 60.1 end Robert' : Robert는 비서의 이름이고, end 가 종료 키워드
    • "OK Google" 을 사용하지 않는 이유 : 제한적이고, 구글에 정보가 가는게 싫고, 말하면 바로 처리하는 동기 방식이기 때문
    • 물론 비동기로 처리되기 때문에 하루가 끝나기 전까지는 상황을 알 수 없다는 단점이 있음

결과 보기

  • 체중계 위에 올라간 다음에 'Robert WEIGHT 62.8 end Robert'
  • 잠자고 일어나서 슬립트래커(미밴드)를 읽기 'Robert SLEEP 7 hours 14 minutes end Robert'
    • 전자 기기들이 폰과 연동되어 정보가 전달되긴 하지만 빼내올 방법이 없으므로, 그냥 Analog API처럼 디지털 비서를 활용
  • 밥먹고 나서 'Robert LUNCH two toasts with a fried egg end Robert'
    • 매일 먹은 음식에 대해서 외부 API로 칼로리 계산
  • 팟캐스트 듣고 'Robert NOTE the podcast talks about Morgan Housel's book the psychology of money end Robert'
    • 메모 및 아이디어를 모두 저장
  • 주유하고 'Robert SPENT 250,000 on fuel end Robert'
    • 매일 돈 쓴 내역을 저장
  • 나에게 얘기하는게 좀 이상하지만, 폰을 들고 뭔가를 할 필요가 없다는 장점이 있음

제어판

  • 이렇게 입력된 모든 정보를 보는 대시보드를 제작
  • My Journal을 만들어서 오늘 하루에 뭘 했는지를 자동으로 기록

Passive Information - 아직 작업중

  • RELATIONSHIP THERMOMETER : 관계 온도계
  • SENTIMENT ANALYS : 감정 분석
  • TOTAL RECALL: 특정 토픽에 대해서 이야기한 내용을 모두 검색 및 토픽에 대해서 특정 시점의 내 생각을 검색

예비 결론

  • 오디오 + 콘텍스트가 필요
  • 이걸 통해 얻게되는 잠재력은 긍정적/부정적 양쪽으로 엄청남
    • 긍정적 : 퍼펙트 메모리, 개인 심리학자/코치, 나의 가상 클론
    • 부정적 : 위와 같은 것들이 다른 사람의 손에 있다는 것
  • 유토피아와 디스토피아의 차이점은 누가 그 정보에 접근할 수 있냐는 것

”유토피아와 디스토피아의 차이점은 누가 그 정보에 접근할 수 있냐는 것“ 좋은 말이네요.

매력적입니다. 충분히 현실화가 가능할 것 같습니다.
VLog 처럼 때로 모범적인 일상을 공유해서 나누는 콘텐츠도 가능하겠습니다.

HN에 저자가 직접 올리고 댓글도 달았네요 https://news.ycombinator.com/item?id=33608437
사용한 마이크의 알리익스프레스 링크도 포함합니다 ㅎ

Whisper - OpenAI가 오픈소스로 공개한 다국어 음성 인식 시스템(ASR)