LLaVaVision - llama.cpp/llava로 만든 "Be My Eyes" 웹앱

• 시각장애인을 위해 자원봉사자와 연결해서 화면을 읽어주는 "Be My Eyes" 서비스를 AI로 비슷하게 구현
• 멀티모달 백엔드를 통해서 영상을 보고 어떤 것인지 실시간으로 설명해주는 웹앱
• 오픈소스 멀티모달 모델인 SkunkworksAI의 BakLLaVA-1 모델을 llama.cpp 로 실행하며 음성은 Web Speech API로 출력

[botplaysdice]

와, 이런거 보면 엔지니어라는게 뿌듯합니다. 시각장애인들한테 정말 많은 도움이 될것 같네요.

[hi098123]

유튜버 원샷한솔이 사용한 '설리번 플러스'라는 앱도 있습니다.
텍스트 인식 뿐 아니라 사물의 특징까지 파악되는거 같더라고요
https://youtu.be/EAKGU-uW6Ek
https://www.mysullivan.org/

[xguru]

Be My Eyes - 시각장애인에게 시력을 주세요
MS의 이미지 캡셔닝 AI가 사람처럼 사진을 묘사하기 시작

[hero512]

이런 소식 너무 반갑네요 ㅎㅎ 제 딸이 시각장애인이라서요