# LLaVaVision - llama.cpp/llava로 만든 "Be My Eyes" 웹앱

> Clean Markdown view of GeekNews topic #11729. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=11729](https://news.hada.io/topic?id=11729)
- GeekNews Markdown: [https://news.hada.io/topic/11729.md](https://news.hada.io/topic/11729.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-11-07T10:34:27+09:00
- Updated: 2023-11-07T10:34:27+09:00
- Original source: [github.com/lxe](https://github.com/lxe/llavavision)
- Points: 13
- Comments: 4

## Topic Body

- 시각장애인을 위해 자원봉사자와 연결해서 화면을 읽어주는 "Be My Eyes" 서비스를 AI로 비슷하게 구현   
- 멀티모달 백엔드를 통해서 영상을 보고 어떤 것인지 실시간으로 설명해주는 웹앱   
- 오픈소스 멀티모달 모델인 SkunkworksAI의 BakLLaVA-1 모델을 llama.cpp 로 실행하며 음성은 Web Speech API로 출력

## Comments



### Comment 20421

- Author: botplaysdice
- Created: 2023-11-08T03:31:34+09:00
- Points: 1

와, 이런거 보면 엔지니어라는게 뿌듯합니다. 시각장애인들한테 정말 많은 도움이 될것 같네요.

### Comment 20420

- Author: hi098123
- Created: 2023-11-08T02:54:55+09:00
- Points: 1

유튜버 원샷한솔이 사용한 '설리번 플러스'라는 앱도 있습니다.  
텍스트 인식 뿐 아니라 사물의 특징까지 파악되는거 같더라고요  
https://youtu.be/EAKGU-uW6Ek  
https://www.mysullivan.org/

### Comment 20412

- Author: xguru
- Created: 2023-11-07T10:34:33+09:00
- Points: 1

[Be My Eyes - 시각장애인에게 시력을 주세요](https://news.hada.io/topic?id=3591)  
[MS의 이미지 캡셔닝 AI가 사람처럼 사진을 묘사하기 시작](https://news.hada.io/topic?id=3052)

### Comment 20413

- Author: hero512
- Created: 2023-11-07T10:49:38+09:00
- Points: 1
- Parent comment: 20412
- Depth: 1

이런 소식 너무 반갑네요 ㅎㅎ 제 딸이 시각장애인이라서요