sqlite-vec - SQLite용 벡터 검색 확장

(github.com/asg017)

매우 작고 "충분히 빠른" SQLite용 벡터 검색 확장
vec0 가상 테이블에 float, int8, 바이너리 벡터 저장 및 쿼리 가능
순수 C로 작성되어 종속성이 없으며, SQLite가 실행되는 모든 곳에서 실행됨 : Linux/MacOS/Windows, 브라우저(WASM), 라즈베리 파이 등
rowid IN(...) 서브 쿼리로 벡터를 Pre-filtering 가능
sqlite-vss의 후속작임

SQLite 벡터 검색 확장 기능 개발 중 3달전에 이런 글이 올라왔는데 이번에 공개했네요

sqlite-vec는 MacOS, Linux, Windows, Raspberry Pis, WASM 브라우저, 모바일 장치에서 작동함
- 매우 빠른 브루트 포스 벡터 검색 솔루션임
- 실험적 기능으로 메모리 내 벡터를 직접 쿼리할 수 있음
- faiss, usearch, duckdb와 경쟁할 수 있는 성능을 가짐
Alex의 블로그 포스트에서 더 많은 세부 정보를 확인할 수 있음
- 링크: https://alexgarcia.xyz/blog/2024/sqlite-vec-stable-release/index.html
비디오 게임에서 사용해봤는데 매우 훌륭했음
이와 비슷한 것을 찾고 있었음. 추천 엔진, 음악 매칭, 인식 해시 매칭에 유용함
duckDB를 백엔드로 사용한 유사한 작업을 해봤음
- 링크: https://github.com/patricktrainer/duckdb-embedding-search
이 프로젝트를 매우 좋아함
- 의존성 문제를 해결하는 데 많은 노력이 필요했을 것임
- 자신의 프로젝트에서 사용해보고 싶음
이 기능을 사용할 사례가 있음
- AlexG가 많은 노력을 기울인 것에 감사함
- 문서도 매우 좋음
관련 링크: https://news.ycombinator.com/item?id=40243168
현재 postgreSQL과 pgvector를 사용하는 RAG 튜토리얼을 진행 중임
- SQLite와 sqlite-vec로 재현해볼 수 있을 것 같음
- 링크: https://lycee.ai/courses/91b8b189-729a-471a-8ae1-717033c77eb5/…
이 기능이 유용할 것 같음. 노트북에서 많은 일회성 텍스트 분석을 하고 있음