▲GN⁺ 2024-05-04 | parent | ★ favorite | on: SQLite 벡터 검색 확장 기능 개발 중(alexgarcia.xyz)Hacker News 의견 저자가 직접 댓글에 참여하며 새로운 프로젝트인 sqlite-vec에 대해 소개하고 있음. 아직 개발 중이지만 몇 주 내로 v0.1.0을 목표로 하고 있음. 이전에 개발했던 sqlite-vss의 후속 프로젝트 성격임. sqlite-vec은 임베디드 벡터 검색에 최적화된 라이브러리로, 다양한 OS와 모바일, 라즈베리파이 등에서 동작 가능함. 저자는 Beepy라는 시맨틱 검색 앱에 sqlite-vec을 적용해보고 있음. 768차원 벡터를 96바이트에 어떻게 저장하는지에 대한 질문이 있었음. 보통은 float64로 6144바이트가 필요한데, 압축이나 근사값 저장 등의 기법이 궁금하다는 반응임. sqlite-vss를 사용해봤던 개발자가 RAG 모델 개발에 도움이 되었다며 감사 인사를 전함. 우분투 환경에서 잘 동작했다고 함. DuckDB에서도 유사한 벡터 유사도 검색 익스텐션을 최근 공개함. Qdrant 벡터 DB를 활용한 AI RAG 앱 개발 경험을 얘기하며, sqlite-vec 활용에 대한 기대감을 나타냄. SQLite의 public API만 사용할 것인지, amalgamation에 직접 통합될 것인지 궁금해 함. 웹어셈블리 바인딩 관점에서 배포 방식에 대한 고민을 얘기함. OSS 프로젝트가 특정 니즈에 부합하는 걸 좋아한다는 댓글. 타입스크립트 생태계에서 활용 가능한 아이디어를 고민 중이라고 함. 몇 달 전 sqlite-vss 이슈에 대한 해결책이 될 수 있을 것 같다는 반응. 모든 피쳐 벡터의 차원 수를 어떻게 일치시키는지 궁금해 함. 문자열을 float으로 변환해 저장하는 것 같은데, 해밍 거리 계산시 길이가 다른 벡터도 고려되는지 확인 필요함. README 문서 기반 개발 방식으로 보인다는 의견. 문서 작성부터 시작했는지 궁금해 함.
Hacker News 의견