sisi - 로컬 시맨틱 이미지 검색 CLI 도구

• 써드파티 API 없이 로컬에서 시맨틱 이미지 검색을 하는 CLI
• Node.js 용 머신러닝 프레임워크인 node-mlx 기반으로 이미지 임베딩 인덱스를 생성하고 검색함
• 지원 플랫폼
  • GPU : 애플실리콘 맥
  • CPU : x64 맥, x64/arm64 리눅스
• sisi index <target> 로 특정 폴더의 이미지에 대한 인덱스 생성
• sisi search 'cat jumping' 으로 특정 내용을 포함한 이미지 검색

작동 방식

• 인덱스는 OpenAI의 CLIP 모델을 이용하여 이미지 임베딩을 계산한 뒤에, binary JSON으로 저장됨
• 이미지 검색은 쿼리 문자열과 색인된 임베딩 간의 코사인 유사도를 계산
• 데이터베이스가 없으며, 검색을 할 때마다 저장된 모든 임베딩에 대해 계산이 수행. 수만 장의 사진이 있어도 매우 빠름
• CLIP 모델의 자바스크립트 구현체는 frost-beta/clip을 이용