- 8192개의 토큰 길이를 지원하는 텍스트 임베딩 모델 jina-embeddings-v2
- OpenAI의 text-embedding-ada-002와 경쟁하며, 벤치마크에서 분류/재순위/검색/요약 등에서 더 좋은 성능을 보임
- 밑바닥부터 다시 만들어졌으며, 8k 컨텍스트로 다양한 분야에 이용가능 : 법률문서 분석, 의학연구, 문학 분석, 재무 예측, 대화형 AI 등
- HuggingFace에서 2개의 모델을 다운로드 가능
- Base Model (0.27G) : 학술 연구나 비즈니스 분석과 같이 높은 정확도가 요구되는 고강도 작업에 적합하도록 설계
- Small Model (0.07G) : 컴퓨팅 리소스가 제한된 모바일 앱이나 디바이스와 같은 경량 애플리케이션을 위해 제작
Hacker News 의견
- Jina AI가 오픈소스 8k 텍스트 임베딩 모델을 출시하였습니다.
- 일부 사용자들은 이 모델의 성능에 의문을 제기하며, 리더보드에서 OpenAI 임베딩 및 기타 14개 기여작보다 낮은 순위를 차지했다고 지적합니다.
- 8k 컨텍스트 윈도우는 새로운 기능이지만, 특히 512 토큰 제한을 고려할 때, 일부 사용자들은 그 유용성에 의문을 제기합니다.
- 대부분의 벤치마크가 작은 문서를 다루는 반면, 더 큰 문서에서의 모델 성능에 대한 의구심이 있습니다.
- 일부 사용자들은 오픈소스 커뮤니티가 "Open"AI와의 격차를 줄이는 것에 대해 흥분을 표현합니다.
- 새 모델의 임베딩 벡터는 text-embedding-ada-002의 절반 크기(768 대 1536)로, 데이터베이스 공간을 절약하고 조회를 더 빠르게 할 수 있습니다.
- 8k 토큰 임베딩의 사용 사례에 대한 의문이 제기되며, 일부 사용자들은 이것이 RAG에는 크게 유용하지 않을 수 있다고 제안합니다.
- 한 사용자는 onnx 사용을 위해 모델을 양자화하여 transformers.js에서 파일 크기를 4배 줄였습니다.
- OpenAI의 모델과 비교되며, 이는 다국어 지원이 가능하고 다른 언어에서 동일한 의미에 대해 동일한 좌표를 계산합니다.
- 새로운 llm-embed-jina 플러그인이 LLM 도구에 배포되었으며, 이를 통해 새로운 Jina 모델에 접근할 수 있습니다.
- 일부 사용자들은 이 작업에 감명을 받았지만, 8k 임베딩을 가장 잘 사용하는 방법에 대해 의문을 제기하며, 이것이 대략적인 유사성 매칭이나 표절 탐지에 유용할 수 있다고 제안합니다.
- 칩 수출 제한 및 미국/중국 간의 긴장으로 인해, 베를린과 중국에 사무소를 두고 있는 Jina AI의 운영에 대한 우려가 있습니다.