Show GN: 가볍고 효율적인 RAG 모델 평가 코드 프로젝트
(github.com/instructkr)Retriever Simple Benchmark는 **RAG*에 필요한 리랭커를 평가하기 위해 설계된 가볍고 효율적인 벤치마크 프로젝트 를 목표로 만들고 있습니다.
제가 필요로 해서 만들고 있고 오픈소스로 개발 해봅니다.
Why?
기존의 벤치마크 도구(예: MTEB)는 의존성 설치와 동작이 번거로워 사용이 어렵다는 피드백이 많았습니다.
매우 쉽게, 최소한의 의존성으로, 가볍게 돌릴 수 있고, 즉시 바로 결과를 찍어보는 것을 목표로 합니다.
리포지토리 소개
- 한국어 기반 cross-encoder를 현재 지원하며, 추후 bi-encoder 모델도 추가할 예정입니다.
- Python 프로젝트를 유지 관리 가능하게 만들고, 이를 astral-uv로 새롭게 작성했습니다.
사용 방법 💻
1️⃣ 환경 설정
make init
2️⃣ 실행하기 (현재 싱글 GPU만 지원)
make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG
앞으로의 계획 📈
-
추가 지원 모델
- HuggingFace와 FlagEmbedding 기반의 bi-encoder 모델
-
추가 데이터셋
- 현재 AutoRAG 지원, KURE 추가 예정