# Show GN: 가볍고 효율적인 RAG 모델 평가 코드 프로젝트

> Clean Markdown view of GeekNews topic #18501. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=18501](https://news.hada.io/topic?id=18501)
- GeekNews Markdown: [https://news.hada.io/topic/18501.md](https://news.hada.io/topic/18501.md)
- Type: show
- Author: [sigridjineth](https://news.hada.io/@sigridjineth)
- Published: 2024-12-30T16:45:55+09:00
- Updated: 2024-12-30T16:45:55+09:00
- Original source: [github.com/instructkr](https://github.com/instructkr/retriever-simple-benchmark)
- Points: 2
- Comments: 0

## Topic Body

**Retriever Simple Benchmark**는 **RAG*에 필요한 리랭커를 평가하기 위해 설계된 **가볍고 효율적인 벤치마크 프로젝트** 를 목표로 만들고 있습니다.  
제가 필요로 해서 만들고 있고 오픈소스로 개발 해봅니다.  
  
---  
  
##### Why?  
기존의 벤치마크 도구(예: MTEB)는 의존성 설치와 동작이 번거로워 사용이 어렵다는 피드백이 많았습니다.  
매우 쉽게, 최소한의 의존성으로, 가볍게 돌릴 수 있고, 즉시 바로 결과를 찍어보는 것을 목표로 합니다.  
  
---  
  
##### 리포지토리 소개  
- 한국어 기반 **cross-encoder**를 현재 지원하며, 추후 **bi-encoder** 모델도 추가할 예정입니다.  
- **Python 프로젝트를 유지 관리 가능하게 만들고**, 이를 **astral-uv**로 새롭게 작성했습니다.  
  
---  
  
###### 사용 방법 💻  
1️⃣ **환경 설정**  
```bash  
make init  
```  
  
2️⃣ **실행하기 (현재 싱글 GPU만 지원)**  
```bash  
make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG  
```  
  
---  
  
###### 앞으로의 계획 📈  
- **추가 지원 모델**  
  - HuggingFace와 FlagEmbedding 기반의 bi-encoder 모델  
   
- **추가 데이터셋**  
  - 현재 AutoRAG 지원, KURE 추가 예정  
  
---  
  
➡️ **[GitHub에서 프로젝트 확인하기](https://github.com/instructkr/retriever-simple-benchmark)**  
➡️ **[인스트럭트한국 디스코드 ](https://github.com/instructkr/retriever-simple-benchmark)**

## Comments



_No public comments on this page._