# RAG는 죽지 않았다

> Clean Markdown view of GeekNews topic #22032. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=22032](https://news.hada.io/topic?id=22032)
- GeekNews Markdown: [https://news.hada.io/topic/22032.md](https://news.hada.io/topic/22032.md)
- Type: news
- Author: [neo](https://news.hada.io/@neo)
- Published: 2025-07-17T10:31:01+09:00
- Updated: 2025-07-17T10:31:01+09:00
- Original source: [hamel.dev](https://hamel.dev/notes/llm/rag/not_dead.html)
- Points: 33
- Comments: 1

## Summary

기존의 **단순 벡터 기반 RAG 검색 구조**는 정보 손실 및 평가 한계로 인해 한계를 드러내고 있으며, 앞으로는 **사실 포괄성·다양성·문맥 관련성** 등을 반영한 **지시문 이해·추론 중심의 검색기**가 중요해집니다. 최근엔 단일 벡터 임베딩 대신, **토큰 단위 표현을 유지하는 레이트 인터랙션 모델**과 **목적별 다중 인덱스 및 스마트 라우팅 구조**가 좋은 성능을 보이며 새로운 표준으로 자리잡는 추세입니다. 이런 변화는 LLM에서 **더 큰 콘텍스트 윈도우** 대신 **검색기 혁신**이 실질적 성능 향상에 중요하다는 것을 보여줍니다.

## Topic Body

> RAG의 미래는 "**더 큰 컨텍스트 창**이 아니라, **더 나은 검색**에 있다"  
- "RAG Is Dead"라는 말은 **2023년식 단순 RAG 구현 방식**에만 해당되며, 진짜 문제는 정보 손실이 큰 **단일 벡터 기반 검색**임  
- 기존 IR 평가 지표는 RAG에 적합하지 않으며, **사실 포괄성·다양성·관련성**을 중심으로 한 **새로운 평가 기준**이 필요함  
- RAG의 검색기는 단순 매칭을 넘어 **지시문을 이해하고 추론 기반으로 관련 문서를 선택**하는 방식으로 진화 중임  
- **ColBERT 스타일의 레이트 인터랙션 모델**은 정보 압축 없이 토큰 단위 표현을 유지해 소형 모델이 대형 모델을 능가함  
- 완벽한 임베딩 하나를 찾는 대신, **다양한 표현을 위한 다중 인덱스와 스마트 라우팅 구조**가 새로운 표준이 되고 있음  
  
---  
  
### Why the future of RAG lies in better retrieval, not bigger context windows  
  
#### “RAG는 죽었다”는 주장에 대한 반박  
> Part 1. [I don’t use RAG, I just retrieve documents](https://hamel.dev/notes/llm/rag/p1-intro.html) - 단순 벡터 검색이 죽은 것이지, RAG 자체는 아님   
- Hamel과 Ben Clavié는 **RAG가 죽지 않았으며**, 오히려 **검색 구조가 진화할 시점**이라고 주장함  
- 벡터 DB에 문서를 넣고 코사인 유사도로 검색하는 방식은 오래됐고, 정보 손실이 큼  
- LLM은 학습 시점 이후 정보가 고정되므로, **검색 기반 정보 삽입(RAG)은 여전히 중요**  
- **콘텍스트 윈도우를 늘리는 것만으로는 모든 정보를 삽입하는 것은 비효율적임**  
  
#### 잘못된 평가 지표  
> Part 2. [Modern IR Evals For RAG](https://hamel.dev/notes/llm/rag/p2-evals.html) - 전통적인 IR 평가 지표가 RAG에 맞지 않음을 설명, FreshStack 제시  
- Nandan Thakur는 **전통적인 정보 검색(IR) 평가 지표가 RAG에 적합하지 않음**을 지적함  
  * BEIR와 같은 벤치마크는 1등 문서 탐색만을 최적화함  
  * **RAG는 사실 커버리지, 다양한 관점, 문맥 관련성** 등을 종합적으로 고려해야 함  
  * 이를 위한 새로운 평가 시스템으로 **FreshStack**을 제안함  
  
#### 추론하는 검색기  
> Part 3. [Optimizing Retrieval with Reasoning Models](https://hamel.dev/notes/llm/rag/p3_reasoning.html) - 지시문 이해 및 추론 가능한 검색기의 설계   
- Orion Weller의 Rank1 시스템은 검색기가 **"데이터 프라이버시에 대한 은유가 포함된 문서"** 처럼 복잡한 지시문을 이해함  
- 단순 유사도 계산이 아닌, **명시적인 추론 경로(reasoning trace)** 를 생성하여 관련성 판단 근거를 제공함  
- 기존 검색 시스템으로는 찾을 수 없는 문서를 **이해와 추론 기반으로 탐색 가능**  
  
#### 레이트 인터랙션 모델의 가능성  
> Part 4. [Late Interaction Models For RAG](https://hamel.dev/notes/llm/rag/p4_late_interaction.html) - ColBERT와 같은 구조로 정보 손실 없이 표현 유지  
- Antoine Chaffin은 ColBERT 같은 **Late Interaction 기반 모델**을 통해  
  * 문서를 단일 벡터로 압축하지 않고, **토큰 단위 정보를 유지**  
  * 그 결과, **150M 파라미터 모델이 7B 모델보다 추론 성능이 뛰어난 사례**도 존재함  
- **정보를 없애지 않고 보존하는 표현 구조**가 핵심  
  
#### 하나의 맵이 아닌 다중 맵 필요  
> Part 5. [RAG with Multiple Representations](https://hamel.dev/notes/llm/rag/p5_map.html) - 목적별 다중 인덱스를 통한 검색 성능 향상  
- Bryan Bischof와 Ayush Chaurasia는 하나의 임베딩만으로는 다양한 검색 목적을 충족할 수 없다고 지적  
  * 예: 그림 검색 시  
    * 문자 설명  
    * 시적 해석  
    * 유사 이미지  
      를 각각 다른 인덱스에서 찾는 구조  
- 결론: **완벽한 임베딩을 찾지 말고, 다양한 표현 방식에 맞춘 다중 인덱스 + 지능형 라우팅 시스템** 필요  
  
#### RAG의 미래 전략  
  
다음 네 가지가 RAG의 미래로 제시됨:  
  
- **사용 목적에 맞는 새로운 평가 기준** 구축  
- **지시문을 이해하고 추론하는 검색기**  
- 정보를 압축하지 않고 **그대로 표현하는 구조**  
- **다양한 목적별 인덱스를 조합하고 스마트하게 라우팅하는 방식**  
  
### Annotated Notes From the Series  
  
해당 시리즈는 5부작으로 구성되며, **주요 슬라이드에 타임스탬프를 달아서 요약** 제공. 각 Part 별 링크 참고   
  
| 파트                                                                 | 제목                                             | 설명                                           |  
| ------------------------------------------------------------------ | ---------------------------------------------- | -------------------------------------------- |  
| [Part 1](https://hamel.dev/notes/llm/rag/p1-intro.html)            | **I don’t use RAG, I just retrieve documents** | 단순 벡터 검색이 죽은 것이지, RAG 자체는 아님                 |  
| [Part 2](https://hamel.dev/notes/llm/rag/p2-evals.html)            | **Modern IR Evals For RAG**                    | 전통적인 IR 평가 지표가 RAG에 맞지 않음을 설명, FreshStack 제시 |  
| [Part 3](https://hamel.dev/notes/llm/rag/p3_reasoning.html)        | **Optimizing Retrieval with Reasoning Models** | 지시문 이해 및 추론 가능한 검색기의 설계                      |  
| [Part 4](https://hamel.dev/notes/llm/rag/p4_late_interaction.html) | **Late Interaction Models For RAG**            | ColBERT와 같은 구조로 정보 손실 없이 표현 유지               |  
| [Part 5](https://hamel.dev/notes/llm/rag/p5_map.html)              | **RAG with Multiple Representations**          | 목적별 다중 인덱스를 통한 검색 성능 향상                      |

## Comments



### Comment 41546

- Author: ide127
- Created: 2025-07-18T13:15:27+09:00
- Points: 1

"완벽한 임베딩을 찾지 말고, 다양한 표현 방식에 맞춘 다중 인덱스 + 지능형 라우팅 시스템"  
  
그게 쉬운게 아니니까...