Show GN: AutoRAG: 자동으로 최적의 RAG 파이프라인을 찾아주는 자동화 툴

• AutoRAG는 ML을 자동으로 최적화 해주는 AutoML처럼 RAG를 자동으로 최적화 해줌
• 수천개의 문서(pdf, 워드 등)들 내에서 검색을 통해 LLM이 모르는 지식에 대해서도 답변할 수 있게 하는 RAG(Retrieval-Augmented Generation)가 많은 관심을 받고 있음.
• 실제 문서에서 높은 성능의 RAG 파이프라인을 구성하는 것은 어려움.
• RAG는 데이터와 목적에 따라 어울리는 조합이 모두 다르며 최적의 조합을 찾기 위해서는 많은 실험과 평가를 반복해야 함.
• RAG 파이프라인 조합은 AutoRAG에서 현재 지원하는 12개의 모듈에서만 960가지의 조합이 나올 정도로 다양함.
  (임베딩 및 언어모델은 조합에서 제외)
• AutoRAG는 ML을 자동으로 최적화 해주는 AutoML처럼 RAG를 자동으로 최적화 해줌
• YAML 파일을 간단히 수정하는 것 만으로 사용 가능.
• 찾은 최적의 RAG를 곧바로 fastAPI 서버로 실행하여 사용 가능.

---

RAG를 공부하고, 여러 파이프라인을 만들고 성능을 시험해 보며 느꼈던 가장 큰 어려움은 ‘데이터마다 최적화 하는 것’ 이었습니다.
학계에서는 매일 새로운 RAG 모듈이나 파이프라인을 제안하고 있지만, 힘들게 가져와 실제 데이터에 적용을 해보면 성능이 전혀 향상되지 않는 경우가 많았습니다. 또한, pdf와 같은 문서들에서 평가용 데이터셋을 구축하고, 여러 모듈로 실험하고 평가하는 과정이 귀찮고 힘들었습니다.

대부분의 RAG 개발팀이 같은 어려움을 겪을 것이라 예상이 되어 저희 팀에서 오픈소스로 AutoRAG를 만들었습니다. 깃허브와 저희의 Docs를 보시고 따라하시면 쉽게 이용하실 수 있을 것입니다.

RAG를 기존에 열심히 만들고 계셨던 분들도, 새롭게 RAG에 입문하시는 분들도 모두 만족하며 사용하실 수 있을 것입니다!