- RAG(추출-생성 혼합) 기반 QA를 위한 사용자 친화적 UI
- 문서에 대해 QA를 수행하려는 일반 사용자와 자신만의 RAG 파이프라인을 구축하려는 개발자를 위해 설계됨
- 다양한 LLM 지원: OpenAI, AzureOpenAI, Cohere와 같은 LLM API 제공자 및 로컬 LLM(
ollama, llama-cpp-python) 지원
- 간단한 설치: 빠르게 시작할 수 있는 스크립트 제공
- Gradio로 제작된 UI로 자신의 RAG 파이프라인 테스트 가능(테마 제공)
주요 기능
- 문서 QA 웹 UI 호스팅:
- 다중 사용자 로그인 지원
- 문서를 개인/공용 컬렉션으로 구성
- 채팅 기록을 공유 및 협업 가능
- LLM 및 임베딩 모델 관리:
- 로컬 LLM 및 OpenAI, Azure, Ollama, Groq 등 인기 API 제공자 지원
- 하이브리드 RAG 파이프라인:
- 기본값으로 하이브리드(전체 텍스트 및 벡터) 검색기와 재순위를 결합하여 최고의 검색 품질 보장
- 다중 모드 QA 지원:
- 도표와 표가 포함된 여러 문서에 대한 질문 답변 수행 가능
- UI에서 다중 모드 문서 파싱 옵션 선택 가능
- 고급 인용 및 문서 미리보기:
- 정확성을 보장하기 위해 세부적인 인용 정보 제공
- 브라우저 내 PDF 뷰어에서 하이라이트와 함께 인용 및 관련 점수 확인 가능
- 관련성이 낮은 문서를 반환할 경우 경고 표시
- 복잡한 추론 방식 지원:
- 질문 분해를 통해 복잡한/다단계 질문에 답변 가능
-
ReAct, ReWOO 및 기타 에이전트를 사용한 에이전트 기반 추론 지원
- 설정 UI 구성 가능:
- 검색 및 생성 프로세스의 주요 요소를 UI에서 직접 조정 가능(예: 프롬프트 설정)
- 확장 가능:
- Gradio를 기반으로 구축되어 UI 요소를 자유롭게 커스터마이징 가능
- 다양한 문서 색인 및 검색 전략 지원 예정.
GraphRAG 색인 파이프라인을 예제로 제공