Show GN: OneRAG - 챗봇PM이 만든, 설정 한 줄로 벡터DB/LLM 등이 교체 가능한 RAG 소스
(github.com/notadev-iamaura)비개발자로서 챗봇 관련 프로덕트를 여러번 진행하며, 어느순간부터는 내가 생각한대로 프로덕트를 만들어 보고 싶었습니다.
그래서 크몽에서 챗봇 개발을 시작했습니다.
비개발자 크몽 프로젝트들이 요즘 많은데, 저도 RAG챗봇 원툴로 작년 9월부터 5개월 간 약 1,400만원의 수익을 만들어봤습니다.
의뢰자의 요구사항들은 대동소이하고, 조금씩 다른 RAG 파이프라인, 백터DB 활용 등에 대응해서 코드를 수정해야하는게 번거로워서 OneRAG를 만들었습니다.
핵심 아이디어: 설정 파일 한 줄만 바꾸면 어떤 컴포넌트든 교체 가능
지원 컴포넌트:
- Vector DB: Weaviate, Chroma, Pinecone, Qdrant, pgvector, MongoDB
- LLM: Gemini, OpenAI, Claude, OpenRouter
- Reranker: Jina, Cohere, Google, OpenAI, Local
- Cache: Memory, Redis, Semantic
- Extra: GraphRAG, PII Mask, Agent
5분 퀵스타트:
git clone https://github.com/notadev-iamaura/OneRAG
cd OneRAG && make quickstart
FastAPI 기반, Docker Compose 포함, 한국어 NLP 기본 지원합니다.
(한국 AI 서비스 쪽에서 일해왔습니다)
MIT 라이선스. 아키텍처 피드백이나 어떤 컴포넌트 추가하면 좋을지 의견 주시면 감사하겠습니다.
최근 어렴풋하게 저도 이런 서비스가 필요하다고 느끼고 있었습니다. 혹시 zhipu의 GLM이나 kimi같은 중국 모델을 추가할 생각이 있으신지 궁금합니다.
의견 감사합니다!
현재도 오픈라우터를 기반으로 모델호출을 할 수 있기에, 오픈라우터 기반 호출설정을 하시면 모델명만 바꿔서 말씀하신 모델 호출이 가능합니다.
말씀하신 모델을 로컬에서 작동하도록 하는 구조라면 추후 업데이트를 하고자합니다.
다만, 시점은 한국어 RAG에 사용할 수준의 모델이라고 보인 후 일 것 같습니다.
그 전까지는 더 RAG를 처음 접하는 분들이 간단하게 실험할 수 있는 간소화된 파이프라인을 추가할 예정입니다.
예를들면 Grok Collections API 를 활용하여 더 적은 설정으로 더 간단하게 RAG를 할 수 있는 기능 등을 고려하고 있습니다 :)
답변 감사합니다 .오픈 라우터는 https://openrouter.ai/ 이 서비스 말씀하시는 것 인가요? 한국어 RAG에 사용할 수준의 모델이라고 말씀하신 부분은 제가 잘 모르는 내용이기는 한데 저는 GLM 4.7이 sonnet 4.5보다 제가 원하는 프롬프트에 일관되게 나은 한국어 답변을 해서 좀 신뢰가 올라간 상황입니다. 그래서 관심있게 봐주셔도 좋을 것 같습니다.
네, 맞습니다! 해당 링크의 오픈라우터 API 를 바탕으로 모델교체는 용이합니다.
(다만, 충전비용에 5% 가량 추가 비용이 발생해서 토이프로젝트 수준에서 편리하게 사용 가능합니다)
GLM4.7 성능도 실제 사용해보면서 체크하고, 적용할 수 있도록 계획해보겠습니다:)