embedchain - 아무 데이터셋을 이용한 LLM 기반 봇 만들기
(github.com/embedchain)- 데이터셋 로딩/청킹/임베딩 생성/벡터 저장등의 전체 과정을 추상화
-
.add
또는.add_local
함수로 간단히 한개/여러개의 데이터셋을 추가하고.query
함수로 해당 데이터셋에서 답변을 얻을 수 있음 - OpenAI 임베딩 모델과 ChatGPT를 LLM으로 사용
- 지원되는 데이터 포맷 : 유튜브 비디오, PDF 파일, 웹페이지, 텍스트, Q&A 쌍