DeepEval - LLM을 위한 유닛 테스팅
(github.com/mr-gpt)- 기본 철학은 "Pytest for LLM"
- 프로덕션 전환을 위해, LLM 파이프라인에 대한 오프라인 평가를 실행하는 파이썬스러운 방법을 제공
- 파이썬 유닛 테스트 작성하듯이 LLM 어플리케이션(RAG 같은)용 테스트를 작성 가능
- assert_llm_output 을 통해서 entailment / exact / bertscore 등의 메트릭으로 답변을 평가
- 커스텀 메트릭 설정 및 기존 메트릭 수정도 가능