4P by xguru 2023-08-19 | favorite | 댓글과 토론
  • 기본 철학은 "Pytest for LLM"
  • 프로덕션 전환을 위해, LLM 파이프라인에 대한 오프라인 평가를 실행하는 파이썬스러운 방법을 제공
  • 파이썬 유닛 테스트 작성하듯이 LLM 어플리케이션(RAG 같은)용 테스트를 작성 가능
  • assert_llm_output 을 통해서 entailment / exact / bertscore 등의 메트릭으로 답변을 평가
  • 커스텀 메트릭 설정 및 기존 메트릭 수정도 가능