- LLM Application 스택의 "다양한 조합을 쉽게 테스트"하고 "원하는 목표에 빠르게 도달"할 수 있도록 "신속한 실험"을 위한 App 개발 구조를 제공
- 모델, 프롬프트, 컨텍스트, 비즈니스 로직, 아키텍처 등의 다양한 조합으로 쉽게 교체할 수 있는 모듈식 LLM Application 또는 Workflow를 만들 수 있음
- 많은 실험을 수행하고 데이터를 사용하여 Application 성능을 객관적으로 평가하여 정확도를 향상
- Docker 이미지로 다른 클라우드 제공업체에 배포 가능
- REST API 또는 SDK를 통해 LLM Application 또는 Workflow를 다른 서비스와 통합할 수 있음
- Palico Studio를 통해 LLM Application을 관리할 수 있음
LangChain 같은 라이브러리와 Palico와의 차이점
- LangChain과 LlamaIndex는 LLM 개발에서 다양한 작업을 수행하는 데 도움이 되는 라이브러리에 가까움. 예를 들어 다른 LLM 제공업체와 연결, 백터 데이터베이스 연결, Evaluation 생성 등을 위한 도구를 제공함. LLM 개발에서 다양한 작업을 수행하는 데 도움이 되는 만능 도구와 같음. 이러한 도구를 사용하여 최대 생산성을 위한 LLM Application 개발을 구조화하는 것은 사용자에게 달려 있음
- Palico는 LLM Application 개발을 구조화하는 방법에 대해 강력한 의견(opinion)을 가지고 있는 프레임워크(라이브러리가 아님). Palico의 의견은 "신속한 실험을 통한 정확도 향상"에 치우쳐 있음. Palico 프레임워크를 사용하면 LLM Application을 구축하고, 정확도를 측정하며, 실험을 실행할 수 있는 표준 프로세스와 통합된 도구 세트를 제공함
- Palico는 프레임워크이고 LangChain이나 LlamaIndex는 라이브러리이기 때문에, LLM 모델 호출이나 RAG 계층 관리와 같은 작업에 LangChain이나 LlamaIndex를 직접 사용할 수 있으며, 실험 프로세스를 간소화하기 위해 Palico 프레임워크를 사용할 수 있음
Evaluation 라이브러리와 Palico와의 차이점
- Evaluation 프레임워크는 LLM Application의 응답을 평가하는 데 도움이 되는 도구에 불과함. 독점적인 관찰 가능성 및 추적 도구를 제공할 수 있음. 그러나 신속한 실험을 위해 LLM Application 개발을 구조화하는 데 도움이 되지 않음. LLM Application 구축이나 배포에 도움이 되지 않음. Evaluation 프레임워크를 사용할 때 사용자는 팀 간에 실험 프로세스 확장을 돕는 자체 실험 관리 시스템을 구축해야 함. LLM Application 전체 모습을 파악하기 위해 통합해야 할 많은 단편화된 도구가 있음
- Palico는 LLM Application을 구축하고, 실험 확장 및 배포를 돕는 보다 통합된 프레임워크임. LLM Application 작업을 위한 보다 통합된 환경을 제공함