OpenLLMetry - LLM 어플리케이션을 위한 오픈소스 Observability
(github.com/traceloop)- LLM 애플리케이션에 대한 완벽한 통합 가시성을 제공
- 내부적으로 OpenTelemetry 기반이기 때문에 Datadog, New Relic, Grafana Tempo, Splunk 같은 기존 솔루션과도 연동 가능
- Instrumentation 가능
- LLM : OpenAI/Azure OpenAI, Anthropic, Cohre, HuggingFace, AWS Bedrock, Vertext AI, Replicate, IBM WatsonX
- Vector DB: Chroma, Pinecone, Qdrant, Weaviate, Milvus
- Frameworks: LangChain, LlamaIndex, Haystack, LiteLLM
- JS/TS 버전용 OpenLLMetry-JS도 별도로 제공