- LLM앱용 DataDog + PostHog 으로 빠르고 안정적이며 확장 가능하도록 설계됨
- LLM 데이터를 Trace, Evaluate, Label, Analyze
- RabbitMQ(메시지큐) + Postgres(스토리지) + Clickhouse(분석) + Qdrant(시맨틱 검색) 로 구성된 Rust 기반 스택
Laminar의 차별점
- LLM 호출뿐만 아니라 전체 실행 추적(execution trace)을 처리하는 데 중점을 둠
- OpenTelemetry 기반 계측: 단 2줄의 코드 + 데코레이터로 LLM/벡터 DB 호출을 자동으로 수행하고 함수를 추적함
- GenAI 시맨틱 규칙을 사용하여 OpenTelemetry (Otel) span을 위한 Rust 수집기를 구축
- 시맨틱 이벤트 기반 분석
- Laminar는 LLM 파이프라인의 백그라운드 작업 대기열을 호스팅하고, 파이프라인의 출력은 메트릭으로 전환됨
- "시맨틱 메트릭"(AI 에이전트가 실제로 말하는 내용 등)을 추적하고 추적 내 발생 위치와 연결할 수 있음
- 핵심 앱 로직과 LLM 이벤트 처리를 분리
Pipeline Builder
- LLM 및 유틸리티 함수를 노드로, 데이터 흐름을 에지로 표현하는 그래프 UI를 사용함
- 병렬 브랜치 실행, 사이클, 브랜치를 지원하는 사용자 정의 작업 실행 엔진을 구축함
- 파이프라인을 API 엔드포인트로 직접 호출할 수 있음
- Laminar는 파이프라인을 직접 추적하여 네트워크를 통해 대량의 출력을 전송하는 오버헤드를 제거함
추적 검색 기능
- 각 span을 벡터 DB에 색인화하고 쿼리 시점에 하이브리드 검색을 수행함
- 이 기능은 아직 베타 버전이지만 향후 플랫폼의 중요한 부분이 될 것임
평가 기능
- "모든 것을 로컬에서 실행하고 결과를 서버로 전송"하는 Braintrust 및 Weights & Biases의 접근 방식을 채택함
- 간단한 SDK와 좋은 대시보드로 모든 것을 추적할 수 있음
- 평가 기능은 아직 초기 단계이지만 적극적으로 추진하고 있음
Laminar의 목표
- LLM/GenAI의 모든 것을 위한 표준 오픈 소스 종합 플랫폼인 "LLMOps를 위한 Supabase"가 되는 것임