- LlamaCloud: 새로운 세대의 관리형 파싱, 수집, 검색 서비스. LLM과 RAG 애플리케이션에 프로덕션급 Context-Augmentation을 제공하기 위해 설계됨
- LlamaParse: 표/그림 같은 객체가 포함된 복잡한 문서를 파싱하기 위한 기술. LlamaIndex 와 통합하여 복잡하고 반구조화된 문서에 대한 검색을 구축할 수 있게 함
- 관리형 수집 및 검색 API: 데이터를 쉽게 로드, 처리, 저장하고 어떤 언어에서든 사용할 수 있는 API를 제공. LlamaHub 와 LlamaParse 및 통합된 데이터 저장소를 기반으로 동작
RAG는 데이터의 질에 달려 있음
- LLM의 핵심은 구조화되지 않은 데이터 소스에 대한 지식 검색, 종합, 추출, 계획의 자동화임
- 이를 위해 데이터를 로드, 처리, 임베딩하고 벡터 데이터베이스로 로드하는 새로운 데이터 스택 Retrieval-Augmented Generation (RAG)이 등장
- RAG 스택은 기존 ETL 스택과 다르며, LLM 시스템의 정확성에 직접적인 영향을 미침
- 시작은 쉽지만 프로덕션급 RAG를 구축하는 것은 어려움
- 만족할 만한 결과를 생성하지 않음
- 조정할 매개변수의 수가 너무 많음
- PDF는 서식이 지저분해서 특히나 문제임
- 지속적으로 업데이트 되는 데이터의 동기화는 매우 어려움
- LlamaCloud와 LlamaParse는 RAG 애플리케이션을 더 빠르게 프로덕션에 투입하기 위해 데이터 파이프라인으로 구축됨
LlamaParse
- LlamaParse는 복잡한 PDF 문서에 내장된 표와 차트를 RAG로 해석할 수 있게 하는 최첨단 파서임
- 기존의 접근 방식으로는 불가능했던 복잡한 문서에 대한 질문에 답할 수 있게 함
관리형 수집 및 검색 API
- LlamaCloud의 다른 주요 제품으로, 성능이 좋은 데이터 파이프라인을 쉽게 선언하고 LLM 애플리케이션에 깨끗한 데이터를 제공할 수 있음
- 엔지니어링 시간 절약, 성능 향상, 시스템 복잡성 감소의 이점을 제공
출시 파트너 및 협력자
- LlamaParse는 다양한 파트너와 협력하여 LLM 및 AI 생태계에서 데이터스택, MongoDB, Qdrant, NVIDIA와 같은 스토리지 및 컴퓨팅 파트너십을 구축함.
FAQ
- LlamaCloud는 벡터 데이터베이스와 경쟁하지 않으며, 데이터 파싱 및 수집에 초점을 맞추고 있음. 인기있는 40개 이상의 벡터DB와 통합되어 있음
- 검색 계층은 기존 저장 시스템 위의 오케스트레이션임
다음 단계
- LlamaParse는 오늘부터 공개 프리뷰로 사용 가능하며, LlamaCloud는 제한된 기업 설계 파트너에게 개인 프리뷰로 제공됨