Lance - ML 워크플로우에 최적화된 최신 Columnar 데이터 포맷
(github.com/lancedb)- Parquet 에서 2줄의 코드로 변환되며, 100배 빠른 랜덤 억세스, 벡터 인덱스/검색, 데이터 버저닝등을 지원
- pandas, duckdb, polars, pyarrow 등과 호환
- 제로 카피, 자동 버저닝
- 최적 용도
- 검색엔진 및 피쳐 스토어 작성
- 고성능의 IO 와 셔플을 필요로 하는 대형 ML 모델 훈련
- 로보틱스, 대형 Blob(이미지, Point-cloud,..) 등의 복잡한 중첩 데이터를 저장/쿼리/조사