▲Lance - ML 워크플로우에 최적화된 최신 Columnar 데이터 포맷 (github.com/lancedb)13P by xguru 2023-06-07 | ★ favorite | 댓글과 토론 Parquet 에서 2줄의 코드로 변환되며, 100배 빠른 랜덤 억세스, 벡터 인덱스/검색, 데이터 버저닝등을 지원 pandas, duckdb, polars, pyarrow 등과 호환 제로 카피, 자동 버저닝 최적 용도 검색엔진 및 피쳐 스토어 작성 고성능의 IO 와 셔플을 필요로 하는 대형 ML 모델 훈련 로보틱스, 대형 Blob(이미지, Point-cloud,..) 등의 복잡한 중첩 데이터를 저장/쿼리/조사 함께 보면 좋은 글 β Vortex - 고성능 Columnar 파일 포맷 FastLanes – 차세대 빅데이터 파일 포맷 DuckDB가 데이터 처리할 때 나의 첫 번째 선택인 이유 DuckLake - 통합 데이터 레이크 및 카탈로그 포맷 Malloy - 데이터 관계/변환/모델링을 위한 모던 오픈소스 언어 댓글과 토론 인증 이메일 클릭후 다시 체크박스를 눌러주세요