DwarFS - 높은 압축률의 읽기 전용 파일시스템
(github.com)- 중복된 데이터에 대해서 높은 압축률을 달성하는걸 목표
- SquashFS(리눅스 배포본에서 많이 사용하는 읽기전용 파일시스템) 보다 압축이 우수하고 파일 시스템 구축속도가 4배 빠름
- 파일 접근 속도가 빠르고 CPU도 적게 사용
- 유사성 해쉬함수를 사용한 파일 클러스터링
- 압축해제된 파일시스템 크기를 줄이기 위한 블록단위 세그먼트 분석. 압축된 파일시스템 사용시 메모리가 절약되어 캐시에 더 많은 데이터를 저장할수 있게되고 잠재적으로 더 높은 캐쉬 적중율을 보임
- 파일 시스템 생성 도구 및 FUSE 드라이버 모두에 고도의 다중 스레드 구현
- 커스텀 필터링 및 정렬 기능을 위해 Lua 지원
개발자는 수천개의 Perl 설치본 때문에 용량을 많이 먹어서 시작했다고 하는데.. (왜 그게 필요한지는 저도 잘..)
중복 파일이 많은 도커 이미지 / npm 저장소 용으로 쓰면 딱일듯한 파일 시스템 이네요