25P by xguru 3달전 | favorite | 댓글 4개
  • Yann Collet가 만든 zstd가 얼마나 쓸데없는 것을 줄여줬냐는 질문에 대해서, Adrian Cockcroft가 대답한 내용
  • S3의 Exabyte 규모에서 30%는 엄청난 규모의 비용 절감임
  • 트위터도 HDFS에서 zstd로 바꾸면서 매년 수백억원(~ mid 8 figs/yr)을 절감했다고

zstd 엄청나군요!

링크에 압축성능 비교자료가 있어서 공유합니다.
https://github.com/facebook/zstd

오늘 zstd 처음 사용해봤습니다.
mac에 기본 내장되어있었군요.

압축하기: "zstd file" => file.zst
압축풀기: "unzstd file.zst" => file

우버 또한 GZIP/SNAPPY에서 ZSTD로 변경했습니다.
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/