21P by xguru 2023-01-12 | favorite | 댓글 1개
  • FastCDC(Content Defined Chunking) 을 이용해 빠르고 효율적으로 동작
  • 구글 Stadia 에서 사용하던 도구
    • 보통 게임 개발자가 윈도우에서 개발을 하고, 리눅스 머신에서 실행해야함
    • 이때 빠른 복사를 위해서 만든 cdc_rsync, cdc_stream 오픈소스 도구
  • CDC RSync
    • 기존 rsync와 유사하지만 3배 정도 빠르게 동기화
    • CDC 기반 원격 diff 알고리듬이 최대 30배 정도까지 빠름
    • 타임스탬프/파일크기가 같다면 스킵
    • 모든 데이터 전송에 빠른 압축을 사용
    • 파일이 변경되었다면, 어떤 부분이 변경되었는지 확인하고 변경된 부분만 전송
  • CDC Stream
    • 컨셉적으로는 sshfs와 유사하지만 읽기속도를 위해 최적화. 약 2배에서 5배까지 속도 향상
    • 리눅스 기기에서 스트림된 데이터를 캐쉬
    • 윈도우에서 파일이 변경된후 리눅스에서 새로 읽게되면, 변경된 부분만 스트리밍 되고 나머지는 캐쉬에서 읽음
    • 디렉토리 메타데이터가 스트리밍 친화적인 방식으로 동작해서 Stat 오퍼레이션이 매우 빠름

로그파일 관리하며 rsync 많이 쓰는데 더 빠르다니 관심이 가네요.