# CDC File Transfer - 윈도우 to 리눅스 파일 동기화 및 스트리밍 도구

> Clean Markdown view of GeekNews topic #8236. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=8236](https://news.hada.io/topic?id=8236)
- GeekNews Markdown: [https://news.hada.io/topic/8236.md](https://news.hada.io/topic/8236.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-01-12T10:53:01+09:00
- Updated: 2023-01-12T10:53:01+09:00
- Original source: [github.com/google](https://github.com/google/cdc-file-transfer)
- Points: 21
- Comments: 1

## Topic Body

- FastCDC(Content Defined Chunking) 을 이용해 빠르고 효율적으로 동작   
- 구글 Stadia 에서 사용하던 도구   
  - 보통 게임 개발자가 윈도우에서 개발을 하고, 리눅스 머신에서 실행해야함   
  - 이때 빠른 복사를 위해서 만든 cdc_rsync, cdc_stream 오픈소스 도구   
- CDC RSync   
  - 기존 rsync와 유사하지만 3배 정도 빠르게 동기화   
  - CDC 기반 원격 diff 알고리듬이 최대 30배 정도까지 빠름   
  - 타임스탬프/파일크기가 같다면 스킵   
  - 모든 데이터 전송에 빠른 압축을 사용   
  - 파일이 변경되었다면, 어떤 부분이 변경되었는지 확인하고 변경된 부분만 전송   
- CDC Stream   
  - 컨셉적으로는 sshfs와 유사하지만 읽기속도를 위해 최적화. 약 2배에서 5배까지 속도 향상   
  - 리눅스 기기에서 스트림된 데이터를 캐쉬   
  - 윈도우에서 파일이 변경된후 리눅스에서 새로 읽게되면, 변경된 부분만 스트리밍 되고 나머지는 캐쉬에서 읽음   
  - 디렉토리 메타데이터가 스트리밍 친화적인 방식으로 동작해서 Stat 오퍼레이션이 매우 빠름

## Comments



### Comment 14325

- Author: popopo
- Created: 2023-01-19T13:55:15+09:00
- Points: 1

로그파일 관리하며 rsync 많이 쓰는데 더 빠르다니 관심이 가네요.