# DeepSeek, 3FS 파일시스템 과 Smallpond 데이터 처리 프레임워크 오픈소스 공개 (5 of 5)

> Clean Markdown view of GeekNews topic #19489. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=19489](https://news.hada.io/topic?id=19489)
- GeekNews Markdown: [https://news.hada.io/topic/19489.md](https://news.hada.io/topic/19489.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2025-02-28T14:07:30+09:00
- Updated: 2025-02-28T14:07:30+09:00
- Original source: [github.com/deepseek-ai](https://github.com/deepseek-ai/3FS)
- Points: 6
- Comments: 0

## Summary

Fire-Flyer File System(3FS)는 AI 학습 및 추론 워크로드를 처리하기 위해 설계된 고성능 분산 파일 시스템으로, 최신 SSD 및 RDMA 네트워크를 활용하여 공유 스토리지 계층을 제공하고 애플리케이션 개발을 단순화합니다. 3FS는 데이터 준비, 데이터 로더 최적화, 체크포인트 저장, KVCache 기반 추론 최적화 등 다양한 워크로드를 지원하며, 성능 테스트에서 높은 처리량을 기록했습니다. SmallPond는 DuckDB와 3FS 위에 구축된 경량 데이터 프로세싱 프레임워크로, 고성능 데이터 처리와 대규모 데이터셋 지원, 간편한 운영이 특징입니다.

## Topic Body

- Fire-Flyer File System(3FS)는 AI 학습 및 추론 워크로드를 처리하기 위해 설계된 고성능 분산 파일 시스템  
- 최신 SSD 및 RDMA 네트워크를 활용하여 공유 스토리지 계층을 제공하고, 분산 애플리케이션 개발을 단순화함  
  
### 주요 특징 및 장점  
- 성능 및 사용성  
  - **분리형 아키텍처**: 수천 개의 SSD 및 수백 개의 스토리지 노드 네트워크 대역폭을 결합하여 지역성에 관계없이 스토리지 리소스에 접근 가능  
  - **강력한 일관성 보장**: Chain Replication with Apportioned Queries(CRAQ)를 사용하여 일관성을 유지하여, 애플리케이션 코드를 단순화함  
  - **파일 인터페이스 지원**: FoundationDB 기반의 트랜잭션 키-값 저장소를 활용한 상태 없는 메타데이터 서비스 제공. 기존 파일 인터페이스를 사용하므로 새로운 스토리지 API 학습 불필요  
- 다양한 워크로드 지원  
  - **데이터 준비**: 데이터 분석 파이프라인의 출력을 계층형 디렉터리 구조로 정리하고, 대량의 중간 출력을 효율적으로 관리  
  - **데이터 로더 최적화**: 데이터셋을 사전 로드하거나 섞을 필요 없이, 여러 컴퓨트 노드에서 학습 샘플에 랜덤 접근 가능  
  - **체크포인트 저장**: 대규모 학습을 위한 고속 병렬 체크포인트 저장 지원  
  - **KVCache 기반 추론 최적화**: DRAM 기반 캐싱보다 비용 효율적이며 높은 처리량과 대용량 저장 가능  
  
### 성능 테스트  
- 최대 처리량 테스트  
  - 180개의 스토리지 노드(각각 2×200Gbps InfiniBand NIC 및 16개 14TiB NVMe SSD 장착)  
  - 500개 이상의 클라이언트 노드(각각 1×200Gbps InfiniBand NIC 장착)  
  - AI 학습 작업과 병렬로 실행한 읽기 부하 테스트에서 총 6.6TiB/s의 처리량 기록  
- GraySort 벤치마크 테스트  
  - 25개 스토리지 노드(각 노드당 2개 NUMA 도메인, 2×400Gbps NIC)  
  - 50개 컴퓨트 노드(192개 물리 코어, 2.2TiB RAM, 1×200Gbps NIC)  
  - 110.5TiB 데이터(8,192개 파티션)를 30분 14초 만에 정렬, 평균 처리량 *3.66TiB/min* 달성  
- KVCache 성능 테스트  
  - 대규모 언어 모델(LLM) 추론 과정에서 키-값 벡터 캐싱을 통해 불필요한 연산 최소화  
  - 피크 읽기 처리량 40GiB/s 기록  
  - Garbage Collection(GC) 실행 중 삭제 작업(IOPS) 성능 분석 포함  
  
### [SmallPond - DuckDB와 3FS위에 구축된 경량 데이터 프로세싱 프레임워크](https://github.com/deepseek-ai/smallpond)  
- 고성능 데이터 처리, 대규모 확장성, 간단한 운영이 특징  
  - **고성능 데이터 처리**: DuckDB를 활용하여 빠른 데이터 처리  
  - **대규모 데이터셋 지원**: 페타바이트(PB) 규모 데이터 처리 가능   
  - **운영 간편성**: 장기 실행 서비스 없이 손쉽게 사용  
  
### [DeepSeek Open Infra 로 공개되는 5개 오픈소스](https://news.hada.io/topic?id=19359) 중 5번째 임

## Comments



_No public comments on this page._