DeepSeek, 3FS 파일시스템 과 Smallpond 데이터 처리 프레임워크 오픈소스 공개 (5 of 5)

(github.com/deepseek-ai)

주요 특징 및 장점

성능 및 사용성
- 분리형 아키텍처: 수천 개의 SSD 및 수백 개의 스토리지 노드 네트워크 대역폭을 결합하여 지역성에 관계없이 스토리지 리소스에 접근 가능
- 강력한 일관성 보장: Chain Replication with Apportioned Queries(CRAQ)를 사용하여 일관성을 유지하여, 애플리케이션 코드를 단순화함
- 파일 인터페이스 지원: FoundationDB 기반의 트랜잭션 키-값 저장소를 활용한 상태 없는 메타데이터 서비스 제공. 기존 파일 인터페이스를 사용하므로 새로운 스토리지 API 학습 불필요
다양한 워크로드 지원
- 데이터 준비: 데이터 분석 파이프라인의 출력을 계층형 디렉터리 구조로 정리하고, 대량의 중간 출력을 효율적으로 관리
- 데이터 로더 최적화: 데이터셋을 사전 로드하거나 섞을 필요 없이, 여러 컴퓨트 노드에서 학습 샘플에 랜덤 접근 가능
- 체크포인트 저장: 대규모 학습을 위한 고속 병렬 체크포인트 저장 지원
- KVCache 기반 추론 최적화: DRAM 기반 캐싱보다 비용 효율적이며 높은 처리량과 대용량 저장 가능

최대 처리량 테스트
- 180개의 스토리지 노드(각각 2×200Gbps InfiniBand NIC 및 16개 14TiB NVMe SSD 장착)
- 500개 이상의 클라이언트 노드(각각 1×200Gbps InfiniBand NIC 장착)
- AI 학습 작업과 병렬로 실행한 읽기 부하 테스트에서 총 6.6TiB/s의 처리량 기록
GraySort 벤치마크 테스트
- 25개 스토리지 노드(각 노드당 2개 NUMA 도메인, 2×400Gbps NIC)
- 50개 컴퓨트 노드(192개 물리 코어, 2.2TiB RAM, 1×200Gbps NIC)
- 110.5TiB 데이터(8,192개 파티션)를 30분 14초 만에 정렬, 평균 처리량 3.66TiB/min 달성
KVCache 성능 테스트
- 대규모 언어 모델(LLM) 추론 과정에서 키-값 벡터 캐싱을 통해 불필요한 연산 최소화
- 피크 읽기 처리량 40GiB/s 기록
- Garbage Collection(GC) 실행 중 삭제 작업(IOPS) 성능 분석 포함

고성능 데이터 처리, 대규모 확장성, 간단한 운영이 특징
- 고성능 데이터 처리: DuckDB를 활용하여 빠른 데이터 처리
- 대규모 데이터셋 지원: 페타바이트(PB) 규모 데이터 처리 가능
- 운영 간편성: 장기 실행 서비스 없이 손쉽게 사용