Hacker News 의견

• 이 디자인은 원래 여기에서 발표되었음: 링크

  • 이 파일 시스템은 몇 년 동안 개발되고 사용되었음
  • 전통적인 파일 시스템과 비교하여 모델 훈련에 더 집중되어 있음
  • 랜덤 읽기가 많은 경우 읽기 캐시와 사전 가져오기가 쓸모없음
  • 성능 향상을 위해 이러한 기능 없이 파일 시스템을 설계했음

• 3FS는 AI 훈련 중 컴퓨팅 노드에서 샘플 데이터를 일괄 읽는 시나리오에서 사용됨

  • 고속 컴퓨팅과 저장소 상호작용을 통해 모델 훈련을 가속화함
  • 대규모 랜덤 읽기 작업이며, 읽은 데이터는 짧은 시간 내에 다시 사용되지 않음
  • 따라서 "읽기 캐시"를 사용할 수 없고, 사전 읽기도 쓸모없음
  • 3FS는 다른 파일 시스템과 구현이 상당히 다름

• 3FS는 Linux 기반 AIO와 io_uring 인터페이스를 사용하여 샘플 읽기를 완료함

  • 파일 캐시는 전혀 효과가 없고, 시스템 메모리를 소모하여 후속 작업에 영향을 미침
  • 파일 캐시를 끄고 Direct I/O 모드만 사용하여 데이터를 읽음
  • 버퍼 포인터, 오프셋, 길이를 정렬해야 함
  • 사용자가 정렬을 하면 추가 메모리 복사가 발생하므로 파일 시스템 내부에서 정렬을 수행함
  • 성능을 최적화하고 사용자에게 편리함을 제공함

• Deepseek와 OpenAI/Anthropic의 차이는 실무자와 학자의 차이 중 하나임

  • OpenAI에는 세계적 수준의 인재가 있지만, 기술적 노출이 부족한 사람들도 있음

• 분산 파일 시스템은 가장 까다로운 소프트웨어 중 하나로 여겨짐

  • FUSE 위에라도 파일 시스템을 처음부터 작성하지 말라는 조언을 받음
  • 실리콘 밸리 회사가 100번째 회의를 할 때, 60명 미만의 팀이 고효율 병렬 파일 시스템을 개발함

• 관련 연구 논문: 링크

  • "Fire-Flyer AI-HPC: 딥러닝을 위한 비용 효율적인 소프트웨어-하드웨어 공동 설계"
  • 딥러닝과 대형 언어 모델의 급속한 발전으로 계산 능력과 대역폭 수요가 급증함
  • Fire-Flyer AI-HPC 아키텍처를 소개하여 비용과 에너지 소비를 절감함
  • HFReduce를 설계하여 allreduce 통신을 가속화함
  • Computation-Storage Integrated Network의 혼잡을 방지하기 위한 여러 조치를 구현함

• FUSE 기반 설계로 어떻게 그런 성능을 얻는지 궁금했음

  • FUSE는 메타데이터를 관리하는 데 사용되며, 높은 성능을 얻기 위해 C++ 클라이언트 라이브러리를 연결해야 함
  • 일반 용도가 아니며, 애플리케이션을 수정해야 함
  • 여전히 영리한 방법이며, LD_PRELOAD 전략이 일반화될 수 있을지 궁금함

• OpenAI 등도 시스템에 깊이 관여하고 있지만, 다른 곳에서는 이런 세심함을 보기 어려움

  • 훌륭한 작업이며, Deepseek가 앞으로 더 멋진 일을 하길 바람

• 그들은 확실히 생산적임

  • 내일은 무엇을 볼 수 있을까? DeepSeek OS 같은 것?

• 현재 인기 있는 시스템이 어디에서 어떻게 부족한지 명확하지 않음

  • 데이터 접근 패턴이 전통적인 사용 사례와 어떻게 다른지 궁금함

• K8s 같은 오케스트레이터로 포팅하는 것이 이점이 있는지 궁금함

  • 훈련에는 과할 수 있지만, KVCache가 다중 복제본을 위한 추론에 유용할 수 있음

• NIH 증후군이 아닌지 설득할 수 있는 사람이 있는지 궁금함

  • 왜 SeaweedFS, Ceph, MinIO 대신 이것을 사용해야 하는지 궁금함