▲

DeepSeek 추론 엔진 오픈소스를 향한 여정

 (github.com/deepseek-ai)
8P by GN⁺ 5일전 | ★ favorite | 댓글 1개
  • DeepSeek 팀이 내부 추론 엔진(DeepSeek Inference Engine)을 오픈소스로 환원하기 위한 계획을 공개함
  • 기존의 추론 엔진은 vLLM 기반이며, DeepSeek-V3 및 R1 모델의 배포 수요 증가에 따라 공유를 고려중
  • 기존 코드와 인프라 종속성, 유지보수 부담 등으로 전체 공개는 어려움, 대신 모듈화 및 기능 단위 기여 방식으로 방향 전환
  • 앞으로는 오픈소스 커뮤니티와 긴밀히 협력하여, 성능 최적화와 재사용 가능한 기능을 공유할 계획
  • DeepSeek은 추론 최적화 및 모델 출시 시 커뮤니티와의 Day-0 지원 동기화에 적극 나설 것임

DeepSeek 추론 엔진 오픈소스를 향한 여정

오픈소스 위크의 반응과 후속 기여

  • 최근 진행된 Open Source Week에서 여러 라이브러리를 오픈소스로 공개
  • 커뮤니티의 긍정적인 반응 속에서 협업, 토론, 버그 수정 등이 활발히 이루어짐
  • 이를 계기로 DeepSeek 내부 추론 엔진을 오픈소스로 공유하기로 결정함

기반 기술

  • DeepSeek의 학습 프레임워크는 PyTorch 기반
  • 추론 엔진은 vLLM 프로젝트의 초기 포크를 기반으로 개발되었으며, DeepSeek 모델에 특화된 많은 커스터마이징 포함

오픈소스 전체 공개에 따른 현실적인 제약

  • 코드베이스 차이: 1년 이상 전의 vLLM 포크에서 시작되어 구조는 유사하지만 상당히 변경됨
  • 내부 인프라 의존성: 클러스터 관리 도구 등 DeepSeek 자체 인프라와 강하게 결합되어 있어 외부 활용이 어려움
  • 유지보수 자원 부족: 소규모 연구팀으로서 대규모 오픈소스 프로젝트를 지속적으로 관리할 여력이 부족

대안: 기존 오픈소스 프로젝트와의 협업

앞으로는 다음 방향으로 기여 예정:

  • 모듈화된 기능 추출: 독립적인 라이브러리로 재사용 가능한 구성요소를 나누어 기여
  • 성능 최적화 공유: 내부 구현의 성능 개선점과 설계 아이디어를 기존 오픈소스 프로젝트에 반영

커뮤니티를 향한 감사와 비전

  • 오픈소스 커뮤니티의 존재가 없었다면 AGI 개발의 진전은 불가능했을 것
  • 운영체제, 언어, ML 프레임워크, 추론 엔진 등 AI 혁신의 근간은 오픈소스 생태계
  • DeepSeek은 커뮤니티와의 공조를 통해 AGI의 혜택이 인류 전체에 기여할 수 있도록 지속적으로 노력할 것

[!NOTE]
이 글은 DeepSeek Inference Engine 코드베이스의 오픈소스화 전략에 대한 안내임.
향후 모델 공개와 관련해 DeepSeek은 오픈소스 커뮤니티 및 하드웨어 파트너와의 협업을 계속 확대할 예정임.
특히 모델 출시 전, 추론 관련 기술을 사전 공유 및 정렬함으로써 다양한 하드웨어 환경에서 Day-0부터 SOTA 지원이 가능하도록 생태계를 조율해 나갈 것임.

▲
GN⁺ 5일전  [-]
Hacker News 의견

  • 3월에 vLLM이 DeepSeek 논문의 개선점을 적용하여 vLLM v0.7.3의 DeepSeek 성능이 약 3배 이상 향상됨

    • 여전히 개선의 여지가 많음
    • vLLM을 사용하여 sharegpt 데이터셋으로 5K 토큰/초, 랜덤 2000/100으로 12K 토큰/초를 벤치마크함
    • DeepSeek-V3/R1 추론 시스템 개요에 따르면, 각 H800 노드는 프리필링 시 평균 73.7k 토큰/초 입력(캐시 히트 포함) 또는 디코딩 시 14.8k 토큰/초 출력을 제공함
    • DeepSeek는 다른 추론 아키텍처를 배포하지만, 이는 개선의 여지가 많음을 보여줌
    • 더 많은 오픈 소스를 기대함

  • 코드베이스 분기점에 공감함

    • vLLM의 초기 포크를 기반으로 DeepSeek 모델에 맞게 커스터마이즈하여 확장하기 어려움
    • 유지 가능한 서브 라이브러리를 분리하고 정보를 직접 공유하는 접근 방식이 커뮤니티와 협력하는 좋은 방법임
    • 장애물이 있지만, 기여하지 않는 쉬운 길을 택하지 않음
    • 기술에 대한 정보만 공유하는 것이 더 나을 수 있지만, 여전히 지식 공유임
    • 그들이 하지 않는 것이 더 쉬울 것 같음
    • 그들에게 찬사를 보냄

  • 상업적 AI 회사들이 연구 결과와 노하우를 공유하는 동기

    • Google이 Transformer 아키텍처를 공개한 이유
    • 인류를 위한 좋은 일을 하고 싶고, 진보를 촉진하고 싶어할 수 있음
    • 상업적 이익에 반하는 행동을 회사 경영진이 어떻게 취할 수 있는지 의문
    • 정보와 지적 재산 공유를 촉진하는 상업적 논리가 있는지 궁금함

  • "오픈 소스 커뮤니티에 흥미로운 것이 있지만, 회사 외부에서 실행하려면 많은 정리가 필요하고, 출시 후 적절히 유지할 인력이 없음"

    • 많은 회사들이 이 위치에 있음
    • "우리는 이것을 유지하지 않을 것이지만, 포크는 자유롭게 하세요"라는 메모와 함께 오픈 소스화하기를 바람

  • DeepSeek의 좋은 엔지니어링 작업을 보았음

    • 계속 이어지기를 바람

  • 중국이 미국의 지배에 대응하기 위해 오픈 소스 AI 도구, 모델 등을 대량으로 출시하는 전략인지 궁금함

    • 시장에 좋은 일이라고 생각함

  • tl;dr "vLLM 포크가 유지 불가능해졌고, 이제 공개적으로 다시 구축할 예정임"

  • 검열을 구현하는 한 가지 방법이라고 느낌

답변달기