# DeepSeek 추론 엔진 오픈소스를 향한 여정 > Clean Markdown view of GeekNews topic #20335. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=20335](https://news.hada.io/topic?id=20335) - GeekNews Markdown: [https://news.hada.io/topic/20335.md](https://news.hada.io/topic/20335.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2025-04-15T10:28:51+09:00 - Updated: 2025-04-15T10:28:51+09:00 - Original source: [github.com/deepseek-ai](https://github.com/deepseek-ai/open-infra-index/tree/main/OpenSourcing_DeepSeek_Inference_Engine) - Points: 8 - Comments: 1 ## Summary **DeepSeek 팀**은 내부 추론 엔진을 오픈소스로 환원하기 위한 계획을 발표했습니다. 기존 코드와 인프라 종속성으로 인해 전체 공개는 어렵지만, **모듈화 및 기능 단위 기여 방식**으로 방향을 전환할 예정입니다. 앞으로 **오픈소스 커뮤니티와 협력하여 성능 최적화와 재사용 가능한 기능을 공유**할 계획입니다. 또한, **AGI의 혜택이 인류 전체에 기여할 수 있도록 커뮤니티와의 공조를 지속적으로 노력할 것**입니다. ## Topic Body - **DeepSeek 팀이 내부 추론 엔진(DeepSeek Inference Engine)을 오픈소스로 환원**하기 위한 계획을 공개함 - 기존의 추론 엔진은 vLLM 기반이며, DeepSeek-V3 및 R1 모델의 배포 수요 증가에 따라 공유를 고려중 - **기존 코드와 인프라 종속성, 유지보수 부담 등으로 전체 공개는 어려움**, 대신 **모듈화 및 기능 단위 기여 방식**으로 방향 전환 - 앞으로는 **오픈소스 커뮤니티와 긴밀히 협력하여, 성능 최적화와 재사용 가능한 기능을 공유**할 계획 - DeepSeek은 **추론 최적화 및 모델 출시 시 커뮤니티와의 Day-0 지원 동기화**에 적극 나설 것임 --- ### DeepSeek 추론 엔진 오픈소스를 향한 여정 #### 오픈소스 위크의 반응과 후속 기여 - 최근 진행된 [Open Source Week](https://github.com/deepseek-ai/open-infra-index?tab=readme-ov-file#202502-open-source-week)에서 여러 라이브러리를 오픈소스로 공개 - 커뮤니티의 긍정적인 반응 속에서 **협업, 토론, 버그 수정 등이 활발히 이루어짐** - 이를 계기로 **DeepSeek 내부 추론 엔진을 오픈소스로 공유하기로 결정**함 #### 기반 기술 - DeepSeek의 학습 프레임워크는 **PyTorch** 기반 - 추론 엔진은 **vLLM 프로젝트**의 초기 포크를 기반으로 개발되었으며, DeepSeek 모델에 특화된 많은 커스터마이징 포함 #### 오픈소스 전체 공개에 따른 현실적인 제약 - **코드베이스 차이**: 1년 이상 전의 vLLM 포크에서 시작되어 구조는 유사하지만 상당히 변경됨 - **내부 인프라 의존성**: 클러스터 관리 도구 등 DeepSeek 자체 인프라와 강하게 결합되어 있어 외부 활용이 어려움 - **유지보수 자원 부족**: 소규모 연구팀으로서 대규모 오픈소스 프로젝트를 지속적으로 관리할 여력이 부족 #### 대안: 기존 오픈소스 프로젝트와의 협업 앞으로는 다음 방향으로 기여 예정: - **모듈화된 기능 추출**: 독립적인 라이브러리로 재사용 가능한 구성요소를 나누어 기여 - **성능 최적화 공유**: 내부 구현의 성능 개선점과 설계 아이디어를 기존 오픈소스 프로젝트에 반영 #### 커뮤니티를 향한 감사와 비전 - 오픈소스 커뮤니티의 존재가 없었다면 AGI 개발의 진전은 불가능했을 것 - 운영체제, 언어, ML 프레임워크, 추론 엔진 등 **AI 혁신의 근간은 오픈소스 생태계** - DeepSeek은 커뮤니티와의 공조를 통해 **AGI의 혜택이 인류 전체에 기여할 수 있도록 지속적으로 노력할 것** > [!NOTE] > 이 글은 **DeepSeek Inference Engine 코드베이스의 오픈소스화 전략**에 대한 안내임. > 향후 모델 공개와 관련해 DeepSeek은 **오픈소스 커뮤니티 및 하드웨어 파트너와의 협업을 계속 확대**할 예정임. > 특히 모델 출시 전, **추론 관련 기술을 사전 공유 및 정렬**함으로써 다양한 하드웨어 환경에서 Day-0부터 SOTA 지원이 가능하도록 생태계를 조율해 나갈 것임. ## Comments ### Comment 37185 - Author: neo - Created: 2025-04-15T10:28:51+09:00 - Points: 1 ###### [Hacker News 의견](https://news.ycombinator.com/item?id=43682088) * 3월에 vLLM이 DeepSeek 논문의 개선점을 적용하여 vLLM v0.7.3의 DeepSeek 성능이 약 3배 이상 향상됨 - 여전히 개선의 여지가 많음 - vLLM을 사용하여 sharegpt 데이터셋으로 5K 토큰/초, 랜덤 2000/100으로 12K 토큰/초를 벤치마크함 - DeepSeek-V3/R1 추론 시스템 개요에 따르면, 각 H800 노드는 프리필링 시 평균 73.7k 토큰/초 입력(캐시 히트 포함) 또는 디코딩 시 14.8k 토큰/초 출력을 제공함 - DeepSeek는 다른 추론 아키텍처를 배포하지만, 이는 개선의 여지가 많음을 보여줌 - 더 많은 오픈 소스를 기대함 * 코드베이스 분기점에 공감함 - vLLM의 초기 포크를 기반으로 DeepSeek 모델에 맞게 커스터마이즈하여 확장하기 어려움 - 유지 가능한 서브 라이브러리를 분리하고 정보를 직접 공유하는 접근 방식이 커뮤니티와 협력하는 좋은 방법임 - 장애물이 있지만, 기여하지 않는 쉬운 길을 택하지 않음 - 기술에 대한 정보만 공유하는 것이 더 나을 수 있지만, 여전히 지식 공유임 - 그들이 하지 않는 것이 더 쉬울 것 같음 - 그들에게 찬사를 보냄 * 상업적 AI 회사들이 연구 결과와 노하우를 공유하는 동기 - Google이 Transformer 아키텍처를 공개한 이유 - 인류를 위한 좋은 일을 하고 싶고, 진보를 촉진하고 싶어할 수 있음 - 상업적 이익에 반하는 행동을 회사 경영진이 어떻게 취할 수 있는지 의문 - 정보와 지적 재산 공유를 촉진하는 상업적 논리가 있는지 궁금함 * "오픈 소스 커뮤니티에 흥미로운 것이 있지만, 회사 외부에서 실행하려면 많은 정리가 필요하고, 출시 후 적절히 유지할 인력이 없음" - 많은 회사들이 이 위치에 있음 - "우리는 이것을 유지하지 않을 것이지만, 포크는 자유롭게 하세요"라는 메모와 함께 오픈 소스화하기를 바람 * DeepSeek의 좋은 엔지니어링 작업을 보았음 - 계속 이어지기를 바람 * 중국이 미국의 지배에 대응하기 위해 오픈 소스 AI 도구, 모델 등을 대량으로 출시하는 전략인지 궁금함 - 시장에 좋은 일이라고 생각함 * tl;dr "vLLM 포크가 유지 불가능해졌고, 이제 공개적으로 다시 구축할 예정임" * 검열을 구현하는 한 가지 방법이라고 느낌