Hacker News 의견

• 3월에 vLLM이 DeepSeek 논문의 개선점을 적용하여 vLLM v0.7.3의 DeepSeek 성능이 약 3배 이상 향상됨

  • 여전히 개선의 여지가 많음
  • vLLM을 사용하여 sharegpt 데이터셋으로 5K 토큰/초, 랜덤 2000/100으로 12K 토큰/초를 벤치마크함
  • DeepSeek-V3/R1 추론 시스템 개요에 따르면, 각 H800 노드는 프리필링 시 평균 73.7k 토큰/초 입력(캐시 히트 포함) 또는 디코딩 시 14.8k 토큰/초 출력을 제공함
  • DeepSeek는 다른 추론 아키텍처를 배포하지만, 이는 개선의 여지가 많음을 보여줌
  • 더 많은 오픈 소스를 기대함

• 코드베이스 분기점에 공감함

  • vLLM의 초기 포크를 기반으로 DeepSeek 모델에 맞게 커스터마이즈하여 확장하기 어려움
  • 유지 가능한 서브 라이브러리를 분리하고 정보를 직접 공유하는 접근 방식이 커뮤니티와 협력하는 좋은 방법임
  • 장애물이 있지만, 기여하지 않는 쉬운 길을 택하지 않음
  • 기술에 대한 정보만 공유하는 것이 더 나을 수 있지만, 여전히 지식 공유임
  • 그들이 하지 않는 것이 더 쉬울 것 같음
  • 그들에게 찬사를 보냄

• 상업적 AI 회사들이 연구 결과와 노하우를 공유하는 동기

  • Google이 Transformer 아키텍처를 공개한 이유
  • 인류를 위한 좋은 일을 하고 싶고, 진보를 촉진하고 싶어할 수 있음
  • 상업적 이익에 반하는 행동을 회사 경영진이 어떻게 취할 수 있는지 의문
  • 정보와 지적 재산 공유를 촉진하는 상업적 논리가 있는지 궁금함

• "오픈 소스 커뮤니티에 흥미로운 것이 있지만, 회사 외부에서 실행하려면 많은 정리가 필요하고, 출시 후 적절히 유지할 인력이 없음"

  • 많은 회사들이 이 위치에 있음
  • "우리는 이것을 유지하지 않을 것이지만, 포크는 자유롭게 하세요"라는 메모와 함께 오픈 소스화하기를 바람

• DeepSeek의 좋은 엔지니어링 작업을 보았음

  • 계속 이어지기를 바람

• 중국이 미국의 지배에 대응하기 위해 오픈 소스 AI 도구, 모델 등을 대량으로 출시하는 전략인지 궁금함

  • 시장에 좋은 일이라고 생각함

• tl;dr "vLLM 포크가 유지 불가능해졌고, 이제 공개적으로 다시 구축할 예정임"

• 검열을 구현하는 한 가지 방법이라고 느낌