9P by darjeeling 5시간전 | ★ favorite | 댓글 4개

recipes.vllm.ai가 대폭 개편되었습니다. vLLM 으로 "모델 X를 하드웨어 Y에서 어떻게 돌리지?"에 대한 답을 인터랙티브하게 얻을 수 있습니다.

주요 변경사항

HuggingFace 미러 URLhuggingface.corecipes.vllm.ai로 바꾸면 해당 모델 레시피로 바로 이동 (예: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)

인터랙티브 커맨드 빌더 — 하드웨어, variant, 병렬화 전략을 선택하면 바로 쓸 수 있는 vllm serve 명령어 생성

플러그형 하드웨어 — NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X) 원클릭 전환, 플래그·환경변수 자동 적용

JSON API — 모든 레시피를 /.json 경로로 제공하여 에이전트·자동화 도구에서 바로 소비 가능

에이전트 스킬로 레시피 기여하기

레포지토리에 에이전트 스킬이 포함되어 있어, 새로운 레시피를 end-to-end로 기여할 수 있습니다. 벤치마크 실행부터 레시피 생성·PR 제출까지 에이전트가 안내합니다.

→ github.com/vllm-project/recipes

조금만 지나면 한방에 어느 디바이스든 딸깍 배포가 되려나요... ㄷㄷ

서비스용들은 이제 다 생길꺼 같아요.

아직은 없는 모델이 많군요.

그래서 기여할수있는 좋은 기회같습니다.