Show GN: vLLM Compose - Docker Compose 프로필로 여러 vLLM 모델을 쉽게 전환/서빙
(bae-changhyun.github.io)여러 LLM을 로컬에서 서빙할 때의 불편함(모델마다 docker 명령어 재입력, GPU 설정 기억, 상태 모니터링)을 해결하는 vLLM 전용 TUI 관리 도구입니다.
- 모델별 설정을 YAML 프로필로 저장, TUI에서 Enter 한 번으로 시작/중지
- Quick Setup: 모델 이름만 입력하면 프로필+설정 자동 생성
- GPU 실시간 모니터링 대시보드, 메모리 사용량 사전 추정 기능 포함(hf-mem)
- vLLM arguments 자동완성: 실제 vLLM 이미지에서 사용 가능한 인자 목록을 자동으로 추출해 Tab 키로 자동완성
- MIT 라이선스, Python 3.10+ / Docker / NVIDIA GPU 환경 필요