- 파라미터 수가 아닌 실측 벤치마크 기반으로 사용자 하드웨어에 맞는 로컬 LLM을 자동 추천하는 CLI 도구
- GPU/CPU/RAM을 자동 감지하고 HuggingFace 모델 중 시스템에 맞는 상위 모델을 랭킹으로 제시
- NVIDIA, AMD, Apple Silicon, CPU-only 모두 지원
- VRAM에 맞는 가장 큰 모델이 아니라, 그 중 실제로 가장 좋은 모델을 골라주는 것이 핵심 목표
- 예: RTX 4090 시뮬레이션 시 32B 모델이 들어가도, 신세대인 27B 모델(Qwen3.6-27B)을 1위로 추천
- 다중 벤치마크 병합 채점: LiveBench, Artificial Analysis, Aider, multimodal/vision, Chatbot Arena ELO, Open LLM Leaderboard를 통합해 0–100 점수 산출
- 최신 모델 인식(Recency-aware): 오래된 리더보드는 모델 계보를 따라 감점, 2024년 모델이 구버전 점수로 현세대 모델을 추월하지 못하도록 차단
- 근거 등급화 5단계 -
direct / variant / base_model / line_interp / self_reported로 태그 후 신뢰도 디스카운트
- 업로더의 허위 자체 보고와 작은 포크가 큰 베이스 점수를 빌려오는 크로스 패밀리 상속도 차단
- 파라미터가 패밀리 dominant member에서 2배 이상 차이나면 상속 거부
- 아키텍처 인식 VRAM/속도 추정 - VRAM은 가중치 + GQA KV 캐시 + 활성화 + 오버헤드, 속도는 대역폭 바운드에 MoE active vs total 분리와 통합 메모리 vs PCIe 부분 오프로드 반영
whichllm run 한 줄로 모델 다운로드와 채팅까지 즉시 실행 가능한 원커맨드 워크플로우 지원
uv로 격리 환경 생성, 의존성 설치, 모델 다운로드, 대화형 채팅까지 자동 처리- GGUF / AWQ / GPTQ / FP16 / BF16 모든 포맷 지원
- 하드웨어 플래닝 명령
whichllm --gpu "RTX 5090" - 임의 GPU 시뮬레이션으로 구매 전 확인whichllm plan "llama 3 70b" - 특정 모델에 필요한 GPU 역방향 조회whichllm upgrade "RTX 4090" "RTX 5090" "H100" - 현재 머신과 후보 GPU 비교
- Ollama 연동:
whichllm --top 1 --json | jq -r '.models[0].model_id' 형태로 파이프라인 구성 가능
- 코드 스니펫 출력:
whichllm snippet "qwen 7b"로 llama_cpp.Llama.from_pretrained 호출부터 채팅 완성까지 복붙 가능한 Python 코드 제공
- MIT 라이선스
댓글과 토론