# MiniLLM - 개인용 GPU에서 LLM 실행 하기

> Clean Markdown view of GeekNews topic #8832. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=8832](https://news.hada.io/topic?id=8832)
- GeekNews Markdown: [https://news.hada.io/topic/8832.md](https://news.hada.io/topic/8832.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-03-30T10:45:01+09:00
- Updated: 2023-03-30T10:45:01+09:00
- Original source: [github.com/kuleshov](https://github.com/kuleshov/minillm)
- Points: 22
- Comments: 0

## Topic Body

- 최신 LLM을 소비자용 Nvidia GPU에서 실행하기 위한 미니멀 시스템   
- 여러개의 LLM(LLAMA, BLOOM, OPT)을 최대 170B 규모까지 지원  
- 다양한 종류의 Nvidia GPU 지원   
- Python으로 된 작고 사용하기 쉬운 코드   
- 내부적으로 3-bit 압축을 위해 GPTQ 알고리듬을 사용해서 GPU 메모리 사용량을 최소화

## Comments



_No public comments on this page._