# 로컬에서 Llama 2 실행하는 방법 안내

> Clean Markdown view of GeekNews topic #10010. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10010](https://news.hada.io/topic?id=10010)
- GeekNews Markdown: [https://news.hada.io/topic/10010.md](https://news.hada.io/topic/10010.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2023-07-26T20:33:37+09:00
- Updated: 2023-07-26T20:33:37+09:00
- Original source: [replicate.com](https://replicate.com/blog/run-llama-locally)
- Points: 5
- Comments: 2

## Topic Body

- 인터넷 연결 없이 자체 장치에서 Llama 2를 실행할 수 있습니다.
- Llama 2를 로컬에서 실행할 수 있는 세 가지 오픈 소스 도구가 있습니다: Llama.cpp, Ollama 및 MLC LLM.
- Llama.cpp는 Mac, Windows 및 Linux를 지원하는 C/C++로 된 Llama의 포트입니다.
- Ollama는 명령 줄 인터페이스로 Llama 2를 실행할 수 있는 macOS 앱입니다.
- MLC LLM을 사용하면 iOS 및 Android를 포함한 휴대폰에서 Llama 2를 실행할 수 있습니다.
- Ollama는 3B 모델을 실행하기 위해 최소 8GB의 RAM, 7B 모델을 위해 16GB, 13B 모델을 위해 32GB를 권장합니다.
- MLC LLM은 Llama 2의 7B, 13B 및 70B 버전을 지원하지만 아이폰 사용자를 위해 아직 베타 버전입니다.
- Discord 커뮤니티에서 창작물을 공유하고 지원을 받을 수 있습니다.
- Replicate은 Llama 2를 클라우드에서 실행하고 세부 조정할 수 있는 옵션을 제공합니다.

## Comments



### Comment 17744

- Author: haebom
- Created: 2023-07-28T19:27:48+09:00
- Points: 1

맥 스튜디오 M2에서 돌리는데 잘 돌아갑니다.

### Comment 17667

- Author: neo
- Created: 2023-07-26T20:33:37+09:00
- Points: 1

###### [Hacker News 의견](http://news.ycombinator.com/item?id=36865495) 
- 유저가 Llama 2를 Windows에서 빌드하기 위한 지침을 제공하며, CUDA 툴킷 설치와 모델 다운로드를 포함한다.
- Llama 2를 더 쉽게 실행하기 위한 PowerShell 함수가 공유된다.
- PEFT/Lora를 사용하여 Google Colab A100 GPU에서 Llama 2를 세밀하게 조정하는 라이브 코딩 스트림이 언급된다.
- 댓글러는 Linux 기계에 GPU를 사용하기 위해 Hugging Face 추론을 제안한다.
- CPU 또는 MPS(M1/M2 GPU)에서 실행할 수 있는 원본 Llama 2 코드의 포크가 공유된다.
- Llama 2를 MacOS 또는 Windows에서 쉽게 사용하기 위해 GPT4All이 권장된다.
- 웹사이트에서 스크립트를 직접 bash로 파이핑하는 것에 대한 주의가 제기된다.
- 댓글러는 Llama 2가 이미지를 해석하고 사용할 수 있는 잠재력에 대해 논의한다.
- 연구 이상으로 Llama 2를 사용하는 목적에 대해 의문이 제기된다.
- LLM 모델의 한계가 언급되며, 영화 '매트릭스'에 대한 JSON 객체 생성을 거부한다.