# llamafile - 단일 파일로 LLM 배포 및 실행 하기

> Clean Markdown view of GeekNews topic #12155. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=12155](https://news.hada.io/topic?id=12155)
- GeekNews Markdown: [https://news.hada.io/topic/12155.md](https://news.hada.io/topic/12155.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-12-04T10:15:02+09:00
- Updated: 2023-12-04T10:15:02+09:00
- Original source: [github.com/Mozilla-Ocho](https://github.com/Mozilla-Ocho/llamafile)
- Points: 30
- Comments: 4

## Topic Body

- 1개의 파일로 대부분의 컴퓨터에서 설치없이 LLM을 쉽게 실행 지원  
- llama.cpp와 Cosmopolitan Libc를 결합한 프레임워크  
  - 1개의 빌드로 여러 OS, 다양한 CPU 아키텍처에서 실행 가능   
- 채팅 및 이미지 인식이 가능한 LLaVA 모델을 예제로 제공   
  - 4GB 파일인 `llava-v1.5-7b-q4-server.llamafile` 을 다운 받아서 실행하면 끝  
  - 맥/리눅스/BSD 의 경우는 chmod +x 하고 바로 실행   
  - 윈도우는 확장자 뒤에 `.exe` 를 붙여서 바로 실행  
  - 실행되면 자동으로 브라우저가 열리고 채팅 인터페이스를 표시   
- 그외에 Mistral-7B-Instruct, WizardCoder-Python-13B 등의 llamafile 도 제공

## Comments



### Comment 21552

- Author: edunga1
- Created: 2023-12-19T14:24:58+09:00
- Points: 1

`curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4-main.llamafile > llamafile`  
  
curl 명령어 한 번이면, 바로 실행가능해서 너무 놀라워요..

### Comment 21239

- Author: cosine20
- Created: 2023-12-08T09:01:41+09:00
- Points: 1

와 대박이네요 ㅋㅋㅋ

### Comment 21073

- Author: ragingwind
- Created: 2023-12-04T10:27:56+09:00
- Points: 1

진짜 쉽게 실행 할 수 있네요.

### Comment 21068

- Author: xguru
- Created: 2023-12-04T10:16:01+09:00
- Points: 1

GN⁺ 에 올라왔는데, AI 요약에 의한 소개가 부족했는지 인기가 없어서 다시 한번 정리했습니다. 꽤 재미난 시도인 것 같아요.   
["Llamafile"을 통해 단일 파일로 LLM 배포 및 실행 가능](https://news.hada.io/topic?id=12095)  
  
기본 모델인 [LLaVA: Visual Instruction Tuning](https://news.hada.io/topic?id=9017)  
  
공개당시에는 장난스러웠던 Cosmopolitan 과 RedBean 이 이렇게도 쓰이는 군요. 아주 훌륭한 사용처가 될 듯  
  
- [Cosmopolitan v3.0 - "Build Once Anywhere, Run Anywhere C/C++"](https://news.hada.io/topic?id=11639)  
- [Cosmopolitan libc - Build-Once Run-Anywhere C](https://news.hada.io/topic?id=3489)  
- [Cosmopolitan v1.0 공개](https://news.hada.io/topic?id=4278)  
- [Cosmopolitan v2.0 릴리즈](https://news.hada.io/topic?id=7235)  
- [Redbean - 파일1개로 실행되는 웹서버](https://news.hada.io/topic?id=3815)  
- [Redbean 2.0 공개](https://news.hada.io/topic?id=6773)