llamafile - 단일 파일로 LLM 배포 및 실행 하기
(github.com/Mozilla-Ocho)- 1개의 파일로 대부분의 컴퓨터에서 설치없이 LLM을 쉽게 실행 지원
- llama.cpp와 Cosmopolitan Libc를 결합한 프레임워크
- 1개의 빌드로 여러 OS, 다양한 CPU 아키텍처에서 실행 가능
- 채팅 및 이미지 인식이 가능한 LLaVA 모델을 예제로 제공
- 4GB 파일인
llava-v1.5-7b-q4-server.llamafile을 다운 받아서 실행하면 끝 - 맥/리눅스/BSD 의 경우는 chmod +x 하고 바로 실행
- 윈도우는 확장자 뒤에
.exe를 붙여서 바로 실행 - 실행되면 자동으로 브라우저가 열리고 채팅 인터페이스를 표시
- 4GB 파일인
- 그외에 Mistral-7B-Instruct, WizardCoder-Python-13B 등의 llamafile 도 제공
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafile
curl 명령어 한 번이면, 바로 실행가능해서 너무 놀라워요..
GN⁺ 에 올라왔는데, AI 요약에 의한 소개가 부족했는지 인기가 없어서 다시 한번 정리했습니다. 꽤 재미난 시도인 것 같아요.
"Llamafile"을 통해 단일 파일로 LLM 배포 및 실행 가능
기본 모델인 LLaVA: Visual Instruction Tuning
공개당시에는 장난스러웠던 Cosmopolitan 과 RedBean 이 이렇게도 쓰이는 군요. 아주 훌륭한 사용처가 될 듯