llamafile - 단일 파일로 LLM 배포 및 실행 하기

• 1개의 파일로 대부분의 컴퓨터에서 설치없이 LLM을 쉽게 실행 지원
• llama.cpp와 Cosmopolitan Libc를 결합한 프레임워크
  • 1개의 빌드로 여러 OS, 다양한 CPU 아키텍처에서 실행 가능
• 채팅 및 이미지 인식이 가능한 LLaVA 모델을 예제로 제공
  • 4GB 파일인 llava-v1.5-7b-q4-server.llamafile 을 다운 받아서 실행하면 끝
  • 맥/리눅스/BSD 의 경우는 chmod +x 하고 바로 실행
  • 윈도우는 확장자 뒤에 .exe 를 붙여서 바로 실행
  • 실행되면 자동으로 브라우저가 열리고 채팅 인터페이스를 표시
• 그외에 Mistral-7B-Instruct, WizardCoder-Python-13B 등의 llamafile 도 제공

[ragingwind]

진짜 쉽게 실행 할 수 있네요.

[xguru]

GN⁺ 에 올라왔는데, AI 요약에 의한 소개가 부족했는지 인기가 없어서 다시 한번 정리했습니다. 꽤 재미난 시도인 것 같아요.
"Llamafile"을 통해 단일 파일로 LLM 배포 및 실행 가능

기본 모델인 LLaVA: Visual Instruction Tuning

공개당시에는 장난스러웠던 Cosmopolitan 과 RedBean 이 이렇게도 쓰이는 군요. 아주 훌륭한 사용처가 될 듯

• Cosmopolitan v3.0 - "Build Once Anywhere, Run Anywhere C/C++"
• Cosmopolitan libc - Build-Once Run-Anywhere C
• Cosmopolitan v1.0 공개
• Cosmopolitan v2.0 릴리즈
• Redbean - 파일1개로 실행되는 웹서버
• Redbean 2.0 공개

[edunga1]

curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafile

curl 명령어 한 번이면, 바로 실행가능해서 너무 놀라워요..

[cosine20]

와 대박이네요 ㅋㅋㅋ