Secret Llama - WebGPU로 구동되는 인브라우저 Llama 3 챗봇 구현체
(github.com/abi)- 브라우저에서 완전히 동작하는 프라이버시를 보장하는 LLM 챗봇
- Llama 3, Mistral 등의 오픈소스 모델을 지원
- 대화 데이터가 절대 컴퓨터 밖으로 나가지 않아 완전한 프라이버시 보장
- 브라우저에서 동작하므로 서버나 설치가 필요 없고, 오프라인에서도 동작
- ChatGPT와 동등한 수준의 사용하기 쉬운 인터페이스를 제공하지만, 오픈소스 LLM을 위한 것
- 현재 지원모델
- TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k 600MB
- Llama-3-8B-Instruct-q4f16_1 4.3GB
- Phi1.5-q4f16_1-1k 1.2GB
- Mistral-7B-Instruct-v0.2-q4f16_1 4GB