# Secret Llama - WebGPU로 구동되는 인브라우저 Llama 3 챗봇 구현체

> Clean Markdown view of GeekNews topic #14679. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=14679](https://news.hada.io/topic?id=14679)
- GeekNews Markdown: [https://news.hada.io/topic/14679.md](https://news.hada.io/topic/14679.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-05-07T09:31:02+09:00
- Updated: 2024-05-07T09:31:02+09:00
- Original source: [github.com/abi](https://github.com/abi/secret-llama)
- Points: 19
- Comments: 1

## Topic Body

- 브라우저에서 완전히 동작하는 프라이버시를 보장하는 LLM 챗봇  
- Llama 3, Mistral 등의 오픈소스 모델을 지원  
- 대화 데이터가 절대 컴퓨터 밖으로 나가지 않아 완전한 프라이버시 보장  
- 브라우저에서 동작하므로 서버나 설치가 필요 없고, 오프라인에서도 동작  
- ChatGPT와 동등한 수준의 사용하기 쉬운 인터페이스를 제공하지만, 오픈소스 LLM을 위한 것  
- 현재 지원모델   
  - TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k	600MB  
  - Llama-3-8B-Instruct-q4f16_1 4.3GB  
  - Phi1.5-q4f16_1-1k	1.2GB  
  - Mistral-7B-Instruct-v0.2-q4f16_1 4GB

## Comments



### Comment 25204

- Author: bizring
- Created: 2024-05-14T03:17:25+09:00
- Points: 1

한글대화가 가능한가?