# Web LLM - Llama2 7B/13B 지원 시작

> Clean Markdown view of GeekNews topic #10619. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10619](https://news.hada.io/topic?id=10619)
- GeekNews Markdown: [https://news.hada.io/topic/10619.md](https://news.hada.io/topic/10619.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-08-30T10:50:01+09:00
- Updated: 2023-08-30T10:50:01+09:00
- Original source: [webllm.mlc.ai](https://webllm.mlc.ai/)
- Points: 26
- Comments: 7

## Topic Body

- 서버 없이 브라우저에서 Llama, RedPajama, Vicuna 같은 LLM을 WASM으로 구동하는 서비스   
- Llama 2 7B/13B 지원 시작   
- Llama 2 70B도 지원하지만, 애플 실리콘 맥 + 64GB 램 이상에서만 사용 가능   
- WebGPU로 가속

## Comments



### Comment 18770

- Author: freejack
- Created: 2023-08-31T10:05:05+09:00
- Points: 1

- AI 잘알못이 호기심에 저사양PC지만 테스트 해봤습니다 - Chat Demo 첫번째 모델 (PC사양: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)  
- 최초 질문에 4G정도 다운받고 초기화 하는데 제 PC환경기준으로 11분 정도 걸렸습니다.  
- 매 질문마다 GPU를 평균 60%이상 사용했고, 천천히 타이핑 하는듯한 답변을 주었습니다. (속터지더군요 ㅡㅡ)  
- 테스트 삼아 "show me the earth picture" 라는 질문을 줘봤더니, NASA URL을 답해주긴 했는데 이미지는 볼수 없었습니다. (Invalid URL)  
- 한글 질문도 인식은 했으나 답변은 영어로만 주더군요

### Comment 18977

- Author: cosine20
- Created: 2023-09-06T09:16:28+09:00
- Points: 1
- Parent comment: 18770
- Depth: 1

750Ti라서....

### Comment 18800

- Author: laeyoung
- Created: 2023-08-31T16:54:33+09:00
- Points: 1
- Parent comment: 18770
- Depth: 1

url output으로 나가는 건 ChatGPT에서도 깨지는 경우가 많더라고요. 아무래도.

### Comment 18738

- Author: kuroneko
- Created: 2023-08-30T11:27:52+09:00
- Points: 1

Stable Diffiusion을 웹에서 실행하는 걸 보고 되게 신기했는데,  
과연 WebGPU가 GPU API 대통합을 이룰 수 있을까요?

### Comment 18750

- Author: [hidden]
- Created: 2023-08-30T19:05:55+09:00
- Points: 1
- Parent comment: 18738
- Depth: 1

[숨김 처리된 댓글입니다]

### Comment 18733

- Author: ragingwind
- Created: 2023-08-30T10:59:45+09:00
- Points: 1

어메이징하네요

### Comment 18730

- Author: xguru
- Created: 2023-08-30T10:51:02+09:00
- Points: 1

[Web LLM - WebGPU로 브라우저에서 LLM 가속하여 실행하기](https://news.hada.io/topic?id=8977)