Web LLM - Llama2 7B/13B 지원 시작
(webllm.mlc.ai)- 서버 없이 브라우저에서 Llama, RedPajama, Vicuna 같은 LLM을 WASM으로 구동하는 서비스
- Llama 2 7B/13B 지원 시작
- Llama 2 70B도 지원하지만, 애플 실리콘 맥 + 64GB 램 이상에서만 사용 가능
- WebGPU로 가속
- AI 잘알못이 호기심에 저사양PC지만 테스트 해봤습니다 - Chat Demo 첫번째 모델 (PC사양: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
- 최초 질문에 4G정도 다운받고 초기화 하는데 제 PC환경기준으로 11분 정도 걸렸습니다.
- 매 질문마다 GPU를 평균 60%이상 사용했고, 천천히 타이핑 하는듯한 답변을 주었습니다. (속터지더군요 ㅡㅡ)
- 테스트 삼아 "show me the earth picture" 라는 질문을 줘봤더니, NASA URL을 답해주긴 했는데 이미지는 볼수 없었습니다. (Invalid URL)
- 한글 질문도 인식은 했으나 답변은 영어로만 주더군요