▲Web LLM - WebGPU로 브라우저에서 LLM 가속하여 실행하기 (github.com/mlc-ai)14P by xguru 2023-04-18 | ★ favorite | 댓글과 토론 서버 없이 브라우저에서 LLaMA, Vicuna 같은 LLM을 WASM을 이용하여 구동 WebGPU로 가속 하지만, 별도로 Apache TVM이 지원하는 GPU 백엔드들(CUDA, OpenCL, Vulkan)도 지원 MLC(Machine Learning Compilation) 기술을 사용 함께 보면 좋은 글 β Web LLM - Llama2 7B/13B 지원 시작 Secret Llama - WebGPU로 구동되는 인브라우저 Llama 3 챗봇 구현체 MLC LLM - LLM모델을 어떤 디바이스에든 배포 가능하게 해주는 오픈소스 솔루션 LoPE: 무작위 라틴어 텍스트를 앞에 붙이면 LLM 추론이 향상된다! (arXiv 논문) Web Stable Diffusion - 웹 브라우저에서 SD 실행하기 댓글과 토론 인증 이메일 클릭후 다시 체크박스를 눌러주세요