▲llama-tokenizer-js - 브라우저에서 실행되는 LLaMA 토크나이저 (github.com/belladoreai)8P by xguru 2023-06-27 | ★ favorite | 댓글과 토론 클라이언트 사이드에서 토큰을 정확하게 계산하기 위해 사용 가능 의존성 전혀없는 하나의 파일로 쉽게 사용 가능 대부분의 LLaMA 기반 모델과 호환 약 2천개의 토큰을 20ms 안에 토큰화 가능 함께 보면 좋은 글 β Web LLM - WebGPU로 브라우저에서 LLM 가속하여 실행하기 llama.cpp - 페이스북의 LLaMA 모델을 순수 C/C++로 추론하기 Llama.ttf - LLM 기능을 가진 폰트 ntransformer - 싱글 RTX 3090에서 Llama 3.1 70B를 실행하는 NVMe-to-GPU 추론 엔진 Reader-LM : HTML을 마크다운으로 변환하는 작은 언어 모델 인증 이메일 클릭후 다시 체크박스를 눌러주세요