▲

tiktoken - OpenAI의 Tokenizer

 (github.com/openai)
4P by xguru 2022-12-23 | favorite | 댓글과 토론
  • OpenAI의 모델들과 사용하기 위한 빠른 BPE (Byte pair encoding) Tokenizer
  • 기존 Tokenizer(Huggingface)에 비해 3~6배 빠름
  • PyPI 로 설치 가능
  • Python + Rust 오픈소스