▲

Whisper Jax: 가장 빠른 Whisper API 구현체

 (github.com/sanchit-gandhi)
15P by xguru 2023-05-04 | favorite | 댓글과 토론
  • OpenAI의 Whisper 음성인식 모델을 최적화해서 빠르게 구현
  • TPU v4-8 에서 JAX 로 실행. A100 GPU 에서 PyTorch로 실행한 것에 비해 최대 70배 빠름
  • CPU/GPU/TPU 에서 모두 실행 가능하며, 스탠드 얼론 또는 Inference 엔드포인트로 실행 가능