M3 with MLX

(owehrens.com)

애플이 공개한 머신러닝 프레임워크 MLX의 성능 벤치마크
10분짜리 오디오를 Whisper로 Transcribe
- M1 Pro(2021모델) + MLX + 32GB 램 : 216초
- I7 + 4090 + 64GB 램 : 186초
  - 2000€ 짜리 GPU가 M1에 비해 30초(16%) 빠름
- M2 Ultra(76 GPU) : 95초
- M3 Max (40 GPU) : 100초
Nvidia에 최적화된 insanely-fast-whisper 를 사용하면 4090으로 8초만에 끝남
- 이 모델을 M1에서 돌리면 359초로 더 오래 걸림