14P by xguru 6달전 | favorite | 댓글 1개
  • 애플이 공개한 머신러닝 프레임워크 MLX의 성능 벤치마크
  • 10분짜리 오디오를 Whisper로 Transcribe
    • M1 Pro(2021모델) + MLX + 32GB 램 : 216초
    • I7 + 4090 + 64GB 램 : 186초
      • 2000€ 짜리 GPU가 M1에 비해 30초(16%) 빠름
    • M2 Ultra(76 GPU) : 95초
    • M3 Max (40 GPU) : 100초
  • Nvidia에 최적화된 insanely-fast-whisper 를 사용하면 4090으로 8초만에 끝남
    • 이 모델을 M1에서 돌리면 359초로 더 오래 걸림