▲

GN⁺: 속삭임: 엔비디아 RTX 4090 대 M1 프로 MLX 비교

 (owehrens.com)
2P by neo 11달전 | favorite | 댓글 1개

Nvidia RTX 4090 대비 Apple MLX 프레임워크 성능 비교

  • Apple이 Apple Silicon용 머신러닝 프레임워크를 출시함.
  • 이 프레임워크의 성능을 벤치마킹하기 위해 Whisper 예제 사용함.
  • Python 코드를 통해 오디오 파일을 대상으로 성능 측정을 진행함.

결과

  • 10분짜리 오디오 파일을 처리하는 데 M1 Pro는 216초, Nvidia 4090은 186초가 소요됨.
  • Nvidia 최적화 모델을 사용하면 8초만에 처리 가능함.
  • Macbook과 PC의 하드웨어 사양이 상세히 기술됨.

놀라운 속도의 Whisper

  • HackerNews에서 화제가 된 기사로, 사용자가 Nvidia 4090으로 8초만에 처리한 사례 공유함.
  • MacOS에서도 실험을 진행했으며, 결과는 MLX 버전보다 느림.

M2 Ultra / M3 Max 업데이트

  • M2 Ultra와 M3 Max에서 동일한 오디오 파일을 처리한 결과, M1보다 훨씬 빠르지만 두 GPU 간에는 비슷한 속도를 보임.

비교

  • 여러 요인에 의해 정확하지 않을 수 있지만 대략적인 성능 비교가 가능함.

전력 소비

  • PC와 Macbook의 전력 소비 차이를 측정함.
  • Nvidia 4090이 작동 중일 때와 대기 상태일 때의 PC 전력 소비 차이는 242W, M1 GPU 코어가 작동 중일 때와 대기 상태일 때의 Macbook 전력 소비 차이는 38W임.

왜 이런 테스트를 하는가?

  • https://podpodgogo.com에서 팟캐스트 검색 엔진을 운영하며, 수천 개의 에피소드를 전사하여 전문 검색 가능하게 하고 데이터 마이닝을 수행함.

GN⁺의 의견:

  • 이 기사에서 가장 중요한 점은 Apple Silicon용 머신러닝 프레임워크의 성능이 Nvidia의 최신 소비자용 그래픽 카드와 비교했을 때 경쟁력이 있다는 것임.
  • 특히 노트북에서 이러한 성능을 낼 수 있다는 점이 매우 흥미롭고, 이는 머신러닝 작업에 있어서 휴대성과 성능 사이의 균형을 찾는 사용자들에게 매력적인 선택지가 될 수 있음.
  • 전력 소비 측면에서도 Macbook이 상대적으로 효율적이라는 점이 강조되며, 이는 환경적 지속 가능성과 비용 효율성을 중시하는 사용자들에게 중요한 정보가 될 수 있음.
▲
neo 11달전  [-]
Hacker News 의견

  • OpenAI Whisper 저장소를 사용하는 것 같음. 진정한 비교를 위해서는 MLX를 4090에서 실행되는 faster-whisper나 insanely-fast-whisper와 비교해야 함.

    • 실제 사용 사례에서 faster whisper가 이전 세그먼트 텍스트를 포함할 때 품질이 더 좋다는 것을 발견함.
    • faster whisper는 OpenAI/whisper보다 대략 4-5배 빠르며, insanely-fast-whisper는 faster whisper보다 또 다시 3-4배 빠름.
    • 4090에서 실행된 Whisper가 매우 최적화되지 않았다면 이러한 결과는 의심스러움.

  • Apple MLX의 최신 릴리스를 활용하고 있으며, Apple 특화 최적화를 사용하는 코드임.

    • MLX가 Mac과 iOS에서 Swift 바인딩이 출시되면 주목을 받을 것으로 예상됨.
    • 현재 C++20 컴파일 문제가 있을 수 있음.

  • Whisper가 순차적인 특성과 정수 수학 때문에 선택되었는지, 다른 모델에도 이러한 결과가 적용되는지 의문.

    • MLX에서 아직 최적화되지 않은 연산이 있음.
    • CPU/GPU에 직접 연결된 매우 빠른 RAM의 장점과 이로 인한 지연 시간/공동 접근성 관점에서 인상적인 숫자임.
    • M3 Max 시스템의 비용이 4090의 약 2배임을 고려할 가치가 있음.

  • Mac M1에서 Whisper를 실행하는 것은 쉬우나 MLX를 기본적으로 사용하지 않음.

    • MLX를 사용하도록 설정하는 데 필요한 것을 파악하기 위해 몇 시간을 소비함.
    • GPU가 있는 VM을 빌려 몇 분 만에 Whisper를 시작함.

  • 어떤 것이 X 작업에 대해 최고의 선택인지에 대한 많은 논쟁이 있겠지만, 낮은 전력 소비에서 이러한 성능 수준을 제공하는 것이 매력적임.

  • Apple의 Vision Pro를 고려할 때, 노트북에서는 큰 의미가 없을 수 있지만 전력을 많이 소모하는 헤드셋에서는 큰 이점임.

  • 좋은 오픈 소스 필사 및 발화자 식별 앱이나 워크플로우에 대한 도움 요청.

    • 몇 가지를 살펴봤지만 잘 작동하지 않고 충돌함.

  • 대부분의 GPU에서 1시간 분량의 오디오를 1분 이내에 필사할 수 있는 Whisper 파생 저장소 사용 권장.

답변달기