1P by neo 5달전 | favorite | 댓글 1개

AMD의 MI300X, NVIDIA의 H100을 능가하는 성능

주요 내용

  • AMD의 MI300X 가속기: AMD의 최신 MI300X 가속기가 NVIDIA의 H100을 능가하는 성능을 보임.
  • TensorWave와 MK1의 협력: 지난 한 달 동안 TensorWave와 MK1이 AMD 하드웨어의 AI 추론 성능을 최적화하기 위해 협력함.
  • MoE 아키텍처: Mixture of Expert (MoE) 아키텍처를 사용하여 성능을 테스트함. MoE는 Mistral, Meta, Databricks, X.ai 등에서 사용되는 강력한 오픈소스 LLM에 적용됨.
  • 초기 결과: MK1의 추론 소프트웨어를 사용하여 MI300X가 Mixtral 8x7B에서 vLLM을 실행할 때 H100 SXM보다 33% 높은 처리량을 달성함.
  • 경쟁력: NVIDIA의 소프트웨어 생태계가 더 성숙했음에도 불구하고, AMD는 AI 시장에서 강력한 경쟁자로 부상함. 하드웨어 가용성과 비용을 고려할 때, MI300X는 클라우드에서 대규모 추론을 실행하는 기업들에게 매력적인 옵션임.
  • 미래 전망: 추가 최적화를 통해 AMD의 성능 우위가 더욱 높아질 것으로 예상됨.

GN⁺의 의견

  • 성능 향상 가능성: 초기 결과만으로도 AMD의 MI300X가 높은 성능을 보였음. 추가 최적화를 통해 더 나은 성능을 기대할 수 있음.
  • 시장 경쟁력: NVIDIA의 소프트웨어 생태계가 더 성숙했지만, AMD의 하드웨어가 경쟁력 있는 성능을 보임으로써 시장에서의 입지를 강화할 수 있음.
  • 비용 효율성: 하드웨어 가용성과 비용 측면에서 MI300X가 더 나은 선택이 될 수 있음. 이는 특히 대규모 추론 작업을 수행하는 기업들에게 중요한 요소임.
  • 기술 도입 고려사항: 새로운 하드웨어를 도입할 때는 소프트웨어 호환성과 최적화가 중요한 요소임. AMD의 MI300X를 도입할 경우, 초기 설정과 최적화에 대한 추가적인 노력이 필요할 수 있음.
  • 경쟁 제품: NVIDIA의 H100 외에도 다른 AI 가속기 제품들이 존재함. 예를 들어, Google의 TPU나 Intel의 Habana Labs 가속기 등이 있음. 각 제품의 특성과 성능을 비교하여 최적의 선택을 하는 것이 중요함.
Hacker News 의견
  • TensorWave는 AI 워크로드에 특화된 클라우드 제공업체로, AMD의 Instinct™ MI300X 가속기를 활용하여 높은 성능을 제공함.
  • 2024년에 128 입력 토큰 벤치마크를 사용하는 것은 대부분의 워크로드를 대표하지 않으며, 사전 채우기 성능이 매우 중요함.
  • 경쟁이 필요하며, 현재 Nvidia의 시장 가치는 약 0.6조 달러로 프랑크푸르트 증권거래소 전체보다 높음.
  • 시장과 판매 가격은 Nvidia 솔루션의 가치와 AMD 솔루션의 가치를 반영하며, 도구, 소프트웨어, 총 소유 비용(TCO), 관리 가능성을 포함함.
  • 많은 기업들이 8x 7B 매개변수 모델을 병렬로 실행하기 위해 많은 돈을 쓰는지 궁금하며, 단일 가속기로 14B 모델을 훈련할 수 있는지 궁금함.
  • AMD와 다른 회사들은 벤치마크를 선택적으로 사용하여 Nvidia를 이기려 하고 있으며, 중간 세대 비교 모델을 사용함.
  • AI 과학자로서 AMD가 Nvidia에 비해 저평가되었다고 생각함. 칩은 Nvidia만큼 빠르지 않지만 대부분의 산업에서 비용 효율적이고 비슷한 결과를 얻을 수 있음.
  • 텐서 병렬 설정이 성능에 영향을 미치는지 궁금함. 기사에 따르면 AMD는 텐서 병렬성을 1로 설정하고, Nvidia는 2로 설정함.
  • 적절한 통계적 지표와 성능/와트가 없으면 비교가 무의미함.
  • INT8/FP8 벤치마크가 좋았을 것이며, 두 카드 모두 약 60GB VRAM으로 로드할 수 있었음.
  • AMD는 더 나은 하드웨어를 가지고 있지만, 아직 Nvidia와 경쟁할 생산 능력이 부족함. 실제 경쟁이 따라잡으면 마진이 압축될 것임.
  • Nvidia의 지배력은 CUDA 때문이 아니라, 매출의 약 40%가 자체 커스텀 스택을 사용하는 대기업에서 나옴. 경쟁이 따라잡으면 더 저렴한 GPU를 제공할 것임.
  • MI300X는 이론적으로 더 저렴해야 하지만, 실제로 그런지 여부는 지켜봐야 함.