Hacker News 의견

• TensorWave는 AI 워크로드에 특화된 클라우드 제공업체로, AMD의 Instinct™ MI300X 가속기를 활용하여 높은 성능을 제공함.
• 2024년에 128 입력 토큰 벤치마크를 사용하는 것은 대부분의 워크로드를 대표하지 않으며, 사전 채우기 성능이 매우 중요함.
• 경쟁이 필요하며, 현재 Nvidia의 시장 가치는 약 0.6조 달러로 프랑크푸르트 증권거래소 전체보다 높음.
• 시장과 판매 가격은 Nvidia 솔루션의 가치와 AMD 솔루션의 가치를 반영하며, 도구, 소프트웨어, 총 소유 비용(TCO), 관리 가능성을 포함함.
• 많은 기업들이 8x 7B 매개변수 모델을 병렬로 실행하기 위해 많은 돈을 쓰는지 궁금하며, 단일 가속기로 14B 모델을 훈련할 수 있는지 궁금함.
• AMD와 다른 회사들은 벤치마크를 선택적으로 사용하여 Nvidia를 이기려 하고 있으며, 중간 세대 비교 모델을 사용함.
• AI 과학자로서 AMD가 Nvidia에 비해 저평가되었다고 생각함. 칩은 Nvidia만큼 빠르지 않지만 대부분의 산업에서 비용 효율적이고 비슷한 결과를 얻을 수 있음.
• 텐서 병렬 설정이 성능에 영향을 미치는지 궁금함. 기사에 따르면 AMD는 텐서 병렬성을 1로 설정하고, Nvidia는 2로 설정함.
• 적절한 통계적 지표와 성능/와트가 없으면 비교가 무의미함.
• INT8/FP8 벤치마크가 좋았을 것이며, 두 카드 모두 약 60GB VRAM으로 로드할 수 있었음.
• AMD는 더 나은 하드웨어를 가지고 있지만, 아직 Nvidia와 경쟁할 생산 능력이 부족함. 실제 경쟁이 따라잡으면 마진이 압축될 것임.
• Nvidia의 지배력은 CUDA 때문이 아니라, 매출의 약 40%가 자체 커스텀 스택을 사용하는 대기업에서 나옴. 경쟁이 따라잡으면 더 저렴한 GPU를 제공할 것임.
• MI300X는 이론적으로 더 저렴해야 하지만, 실제로 그런지 여부는 지켜봐야 함.