▲

GN⁺: 인텔 Gaudi 3 AI 가속기 출시

 (intel.com)
8P by neo 23일전 | favorite | 댓글 1개

  • Intel Gaudi 3 AI 가속기 소개

    • 2024년 4월 9일 애리조나 주 피닉스에서 열린 Intel Vision 행사에서 Intel Gaudi 3 AI 가속기가 발표됨
    • BF16에 대해 4배의 AI 연산 성능과 이전 세대 대비 메모리 대역폭 1.5배 증가를 제공함
    • 범용 커뮤니티 기반 소프트웨어와 업계 표준 이더넷을 통해 고객에게 선택권을 제공하고 시스템을 보다 유연하게 확장할 수 있도록 지원함

  • Gaudi 3가 중요한 이유

    • 금융, 제조, 의료 등 주요 분야의 기업들이 AI 접근성을 확대하고 생성형 AI(GenAI) 프로젝트를 실험 단계에서 대규모 구현 단계로 빠르게 전환하고 있음
    • 이러한 전환을 관리하고 혁신을 촉진하며 수익 증대 목표를 실현하기 위해서는 개방적이고 비용 효율적이며 에너지 효율성이 높은 솔루션과 제품이 필요함
    • Intel Gaudi 3 가속기는 이러한 요구 사항을 충족하고 개방형 커뮤니티 기반 소프트웨어와 개방형 업계 표준 이더넷을 통해 다양성을 제공하여 기업이 AI 시스템과 애플리케이션을 유연하게 확장할 수 있도록 지원할 것임

  • 맞춤형 아키텍처가 GenAI 성능과 효율성을 제공하는 방법

    • Intel Gaudi 3 가속기는 효율적인 대규모 AI 연산을 위해 설계되었으며, 5nm 공정으로 제조되어 이전 세대 대비 큰 발전을 이루었음
    • 모든 엔진을 병렬로 활성화할 수 있도록 설계되어 빠르고 효율적인 딥 러닝 연산과 확장에 필요한 가속을 가능하게 함
    • 주요 기능:
      • AI 전용 연산 엔진: 64개의 AI 맞춤형 프로그래밍 가능한 TPC와 8개의 MME로 구성된 이기종 연산 엔진 탑재
      • LLM 용량 요구 사항을 위한 메모리 부스트: 128GB HBMe2 메모리, 3.7TB 메모리 대역폭, 96MB 온보드 SRAM 제공
      • 엔터프라이즈 GenAI를 위한 효율적인 시스템 확장: 유연하고 개방형 표준 네트워킹을 제공하는 24개의 200Gb 이더넷 포트 통합
      • 개발자 생산성을 위한 개방형 업계 소프트웨어: PyTorch 프레임워크 통합 및 최적화된 Hugging Face 커뮤니티 기반 모델 제공
    • Gaudi 3 PCIe 추가 기능: 미세 조정, 추론 및 검색 증강 생성(RAG)에 이상적인 새로운 폼 팩터

  • 시장 채택 및 가용성

    • Intel Gaudi 3 가속기는 2024년 2분기에 OEM에 Universal Baseboard 및 개방형 가속기 모듈(OAM)의 업계 표준 구성으로 제공될 예정임
    • Dell Technologies, Hewlett Packard Enterprise, Lenovo, Supermicro 등 주요 OEM 채택 예정
    • Intel Gaudi 3 가속기의 일반 가용성은 2024년 3분기로 예상되며, Intel Gaudi 3 PCIe 애드인 카드는 2024년 4분기에 제공될 것으로 예상됨
    • NAVER를 포함한 여러 비용 효율적인 클라우드 LLM 인프라에서 Intel Gaudi 3 가속기 사용 예정

  • 향후 계획

    • Intel Gaudi 3 가속기의 모멘텀은 Intel의 차세대 AI 및 HPC용 GPU인 Falcon Shores의 기반이 될 것임
    • Falcon Shores는 Intel Gaudi 및 Intel Xe IP를 통합하고 Intel oneAPI 사양을 기반으로 하는 단일 GPU 프로그래밍 인터페이스를 제공할 예정

GN⁺의 의견

  • Intel Gaudi 3는 Nvidia H100, H200과 같은 주요 경쟁 제품 대비 GenAI 모델 학습 및 추론 성능에서 상당한 개선을 보여줌. 이는 AI 시장에서 Nvidia의 독점적 지위에 도전할 만한 대안으로 자리매김할 수 있을 것으로 보임
  • 개방형 소프트웨어 및 표준 기반 확장성 지원은 기업의 비용 효율성과 vendor lock-in 방지에 기여할 수 있음. 특히 AI 시스템을 대규모로 구축하려는 기업에게 매력적인 선택지가 될 수 있음
  • 다만 Intel은 최근 몇 년간 CPU 시장에서의 경쟁력 약화, 제품 출시 지연 등의 어려움을 겪어 왔음. Gaudi 3가 예정대로 출시되고 고객사의 폭넓은 도입이 이뤄질 수 있을지 주목해 볼 필요가 있음
  • AI 반도체 시장에서 AMD의 Instinct MI300과 같은 경쟁 제품들도 출시를 앞두고 있어 경쟁이 심화될 것으로 예상됨. 기술적 우위뿐 아니라 소프트웨어 생태계 구축, 고객사 확보 등이 주요 승부처가 될 전망
▲
neo 23일전  [-]
Hacker News 의견
  • OAM 인터페이스 사용으로 인해 8~10년 후에도 애호가들이 이 디바이스를 활용할 수 있게 될 것임
  • 인텔이 이 제품군을 꾸준히 오래 지원할지에 대해서는 회의적임
  • HBM2e 메모리를 사용하고 있는데, 이는 2020년에 출시된 Nvidia A100에서 사용된 것으로 최신은 아니지만 8개의 스택을 사용해 H100의 대역폭에 필적함
  • 'Gaudi 3 PCIe'의 가격이 워크스테이션에 탑재할 만큼 합리적일지 관심이 있음
  • 이 발표에서 5Ws와 H 기법을 사용한 것에 감사함
  • Gaudi 3는 TSMC나 삼성에서 5nm 공정으로 제조되는 것으로 보임
  • MoE 등의 희소 아키텍처 대두로 128GB 용량이 중요해 보이며, Nvidia와 경쟁하게 될 것으로 보임
  • AMD MI300x에 대해서도 MLPerf 벤치마크 작업을 기대함
  • 200Gb 이더넷 포트 24개 통합은 인상적이면서도 케이블 비용 등을 고려하면 실망스러움
  • "terabytes (TB)"가 메모리 대역폭 단위로 사용된 것이 특이함
답변달기