▲

GN⁺: 엔비디아 CEO 젠슨 황, 새로운 AI 칩 발표: "더 큰 GPU가 필요하다"

 (cnbc.com)
2P by neo 8달전 | favorite | 댓글 2개

엔비디아 CEO Jensen Huang, 새로운 AI 칩 발표: '더 큰 GPU가 필요함'

  • 엔비디아는 월요일에 새로운 세대의 인공지능(AI) 칩과 AI 모델을 실행하기 위한 소프트웨어를 발표함.
  • 새로운 AI 그래픽 프로세서의 이름은 '블랙웰'이며, 올해 말에 출하될 예정임.
  • 이 발표는 현재 세대의 H100과 유사한 칩을 손에 넣기 위해 여전히 분주한 기업들과 소프트웨어 제작자들에게 중요한 시점에 이루어짐.

블랙웰, 호퍼의 후속작

  • 엔비디아는 두 년마다 GPU 아키텍처를 업데이트하여 성능의 큰 도약을 이룸.
  • 블랙웰 기반 프로세서인 GB200은 AI 성능에서 H100의 4페타플롭스 대비 20페타플롭스를 제공하여 AI 회사들이 더 크고 복잡한 모델을 훈련할 수 있게 함.
  • 이 칩은 트랜스포머 기반 AI를 실행하기 위해 특별히 만들어진 '트랜스포머 엔진'을 포함하고 있으며, TSMC에서 제조된 두 개의 다이를 하나의 큰 칩으로 결합함.

엔비디아 추론 마이크로서비스

  • 엔비디아는 엔비디아 엔터프라이즈 소프트웨어 구독에 'NIM'(Nvidia Inference Microservice)이라는 새로운 제품을 추가함.
  • NIM은 기존의 엔비디아 GPU를 사용하여 AI 소프트웨어를 실행하는 추론 과정을 용이하게 하며, 회사들이 이미 소유하고 있는 수백만 개의 엔비디아 GPU를 계속 사용할 수 있게 함.
  • 이 전략은 엔비디아 기반 서버를 구매하는 고객들이 연간 GPU당 $4,500의 라이선스 비용을 지불하는 엔비디아 엔터프라이즈에 가입하도록 유도함.

GN⁺의 의견

  • 엔비디아의 새로운 AI 칩 '블랙웰'과 관련 소프트웨어 'NIM'의 발표는 AI 분야에서의 기술적 진보를 상징하며, AI 모델의 훈련과 추론을 위한 하드웨어 및 소프트웨어 플랫폼의 중요성을 강조함.
  • 블랙웰 칩의 성능 향상은 AI 연구자들이 더 크고 복잡한 모델을 실험할 수 있는 기회를 제공하며, 이는 AI의 발전에 중요한 역할을 할 수 있음.
  • 그러나 고성능 AI 칩의 고가격은 일부 기업이나 연구 기관에게 진입 장벽이 될 수 있으며, 이는 기술의 민주화에 대한 논의를 촉발할 수 있음.
  • 엔비디아와 경쟁하는 다른 회사들도 유사한 기능을 가진 제품을 개발하고 있으며, 예를 들어 AMD의 Radeon Instinct 또는 Google의 TPU와 같은 제품들이 AI 하드웨어 시장에서 선택지를 제공함.
  • AI 기술 도입 시 고려해야 할 사항으로는 비용, 성능, 호환성, 그리고 기술 지원과 같은 요소들이 있으며, 엔비디아의 새로운 기술 선택은 이러한 요소들을 충족시키는 기업에게는 큰 이점을 제공할 수 있음.
▲
corelyai 8달전  [-]
  • Nvidia 개발자 컨퍼런스: 블랙웰 칩과 미래 기술 소개
  • Nvidia는 초당 10테라바이트의 데이터를 전송하는 하나의 거대한 칩을 만들기 위해 두 개의 다이에 인접한 280억 개의 트랜지스터를 갖춘 혁신적인 플랫폼인 Blackwell을 소개하며, Hopper와의 형태 맞춤 기능 호환성을 제공합니다.
  • 500억 개의 트랜지스터가 탑재된 Blackwell의 MVY 링크 스위치는 GPU 간의 최고 속도 통신을 가능하게 하여 하나의 랙에서 엑사플롭스 AI 시스템을 구축할 수 있게 합니다.
  • Nvidia 블랙웰은 AWS, 구글, 오라클, 마이크로소프트와 파트너십을 맺고 다양한 AI 서비스를 가속화하고 엔비디아 기술을 해당 플랫폼에 통합한다고 발표했습니다.
  • Nvidia는 제너레이티브 AI 솔루션 및 AI 팩토리 구축을 위해 SAP, ServiceNow, Cohesity, Snowflake, Dell과 같은 기업과 협력하는 AI 파운드리를 공개했습니다.
  • 옴니버스 클라우드를 비전 프로에 스트리밍하여 다양한 디자인 툴 간의 원활한 통합과 워크플로우를 지- 원하고, 엔비디아는 AI 기반 로봇을 위한 프로젝트 그루트, 아이작 랩, 오스모를 소개합니다.
  • Jetson으로 구동되는 디즈니의 bdx 로봇이 특별 출연하여 Isaac Sim에서 학습 기능을 선보입니다.

코얼리(corely.ai)로 요약한 CNET 영상 내용입니다 (https://www.youtube.com/watch?v=bMIRhOXAjYk)

답변달기
▲
neo 8달전  [-]
Hacker News 의견

  • Nvidia가 스택을 올리는 방향으로 움직이고 있음을 컨퍼런스에서 확인함.

    • Nvidia는 하드웨어 벤더로서 예상대로 더 큰 것을 계속 만들고 있음.
    • 주목할 점은 "docker for llms"인 NIM을 구축하고 있다는 것.
    • NIM은 Nvidia 하드웨어에서 쉽게 배포할 수 있는 컨테이너 시스템.
    • AI 스타트업에 어떤 영향을 미칠지 지켜보는 것이 흥미로움.

  • Nvidia가 플랫폼 제공업체로 변화하고 있음을 인식함.

    • AI 서비스 플랫폼으로서 Nvidia에게 더 수익성이 좋을 것으로 보임.
    • AWS와 Microsoft와의 파트너십과의 균형이 어려울 수 있음.
    • Nvidia는 CUDA에 대한 AI 의존도가 높기 때문에 유리함.
    • 향후 어떻게 전개될지 관심이 있음.

  • FP4가 4비트 부동 소수점인지 궁금함.

    • Hopper보다 30배 높다는 비교 그래프가 다소 오해의 소지가 있음.

  • Nvidia가 몇 년 전 Bright Cluster Manager를 인수함.

    • 다음 인수 대상은 누구일지, 전체 스택을 제공하려는 의도가 보임.

  • "플랫폼 회사"가 이 경우 다중 칩을 의미하는지 질문함.

    • 단일 다이에 너무 많은 트랜지스터를 집어넣는 것이 비현실적이므로 다중 칩으로 가는 것이 논리적임.

  • 25배의 전력 소비 감소를 주장하는데, 이해하기 어려움.

    • 이 숫자가 어디서 나온 것인지 설명이 필요함.

  • 두 자릿수 페타플롭 대량 생산에 대한 언급.

    • 인간 뇌의 활동을 복제하는 데 필요한 컴퓨팅 파워에 대한 다양한 추정치가 있음.
    • 페타플롭은 10^15임.
    • 놀라운 시대임을 강조함.

  • Nvidia의 데이터 센터 수익이 2023년 4분기에 기록적인 $18.4억을 달성함.

    • 이전 분기보다 27%, 전년 대비 409% 증가함.
    • 추론에서의 수익이 상당히 증가하고 있음을 시사함.

  • FP8이 Hopper보다 2.5배라는 것은 오랜 시간 후에는 다소 실망스러움.

    • 2개의 퓨즈된 칩이므로 실제 효과는 25% 증가에 불과함.
    • 대부분의 진전은 메모리 처리량과 전력 사용에 있음.
    • 이러한 진전이 소비자 부문에 어떻게 영향을 미칠지 궁금함.

  • 기술적인 세부 사항에 대한 추가 정보 링크 제공.

답변달기