GN⁺: H100 GPU 거품 붕괴: GPU 가격이 $8에서 $2로 하락한 이유
(latent.space)- 2023년 11월 ChatGPT 출시 후 H100 GPU 수요 급증으로 시간당 임대료가 $4.70에서 $8 이상으로 치솟음
- 데이터센터 제공업체들은 시간당 $4.50 이상의 가격으로 H100 임대 시 2년 미만의 투자회수 기간을 예상했음
- 그러나 2024년 8월 기준 소규모 클러스터의 H100 GPU 임대료는 $1~$2 수준으로 하락함
데이터센터의 H100 투자 수익성 기준
- 시간당 $2.85 이상: S&P500 수익률 상회 가능
- 시간당 $2.85 미만: S&P500 수익률 하회
- 시간당 $1.65 미만: 5년간 투자손실 예상
H100 GPU 시장 가격 급락의 주요 원인
- 오픈 가중치 모델의 부상으로 추론 및 파인튜닝 수요 증가
- 반면 중소규모 파운데이션 모델 제작사 시장 위축
- 많은 기업과 스타트업이 자체 모델을 훈련하는 것보다 기존 오픈 웨이트 모델을 미세 조정하는 것이 더 경제적이고 효과적임을 깨달음
- 70B 이상 대형 모델 학습 계획이 없는 스타트업 및 기업들의 투자 철회
- 많은 인프라 제공업체는 3-5년의 장기 계약을 통해 이익을 확보함
- 이는 2023년 AI 피크 동안 다양한 기초 모델 회사들에 의해 강요되었음
- 예약 노드 미사용 용량의 재판매 시작
- 페이스북, 마이크로소프트 등 대형 모델 제작사들의 자체 클러스터 구축으로 기존 클러스터 수요 감소
- ChatGPT는 2022년 11월에 A100 시리즈로 출시되었고, H100은 2023년 3월에 도입됨. H100은 A100보다 3배 더 강력하지만 가격은 2배에 불과했음
- AMD MI300, 인텔 Gaudi3 등 H100 대체 GPU의 등장
- 이더리움의 지분증명 전환, ASIC의 비트코인 채굴 지배로 GPU 채굴 수요 감소
시사점
- H100 GPU의 평균 비용은 $50k 이상이며, 5년 수명을 가정할 때 다양한 임대 모델이 존재함
- 시간당 $2.85 이상이면 주식 시장 IRR을 이길 수 있지만, 그 이하로 떨어지면 손실이 발생할 수 있음
- 새로운 H100 하드웨어 투자는 손실을 초래할 가능성이 높음
- 할인된 H100, 전기요금, 특수한 고객 요구사항 등 예외적 상황 제외
- 반면 하락하는 H100 가격은 오픈 가중치 AI 확산의 촉매제가 될 것
- 개발자와 엔지니어들의 오픈 모델 실험과 애플리케이션 개발 활성화 기대
- Featherless.AI는 2,000개 이상의 오픈소스 AI 모델 즉시 추론을 월 $10의 고정 가격에 제공
- 하드웨어 수익성 확보를 위해 모든 계층 최적화 및 맞춤형 GPU 선택 필수
GN⁺의 의견
- GPU 시장의 변화: H100 GPU의 가격 하락은 GPU 시장의 빠른 변화를 보여줌. 이는 투자자와 인프라 제공업체에게 큰 영향을 미침
- 오픈소스 모델의 영향력: Llama 3와 같은 오픈소스 모델의 등장은 파인튜닝과 인퍼런스 수요를 증가시킴. 이는 대규모 모델 훈련에 대한 수요를 감소시킴
- 대체 GPU의 부상: AMD와 Intel의 GPU가 H100의 대안으로 떠오르면서 시장 경쟁이 심화되고 있음. 이는 GPU 가격 하락에 추가적인 압력을 가할 수 있음
- AI 애플리케이션의 기회: GPU 비용의 감소는 AI 애플리케이션 개발의 진입 장벽을 낮추어 더 많은 혁신을 촉진할 수 있음
- 투자 전략의 재고 필요: GPU 인프라에 대한 투자는 신중한 접근이 필요하며, 시장 동향을 면밀히 관찰해야 할 것임
Hacker News 의견
-
$2 GPU를 제공하는 서비스는 신뢰할 수 없는 컴퓨팅에 의존하여 사업을 위험에 빠뜨릴 수 있음. AWS는 고급 엔터프라이즈 GPU 인프라의 신뢰성을 높였음.
- $2 H100을 제공하여 수익을 내는 것은 불가능함.
-
이미 인프라가 있는 데이터 센터는 H100을 통해 큰 수익을 낼 수 있었음. 그러나 효율적인 시장에서는 이러한 기회가 영원히 지속되지 않음.
- $2.00에서 여전히 수익성이 있지만, 저렴한 전기/인프라/노동이 필요함.
-
진정한 수익은 개별 GPU/기계가 아닌 인피니밴드 클러스터를 임대하는 것에 있음.
- Lambda One Click 클러스터는 $4.49/H100/시간을 명시함.
-
전 세계적으로 16개의 H100 노드를 필요로 하는 팀은 50개 미만임. 많은 팀이 수익을 내지 못할 것임.
- 전통적인 소프트웨어 개발 회사도 성공률이 낮음.
-
많은 창업자들이 모델을 훈련하여 투자자를 설득하려 하지만, 실제로 가치 있는 모델을 훈련한 사례는 드뭄.
- OpenAI조차도 자금 유출을 막기 어려움.
- 기술 발전이나 저렴한 경쟁자가 나타날 가능성에 대한 우려가 있음.
-
AI 연구가 활발했던 시기에 컴퓨팅 자원을 구매할 수 없었던 대학 연구실의 슬픔을 표현함.
- AI 겨울이 오면서 컴퓨팅 비용이 다시 저렴해질 것임.
-
이 상황은 'The Prize: The Epic Quest for Oil, Money & Power'에서 설명된 석유의 호황과 불황 주기를 떠올리게 함.
-
OpenAI는 오픈 소스 모델의 발전에 대응하여 계속해서 모델을 개선해야 함.
- 시간이 지나면 OpenAI의 이점이 대부분의 사람들에게 중요하지 않을 수 있음.
-
GPU 임대 농장에는 나쁜 소식처럼 들림.
-
NVDA에 대한 숏 포지션을 약간 늘렸다는 의견을 공유함.
- 정점이 가까워졌다고 판단함.