# H100 GPU 거품 붕괴: GPU 가격이 $8에서 $2로 하락한 이유

> Clean Markdown view of GeekNews topic #17198. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=17198](https://news.hada.io/topic?id=17198)
- GeekNews Markdown: [https://news.hada.io/topic/17198.md](https://news.hada.io/topic/17198.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-10-12T09:38:58+09:00
- Updated: 2024-10-12T09:38:58+09:00
- Original source: [latent.space](https://www.latent.space/p/gpu-bubble)
- Points: 8
- Comments: 2

## Summary

H100 GPU의 가격 하락은 오픈소스 모델의 부상과 대체 GPU의 등장으로 인해 GPU 시장의 빠른 변화를 보여주며, 이는 투자자와 인프라 제공업체에 큰 영향을 미칩니다. 이러한 가격 하락은 AI 애플리케이션 개발의 진입 장벽을 낮추어 더 많은 혁신을 촉진할 수 있는 기회를 제공합니다. 또한, GPU 인프라에 대한 투자는 신중한 접근이 필요하며, 시장 동향을 면밀히 관찰해야 할 것입니다.

## Topic Body

- 2023년 11월 ChatGPT 출시 후 H100 GPU 수요 급증으로 시간당 임대료가 $4.70에서 $8 이상으로 치솟음  
- 데이터센터 제공업체들은 시간당 $4.50 이상의 가격으로 H100 임대 시 2년 미만의 투자회수 기간을 예상했음  
- 그러나 2024년 8월 기준 소규모 클러스터의 H100 GPU 임대료는 $1~$2 수준으로 하락함  
  
### 데이터센터의 H100 투자 수익성 기준  
- 시간당 $2.85 이상: S&P500 수익률 상회 가능  
- 시간당 $2.85 미만: S&P500 수익률 하회  
- 시간당 $1.65 미만: 5년간 투자손실 예상  
  
### H100 GPU 시장 가격 급락의 주요 원인  
- 오픈 가중치 모델의 부상으로 추론 및 파인튜닝 수요 증가  
- 반면 중소규모 파운데이션 모델 제작사 시장 위축  
  - 많은 기업과 스타트업이 자체 모델을 훈련하는 것보다 기존 오픈 웨이트 모델을 미세 조정하는 것이 더 경제적이고 효과적임을 깨달음  
  - 70B 이상 대형 모델 학습 계획이 없는 스타트업 및 기업들의 투자 철회  
- 많은 인프라 제공업체는 3-5년의 장기 계약을 통해 이익을 확보함  
  - 이는 2023년 AI 피크 동안 다양한 기초 모델 회사들에 의해 강요되었음  
  - 예약 노드 미사용 용량의 재판매 시작  
- 페이스북, 마이크로소프트 등 대형 모델 제작사들의 자체 클러스터 구축으로 기존 클러스터 수요 감소  
- ChatGPT는 2022년 11월에 A100 시리즈로 출시되었고, H100은 2023년 3월에 도입됨. H100은 A100보다 3배 더 강력하지만 가격은 2배에 불과했음  
- AMD MI300, 인텔 Gaudi3 등 H100 대체 GPU의 등장  
- 이더리움의 지분증명 전환, ASIC의 비트코인 채굴 지배로 GPU 채굴 수요 감소  
  
### 시사점  
- H100 GPU의 평균 비용은 $50k 이상이며, 5년 수명을 가정할 때 다양한 임대 모델이 존재함  
  - 시간당 $2.85 이상이면 주식 시장 IRR을 이길 수 있지만, 그 이하로 떨어지면 손실이 발생할 수 있음  
- 새로운 H100 하드웨어 투자는 손실을 초래할 가능성이 높음   
  - 할인된 H100, 전기요금, 특수한 고객 요구사항 등 예외적 상황 제외  
- 반면 하락하는 H100 가격은 오픈 가중치 AI 확산의 촉매제가 될 것  
  - 개발자와 엔지니어들의 오픈 모델 실험과 애플리케이션 개발 활성화 기대  
- Featherless.AI는 2,000개 이상의 오픈소스 AI 모델 즉시 추론을 월 $10의 고정 가격에 제공  
  - 하드웨어 수익성 확보를 위해 모든 계층 최적화 및 맞춤형 GPU 선택 필수  
  
### GN⁺의 의견  
  
- **GPU 시장의 변화:** H100 GPU의 가격 하락은 GPU 시장의 빠른 변화를 보여줌. 이는 투자자와 인프라 제공업체에게 큰 영향을 미침  
- **오픈소스 모델의 영향력:** Llama 3와 같은 오픈소스 모델의 등장은 파인튜닝과 인퍼런스 수요를 증가시킴. 이는 대규모 모델 훈련에 대한 수요를 감소시킴  
- **대체 GPU의 부상:** AMD와 Intel의 GPU가 H100의 대안으로 떠오르면서 시장 경쟁이 심화되고 있음. 이는 GPU 가격 하락에 추가적인 압력을 가할 수 있음  
- **AI 애플리케이션의 기회:** GPU 비용의 감소는 AI 애플리케이션 개발의 진입 장벽을 낮추어 더 많은 혁신을 촉진할 수 있음  
- **투자 전략의 재고 필요:** GPU 인프라에 대한 투자는 신중한 접근이 필요하며, 시장 동향을 면밀히 관찰해야 할 것임

## Comments



### Comment 30003

- Author: readiz
- Created: 2024-10-14T08:24:34+09:00
- Points: 1

llama가 불러일으킨 나비효과... 흥미롭네요. ㅎㅎ

### Comment 29967

- Author: neo
- Created: 2024-10-12T09:38:59+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=41805446) 
- $2 GPU를 제공하는 서비스는 신뢰할 수 없는 컴퓨팅에 의존하여 사업을 위험에 빠뜨릴 수 있음. AWS는 고급 엔터프라이즈 GPU 인프라의 신뢰성을 높였음.
  - $2 H100을 제공하여 수익을 내는 것은 불가능함.

- 이미 인프라가 있는 데이터 센터는 H100을 통해 큰 수익을 낼 수 있었음. 그러나 효율적인 시장에서는 이러한 기회가 영원히 지속되지 않음.
  - $2.00에서 여전히 수익성이 있지만, 저렴한 전기/인프라/노동이 필요함.

- 진정한 수익은 개별 GPU/기계가 아닌 인피니밴드 클러스터를 임대하는 것에 있음.
  - Lambda One Click 클러스터는 $4.49/H100/시간을 명시함.

- 전 세계적으로 16개의 H100 노드를 필요로 하는 팀은 50개 미만임. 많은 팀이 수익을 내지 못할 것임.
  - 전통적인 소프트웨어 개발 회사도 성공률이 낮음.

- 많은 창업자들이 모델을 훈련하여 투자자를 설득하려 하지만, 실제로 가치 있는 모델을 훈련한 사례는 드뭄.
  - OpenAI조차도 자금 유출을 막기 어려움.
  - 기술 발전이나 저렴한 경쟁자가 나타날 가능성에 대한 우려가 있음.

- AI 연구가 활발했던 시기에 컴퓨팅 자원을 구매할 수 없었던 대학 연구실의 슬픔을 표현함.
  - AI 겨울이 오면서 컴퓨팅 비용이 다시 저렴해질 것임.

- 이 상황은 'The Prize: The Epic Quest for Oil, Money & Power'에서 설명된 석유의 호황과 불황 주기를 떠올리게 함.

- OpenAI는 오픈 소스 모델의 발전에 대응하여 계속해서 모델을 개선해야 함.
  - 시간이 지나면 OpenAI의 이점이 대부분의 사람들에게 중요하지 않을 수 있음.

- GPU 임대 농장에는 나쁜 소식처럼 들림.

- NVDA에 대한 숏 포지션을 약간 늘렸다는 의견을 공유함.
  - 정점이 가까워졌다고 판단함.