▲GN⁺ 2024-10-12 | parent | ★ favorite | on: H100 GPU 거품 붕괴: GPU 가격이 $8에서 $2로 하락한 이유(latent.space)Hacker News 의견 $2 GPU를 제공하는 서비스는 신뢰할 수 없는 컴퓨팅에 의존하여 사업을 위험에 빠뜨릴 수 있음. AWS는 고급 엔터프라이즈 GPU 인프라의 신뢰성을 높였음. $2 H100을 제공하여 수익을 내는 것은 불가능함. 이미 인프라가 있는 데이터 센터는 H100을 통해 큰 수익을 낼 수 있었음. 그러나 효율적인 시장에서는 이러한 기회가 영원히 지속되지 않음. $2.00에서 여전히 수익성이 있지만, 저렴한 전기/인프라/노동이 필요함. 진정한 수익은 개별 GPU/기계가 아닌 인피니밴드 클러스터를 임대하는 것에 있음. Lambda One Click 클러스터는 $4.49/H100/시간을 명시함. 전 세계적으로 16개의 H100 노드를 필요로 하는 팀은 50개 미만임. 많은 팀이 수익을 내지 못할 것임. 전통적인 소프트웨어 개발 회사도 성공률이 낮음. 많은 창업자들이 모델을 훈련하여 투자자를 설득하려 하지만, 실제로 가치 있는 모델을 훈련한 사례는 드뭄. OpenAI조차도 자금 유출을 막기 어려움. 기술 발전이나 저렴한 경쟁자가 나타날 가능성에 대한 우려가 있음. AI 연구가 활발했던 시기에 컴퓨팅 자원을 구매할 수 없었던 대학 연구실의 슬픔을 표현함. AI 겨울이 오면서 컴퓨팅 비용이 다시 저렴해질 것임. 이 상황은 'The Prize: The Epic Quest for Oil, Money & Power'에서 설명된 석유의 호황과 불황 주기를 떠올리게 함. OpenAI는 오픈 소스 모델의 발전에 대응하여 계속해서 모델을 개선해야 함. 시간이 지나면 OpenAI의 이점이 대부분의 사람들에게 중요하지 않을 수 있음. GPU 임대 농장에는 나쁜 소식처럼 들림. NVDA에 대한 숏 포지션을 약간 늘렸다는 의견을 공유함. 정점이 가까워졌다고 판단함.
Hacker News 의견
$2 GPU를 제공하는 서비스는 신뢰할 수 없는 컴퓨팅에 의존하여 사업을 위험에 빠뜨릴 수 있음. AWS는 고급 엔터프라이즈 GPU 인프라의 신뢰성을 높였음.
이미 인프라가 있는 데이터 센터는 H100을 통해 큰 수익을 낼 수 있었음. 그러나 효율적인 시장에서는 이러한 기회가 영원히 지속되지 않음.
진정한 수익은 개별 GPU/기계가 아닌 인피니밴드 클러스터를 임대하는 것에 있음.
전 세계적으로 16개의 H100 노드를 필요로 하는 팀은 50개 미만임. 많은 팀이 수익을 내지 못할 것임.
많은 창업자들이 모델을 훈련하여 투자자를 설득하려 하지만, 실제로 가치 있는 모델을 훈련한 사례는 드뭄.
AI 연구가 활발했던 시기에 컴퓨팅 자원을 구매할 수 없었던 대학 연구실의 슬픔을 표현함.
이 상황은 'The Prize: The Epic Quest for Oil, Money & Power'에서 설명된 석유의 호황과 불황 주기를 떠올리게 함.
OpenAI는 오픈 소스 모델의 발전에 대응하여 계속해서 모델을 개선해야 함.
GPU 임대 농장에는 나쁜 소식처럼 들림.
NVDA에 대한 숏 포지션을 약간 늘렸다는 의견을 공유함.