# Google Cloud, Cloud TPU v5e 및 Nvidia H100 기반 A3 GPU VM 공개

> Clean Markdown view of GeekNews topic #10679. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10679](https://news.hada.io/topic?id=10679)
- GeekNews Markdown: [https://news.hada.io/topic/10679.md](https://news.hada.io/topic/10679.md)
- Type: GN+
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-09-03T09:06:41+09:00
- Updated: 2023-09-03T09:06:41+09:00
- Original source: [cloud.google.com](https://cloud.google.com/blog/products/compute/announcing-cloud-tpu-v5e-and-a3-gpus-in-ga)
- Points: 4
- Comments: 0

## Topic Body

### Cloud TPU v5e  
- 가장 비용 효율적이고 다양하며 확장 가능한 Cloud TPU로, Google Kubernetes Engine (GKE), Vertex AI, Pytorch, JAX, TensorFlow 등 주요 프레임워크와의 통합 제공  
- Cloud TPU v4에 비해 LLMs 및 gen AI 모델에 대해 달러당 최대 2배 높은 훈련 성능 및 최대 2.5배 높은 추론 성능 제공  
- 다양한 LLM 및 gen AI 모델 크기에 맞는 구성을 선택할 수 있도록 8가지 다른 가상 머신 (VM) 구성 지원  
- Multislice 기술 도입으로 사용자가 물리적인 TPU 팟의 경계를 넘어 AI 모델을 수만 개의 Cloud TPU v5e 또는 TPU v4 칩으로 확장 가능  
### A3 GPU VM  
- NVIDIA의 H100 Tensor Core GPU를 탑재. 특히 요구 사항이 높은 gen AI 작업 부하 및 LLMs를 훈련하고 서비스하기 위해 특별히 제작되었으며, 다음 달에 일반적으로 사용 가능할 예정  
- A3 VMs는 이전 세대에 비해 3배 빠른 훈련 및 10배 높은 네트워킹 대역폭을 제공하며, 대규모 규모와 성능을 제공

## Comments



_No public comments on this page._