Cloud TPU v5e
- 가장 비용 효율적이고 다양하며 확장 가능한 Cloud TPU로, Google Kubernetes Engine (GKE), Vertex AI, Pytorch, JAX, TensorFlow 등 주요 프레임워크와의 통합 제공
- Cloud TPU v4에 비해 LLMs 및 gen AI 모델에 대해 달러당 최대 2배 높은 훈련 성능 및 최대 2.5배 높은 추론 성능 제공
- 다양한 LLM 및 gen AI 모델 크기에 맞는 구성을 선택할 수 있도록 8가지 다른 가상 머신 (VM) 구성 지원
- Multislice 기술 도입으로 사용자가 물리적인 TPU 팟의 경계를 넘어 AI 모델을 수만 개의 Cloud TPU v5e 또는 TPU v4 칩으로 확장 가능
A3 GPU VM
- NVIDIA의 H100 Tensor Core GPU를 탑재. 특히 요구 사항이 높은 gen AI 작업 부하 및 LLMs를 훈련하고 서비스하기 위해 특별히 제작되었으며, 다음 달에 일반적으로 사용 가능할 예정
- A3 VMs는 이전 세대에 비해 3배 빠른 훈련 및 10배 높은 네트워킹 대역폭을 제공하며, 대규모 규모와 성능을 제공