Meta, 차세대 학습 및 추론 가속기 MTIAv2 공개
(ai.meta.com)Meta가 지난 해 공개한, 자체 개발한 AI 추론 가속기인 MTIA(Meta Training and Inference Accelerator) v1의 차세대 버전 MTIAv2를 공개하였습니다. MTIA는 Meta의 AI 워크로드, 특히 제품 전반에 걸쳐 다양한 경험을 개선하는 딥러닝 추천 모델을 위해 설계된 칩입니다. AI 워크로드가 Meta의 제품과 서비스에서 점점 더 중요해짐에 따라, MTIA의 효율성 향상은 전 세계 사용자들에게 최상의 경험을 제공하는 능력을 개선시킬 것으로 보입니다.
이 차세대 MTIAv2 칩은 4개의 주요 모델에서 1세대 칩 대비 성능이 이미 3배 향상된 것으로 나타났습니다. 플랫폼 수준에서는 2배의 디바이스 수와 강력한 2소켓 CPU를 통해 1세대 MTIA 시스템 대비 6배의 모델 서빙 처리량과 1.5배의 성능/와트 향상을 달성할 수 있었습니다. 상용 GPU와 비교했을 때, Meta 고유의 워크로드에 대해 최적의 성능과 효율성을 제공하는 데 있어 MTIA가 매우 상호 보완적인 역할을 하는 것으로 입증되고 있습니다.
MTIAv2의 주요 특징
MTIAv2의 주요 특징은 다음과 같습니다:
- 이전 세대 대비 컴퓨팅 성능과 메모리 대역폭이 2배 이상 향상
- 랭킹 및 추천 모델을 효율적으로 처리하도록 설계
- 8x8 그리드의 처리 요소(PE)로 구성, 밀집 컴퓨팅 성능 3.5배, 희소 컴퓨팅 성능 7배 개선
- 로컬 PE 스토리지 3배, 온칩 SRAM 2배 및 대역폭 3.5배 증가, LPDDR5 용량 2배
- 개선된 NoC(Network on Chip) 아키텍처로 대역폭 2배, 낮은 지연 시간으로 PE 간 조정 가능
⚠️광고⚠️ 파이토치 한국어 커뮤니티에서 동일한 글 보기