▲

TPU로의 전환: AI 전용칩의 10년 역사 돌아보기

 (cloud.google.com)
8P by xguru 1달전 | favorite | 댓글 2개
  • 약 10년 전 Google 연구진은 AI 컴퓨팅 수요가 당시 인프라 능력을 초과할 것이라 예견함
  • 당시 수요를 충족시킬 대안이 시장에 없음을 깨닫고, 새로운 종류의 칩인 TPU(Tensor Processing Unit) 개발을 시작

단일 특정 목적 칩

  • CPU는 컴퓨터의 만능 "두뇌" 역할을 하는 반면, TPU는 AI에 최적화된 특정 목적의 칩임
  • TPU는 AI 모델 구축 및 실행에 필요한 행렬 및 벡터 기반 수학 연산에 특화된 ASIC(application-specific integrated circuit)임
  • 2015년 내부 배포된 TPU v1은 Google 전반에 즉시 히트쳤으며, 이후 10년간 TPU는 성능과 효율성 면에서 발전을 거듭함

AI 혁신에 보조 맞추기

  • TPU 진화는 머신러닝 및 AI 혁신과 밀접하게 연계됨
  • TPU v1은 추론에 초점을 맞췄지만, 곧 모델 훈련 효율화를 위해 TPU v2 훈련 슈퍼컴퓨터 개발함
  • 이후 TPU는 더 빠른 주기로 출시되며 성능, 효율성, 처리능력 면에서 큰 도약을 이뤘음
  • 최신 세대에서는 데이터 처리 속도가 매우 빨라 칩 간 연결 케이블 배선에도 주의가 필요함

Sharing the love

  • 초기에 Google만 AI 모델 개발 및 실행을 위한 더 나은 방법을 모색한 것은 아님
  • 2018년 초 Google Cloud는 고객이 자체 훈련 및 추론 워크로드를 가속화할 수 있도록 Cloud TPU 1세대 출시함
  • 오늘날 Anthropic, Midjourney, Salesforce 등 잘 알려진 AI 팀들이 Cloud TPU를 집중적으로 사용 중임
  • 이 모든 처리 능력은 여전히 시작에 불과함
  • 향후 데이터센터 설계를 TPU 요구사항에 더 잘 맞추는 방향으로 변화시킬 계획임
  • 단일 칩이나 단일 TPU 포드를 넘어, TPU로 가득 찬 글로벌 데이터센터 네트워크를 구축하고 있음
  • 미래는 실리콘에서 콘크리트에 이르기까지 완전한 맞춤형 솔루션이 될 것임(The future is full stack customization all the way, from silicon to concrete)
▲
ing03201 1달전  [-]

TPU는 시대의 혜안이었죠
구글 픽셀2XL 싱글카메라 프로세싱에서 제대로 보여줬고 LLM시대에서 황금기를 맞이했네요
그래서 coral micro dev 보드 업데이트좀....ㅠㅠㅠㅠ

답변달기
▲
ganadist 1달전  [-]

Pixel 초기모델에 포함되었던 (Visual Core라고 불렀던) 이미지 프로세서는 Intel의 Monette Hill 플랫폼 기반입니다.

답변달기