8P by xguru 3달전 | favorite | 댓글 2개
  • 약 10년 전 Google 연구진은 AI 컴퓨팅 수요가 당시 인프라 능력을 초과할 것이라 예견함
  • 당시 수요를 충족시킬 대안이 시장에 없음을 깨닫고, 새로운 종류의 칩인 TPU(Tensor Processing Unit) 개발을 시작

단일 특정 목적 칩

  • CPU는 컴퓨터의 만능 "두뇌" 역할을 하는 반면, TPU는 AI에 최적화된 특정 목적의 칩임
  • TPU는 AI 모델 구축 및 실행에 필요한 행렬 및 벡터 기반 수학 연산에 특화된 ASIC(application-specific integrated circuit)임
  • 2015년 내부 배포된 TPU v1은 Google 전반에 즉시 히트쳤으며, 이후 10년간 TPU는 성능과 효율성 면에서 발전을 거듭함

AI 혁신에 보조 맞추기

  • TPU 진화는 머신러닝 및 AI 혁신과 밀접하게 연계됨
  • TPU v1은 추론에 초점을 맞췄지만, 곧 모델 훈련 효율화를 위해 TPU v2 훈련 슈퍼컴퓨터 개발함
  • 이후 TPU는 더 빠른 주기로 출시되며 성능, 효율성, 처리능력 면에서 큰 도약을 이뤘음
  • 최신 세대에서는 데이터 처리 속도가 매우 빨라 칩 간 연결 케이블 배선에도 주의가 필요함

Sharing the love

  • 초기에 Google만 AI 모델 개발 및 실행을 위한 더 나은 방법을 모색한 것은 아님
  • 2018년 초 Google Cloud는 고객이 자체 훈련 및 추론 워크로드를 가속화할 수 있도록 Cloud TPU 1세대 출시함
  • 오늘날 Anthropic, Midjourney, Salesforce 등 잘 알려진 AI 팀들이 Cloud TPU를 집중적으로 사용 중임
  • 이 모든 처리 능력은 여전히 시작에 불과함
  • 향후 데이터센터 설계를 TPU 요구사항에 더 잘 맞추는 방향으로 변화시킬 계획임
  • 단일 칩이나 단일 TPU 포드를 넘어, TPU로 가득 찬 글로벌 데이터센터 네트워크를 구축하고 있음
  • 미래는 실리콘에서 콘크리트에 이르기까지 완전한 맞춤형 솔루션이 될 것임(The future is full stack customization all the way, from silicon to concrete)

TPU는 시대의 혜안이었죠
구글 픽셀2XL 싱글카메라 프로세싱에서 제대로 보여줬고 LLM시대에서 황금기를 맞이했네요
그래서 coral micro dev 보드 업데이트좀....ㅠㅠㅠㅠ

Pixel 초기모델에 포함되었던 (Visual Core라고 불렀던) 이미지 프로세서는 Intel의 Monette Hill 플랫폼 기반입니다.