- Google DeepMind 연구원들이 AI 훈련 속도를 높이는 새로운 방법 JEST를 논문으로 공개함. 이는 작업에 필요한 계산 자원과 시간을 크게 줄임
- Multimodal Contrastive learning with Joint Example Selection(JEST) 접근 방식은 최대 13배 더 빠르고 10배 더 효율적임. 이는 에너지 요구량을 낮출 수 있음을 의미
- 일반적으로 에너지 집약적인 프로세스에 대한 이러한 새로운 접근 방식은 최근 연구 논문에 따르면 AI 개발을 더 빠르고 저렴하게 만들 수 있음. 이는 환경에 좋은 소식
AI 산업의 높은 에너지 소비
- 대규모 AI 시스템은 주요 처리 능력을 필요로 하며, 이는 에너지와 냉각을 위한 물을 많이 요구함
- Microsoft의 물 소비량은 2021년에서 2022년 사이 AI 컴퓨팅 수요 증가로 인해 34% 급증한 것으로 보고됨
- IEA는 2022년부터 2026년까지 데이터 센터 전력 소비량이 두 배로 증가할 것으로 예상함. 이는 AI의 전력 수요와 비판받는 암호화폐 채굴 산업의 에너지 프로필 사이의 비교를 불러일으킴
- 그러나 JEST와 같은 접근 방식은 해결책을 제공할 수 있음. AI 훈련을 위한 데이터 선택을 최적화함으로써 필요한 반복 횟수와 계산 능력을 크게 줄일 수 있으며, 이는 전체 에너지 소비를 줄일 수 있음
JEST가 작동하는 방식
- JEST는 AI 모델의 학습 가능성을 최대화하기 위해 상호 보완적인 데이터 배치를 선택함. 개별 예제를 선택하는 기존 방법과 달리 이 알고리듬은 전체 집합의 구성을 고려함
- Google 연구원들은 "multimodal contrastive learning"을 사용했는데, 여기서 JEST 프로세스는 데이터 포인트 간의 종속성을 식별함. 이 방법은 AI 훈련의 속도와 효율성을 향상시키면서 훨씬 적은 컴퓨팅 power를 필요로 함
- 사전 훈련된 참조 모델을 사용하여 데이터 선택 프로세스를 조정하는 것이 접근 방식의 핵심이었음. 이 기술을 통해 모델은 고품질의 잘 큐레이션된 데이터 세트에 집중할 수 있었고, 훈련 효율성을 더욱 최적화함
- JEST를 사용하여 WebLI 데이터 세트에 대한 훈련은 학습 속도와 자원 효율성에서 놀라운 향상을 보여줌
- 알고리듬은 "data quality bootstrapping"이라고 하는 기술을 사용하여 "일치하는" 특정 데이터 조각에 초점을 맞춤으로써 훈련 프로세스 속도를 높임. 이 기술은 양보다 품질을 중요시하며 AI 훈련에 더 나은 것으로 입증됨