# 구글의 새 AI 훈련 기술 JEST, 기존보다 훨씬 더 빠름 > Clean Markdown view of GeekNews topic #15752. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=15752](https://news.hada.io/topic?id=15752) - GeekNews Markdown: [https://news.hada.io/topic/15752.md](https://news.hada.io/topic/15752.md) - Type: news - Author: [xguru](https://news.hada.io/@xguru) - Published: 2024-07-09T09:44:01+09:00 - Updated: 2024-07-09T09:44:01+09:00 - Original source: [decrypt.co](https://decrypt.co/238730/new-ai-training-technique-is-drastically-faster-says-google) - Points: 6 - Comments: 0 ## Summary 구글 DeepMind 연구원들이 발표한 JEST 기술은 AI 훈련 속도를 최대 13배, 효율성을 10배 향상시켜 에너지 소비를 크게 줄일 수 있습니다. 이 기술은 데이터 선택을 최적화하여 AI 훈련에 필요한 계산 자원과 시간을 절감하며, 환경에도 긍정적인 영향을 미칩니다. JEST는 데이터 포인트 간의 종속성을 식별하고 고품질 데이터 세트를 사용하여 AI 모델의 학습 효율성을 극대화합니다. ## Topic Body - Google DeepMind 연구원들이 AI 훈련 속도를 높이는 새로운 방법 JEST를 논문으로 공개함. 이는 작업에 필요한 계산 자원과 시간을 크게 줄임 - Multimodal Contrastive learning with Joint Example Selection(JEST) 접근 방식은 최대 13배 더 빠르고 10배 더 효율적임. 이는 에너지 요구량을 낮출 수 있음을 의미 - 일반적으로 에너지 집약적인 프로세스에 대한 이러한 새로운 접근 방식은 최근 연구 논문에 따르면 AI 개발을 더 빠르고 저렴하게 만들 수 있음. 이는 환경에 좋은 소식 ### AI 산업의 높은 에너지 소비 - 대규모 AI 시스템은 주요 처리 능력을 필요로 하며, 이는 에너지와 냉각을 위한 물을 많이 요구함 - Microsoft의 물 소비량은 2021년에서 2022년 사이 AI 컴퓨팅 수요 증가로 인해 34% 급증한 것으로 보고됨 - IEA는 2022년부터 2026년까지 데이터 센터 전력 소비량이 두 배로 증가할 것으로 예상함. 이는 AI의 전력 수요와 비판받는 암호화폐 채굴 산업의 에너지 프로필 사이의 비교를 불러일으킴 - 그러나 JEST와 같은 접근 방식은 해결책을 제공할 수 있음. AI 훈련을 위한 데이터 선택을 최적화함으로써 필요한 반복 횟수와 계산 능력을 크게 줄일 수 있으며, 이는 전체 에너지 소비를 줄일 수 있음 ### JEST가 작동하는 방식 - JEST는 AI 모델의 학습 가능성을 최대화하기 위해 상호 보완적인 데이터 배치를 선택함. 개별 예제를 선택하는 기존 방법과 달리 이 알고리듬은 전체 집합의 구성을 고려함 - Google 연구원들은 "multimodal contrastive learning"을 사용했는데, 여기서 JEST 프로세스는 데이터 포인트 간의 종속성을 식별함. 이 방법은 AI 훈련의 속도와 효율성을 향상시키면서 훨씬 적은 컴퓨팅 power를 필요로 함 - 사전 훈련된 참조 모델을 사용하여 데이터 선택 프로세스를 조정하는 것이 접근 방식의 핵심이었음. 이 기술을 통해 모델은 고품질의 잘 큐레이션된 데이터 세트에 집중할 수 있었고, 훈련 효율성을 더욱 최적화함 - JEST를 사용하여 WebLI 데이터 세트에 대한 훈련은 학습 속도와 자원 효율성에서 놀라운 향상을 보여줌 - 알고리듬은 "data quality bootstrapping"이라고 하는 기술을 사용하여 "일치하는" 특정 데이터 조각에 초점을 맞춤으로써 훈련 프로세스 속도를 높임. 이 기술은 양보다 품질을 중요시하며 AI 훈련에 더 나은 것으로 입증됨 ## Comments _No public comments on this page._