# Convolution 제국의 역습

> Clean Markdown view of GeekNews topic #11599. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=11599](https://news.hada.io/topic?id=11599)
- GeekNews Markdown: [https://news.hada.io/topic/11599.md](https://news.hada.io/topic/11599.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-10-31T10:03:01+09:00
- Updated: 2023-10-31T10:03:01+09:00
- Original source: [gonzoml.substack.com](https://gonzoml.substack.com/p/the-convolution-empire-strikes-back)
- Points: 6
- Comments: 0

## Topic Body

- "ConvNets Match Vision Transformers at Scale"  
- ConvNet은 중소규모 데이터 세트에서는 성능이 좋지만, 초대형 데이터 세트에서는 트랜스포머, 특히 비전 트랜스포머(ViT)에 미치지 못한다는 일반적인 인식이 있음   
- 딥마인드의 최신 연구가 이러한 관념에 도전  
  - 트랜스포머의 확장성이 ConvNets의 확장성을 능가한다고 여겨져 왔지만, 이를 뒷받침할 증거는 부족  
  - 저자들은 NFNet (Normalizer-Free ResNets) 패밀리를 사용하여 망의 넓이/깊이를 점진적으로 증가시킴   
  - JFT-4B 에서 사전 학습하고, SAM(Sharpness-Aware Minimization)을 사용하여 ImageNet에서 파인 튜닝   
  - 결과적으로 ViT 모델과 동등한 성능을 보여줌  
  - 모든 모델이 계산 능력이 추가됨에 따라 지속적으로 개선됨

## Comments



_No public comments on this page._