# [번역] Meta AI의 Megabyte에 대한 설명

> Clean Markdown view of GeekNews topic #9275. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9275](https://news.hada.io/topic?id=9275)
- GeekNews Markdown: [https://news.hada.io/topic/9275.md](https://news.hada.io/topic/9275.md)
- Type: news
- Author: [ninebow](https://news.hada.io/@ninebow)
- Published: 2023-05-27T21:32:01+09:00
- Updated: 2023-05-27T21:32:01+09:00
- Original source: [discuss.pytorch.kr](https://discuss.pytorch.kr/t/meta-ai-megabyte-megabyte-meta-ai-s-new-revolutionary-model-architecture-explained/1656)
- Points: 12
- Comments: 0

## Topic Body

[AI 인프라 / 도구 개발 스타트업 ENCORD](https://encord.com/about-us/)에서 작성한 [Megabyte 설명 글](https://encord.com/blog/meta-ai-megabyte-model-architecture-explained/)의 번역  
  
- MegaByte의 주요한 구조 소개  
  - Patch Embedder: 입력을 임베딩하고 패치로 분할  
  - Global Module: 셀프 어텐션을 수행하는 자기회귀 트랜스포머  
  - Local Module: 글로벌 모델로부터 받은 입력으로 다음 패치를 예측  
- 멀티스케일 트랜스포머(Multiscale Transformer) 소개  
- 자기회귀 트랜스포머(Autoregressive Transformer) 소개  
- 현재 모델의 문제점: Tokenization, Scalability, Generation Speed  
- 제안하는 해결 방법  
  - 연산 비용을 O(N^(4/3))으로 절감한 셀프 어텐션  
  - 패치 단위로 피드포워드 레이어 적용  
  - 디코딩 시 병렬 처리  
- (추가) Meta AI의 최신 근황  
  - SAM: [https://news.hada.io/topic?id=8893](https://news.hada.io/topic?id=8893)  
  - MTIA: [https://news.hada.io/topic?id=9246](https://news.hada.io/topic?id=9246)  
  - DINOv2: [https://news.hada.io/topic?id=9269](https://news.hada.io/topic?id=9269)  
  - ImageBIND: [https://news.hada.io/topic?id=9156](https://news.hada.io/topic?id=9156)  
  - (글에는 없지만) MMS: [https://news.hada.io/topic?id=9245](https://news.hada.io/topic?id=9245)  
  - (역시 글에는 없지만) LIMA: [https://news.hada.io/topic?id=9239](https://news.hada.io/topic?id=9239)

## Comments



_No public comments on this page._