# Data2Vec - 음성,비젼,텍스트에 동작하는 최초의 고성능 자기 지도 학습 알고리듬

> Clean Markdown view of GeekNews topic #5844. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=5844](https://news.hada.io/topic?id=5844)
- GeekNews Markdown: [https://news.hada.io/topic/5844.md](https://news.hada.io/topic/5844.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2022-01-28T11:21:33+09:00
- Updated: 2022-01-28T11:21:33+09:00
- Original source: [ai.facebook.com](https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text)
- Points: 11
- Comments: 2

## Topic Body

- Meta AI가 오픈소스로 공개한 코드 및 사전 훈련된 모델과 논문

- 현재의 자기 지도 학습은 최근 AI의 중요한 발전들을 뒷받침 했지만, 실제 사람이 다양한 정보를 묶어 복합적으로 습득하는 방식과는 아직 큰 차이가 있음

ㅤ→ 이미지를 위해 설계된 단일 목적 알고리듬은 텍스트에 적용이 어려움

- data2vec 은 최초로 음성/비젼/텍스트 등 다양한 양식(modalities)에 대해 작동

ㅤ→ 새로운 패러다임 : 전체론적 자기 지도 학습

ㅤ→ 비전/음성에서는 단일 목적 알고리듬 보다 우수한 성능을 보이며 NLP에서도 경쟁력이 있음

## Comments



### Comment 8654

- Author: ktasha45
- Created: 2022-01-29T19:44:50+09:00
- Points: 1

흥미롭네여

### Comment 8646

- Author: xguru
- Created: 2022-01-28T17:09:14+09:00
- Points: 2

Data2vec: 다양한 modality의 학습을 위한 프레임워크 https://smilegate.ai/2022/01/23/data2vec/