Data2Vec - 음성,비젼,텍스트에 동작하는 최초의 고성능 자기 지도 학습 알고리듬
(ai.facebook.com)- Meta AI가 오픈소스로 공개한 코드 및 사전 훈련된 모델과 논문
- 현재의 자기 지도 학습은 최근 AI의 중요한 발전들을 뒷받침 했지만, 실제 사람이 다양한 정보를 묶어 복합적으로 습득하는 방식과는 아직 큰 차이가 있음
ㅤ→ 이미지를 위해 설계된 단일 목적 알고리듬은 텍스트에 적용이 어려움
- data2vec 은 최초로 음성/비젼/텍스트 등 다양한 양식(modalities)에 대해 작동
ㅤ→ 새로운 패러다임 : 전체론적 자기 지도 학습
ㅤ→ 비전/음성에서는 단일 목적 알고리듬 보다 우수한 성능을 보이며 NLP에서도 경쟁력이 있음
Data2vec: 다양한 modality의 학습을 위한 프레임워크 https://smilegate.ai/2022/01/23/data2vec/