SeamlessM4T: Meta AI에서 공개한, 번역을 위한 멀티모달에서의 파운데이션 모델
(ai.meta.com)- Meta AI에서는 음성과 텍스트 간에 원활하게 번역하고 전사하는 기본 다중 언어 및 다중 작업 모델인 SeamlessM4T 공개
- 다양한 언어에 대한 자동 음성 인식, 음성-텍스트 번역, 음성-음성 번역, 텍스트-텍스트 번역 및 텍스트-음성 번역을 지원
- 100여종의 언어에 대한 자동 음성 인식
- 100여종의 입력 및 출력 언어에 대한 음성-텍스트 번역
- 100여종의 입력 언어와 35종(+영어)의 출력 언어를 지원하는 음성 대 음성 번역
- 100여종의 언어에 대한 텍스트-텍스트 번역
- 텍스트 음성 변환, 100여종의 입력 언어와 35종(+영어)의 출력 언어 지원
- SeamlessM4T 모델은 연구자와 개발자를 위해 CC BY-NC 4.0으로 공개
- 27시간 분량의 멀티모달 번역 데이터셋 SeamlessAlign도 함께 공개