Youka - Youtube to Karaoke
(youka.club)- 유튜브의 어떤 노래든 노래방 영상으로 만들어 주는 오픈소스
- 윈/맥 실행파일 제공
- ytdl로 다운, Spleeter로 음성 분리, 가사 검색하여 aeneas로 가사 싱크
- ffmpeg 으로 반주/보컬/오리지널 세개의 동영상을 인코딩한후 Plyr로 재생
여러개의 오픈소스를 잘 묶었는데 재미난 결과가 나왔네요.
가요들은 해보니 살짝 문제가 있어서 이상하게 나오는데, 팝송들은 아주 잘 됩니다.
가사 다운 받는부분은 https://github.com/youkaclub/youka-lyric 에 별도로 공개되어있는데
genius/google/musixmatch 를 뒤져서 가져오는 군요.
이 부분만 한국의 gasazip 같은 데로 연결해주면 한국어 가사는 되겠습니다만...
제일 중요한 오디오와 텍스트의 싱크를 맞춰주는 오픈소스 aeneas 가 38개 언어를 지원하는데, 아쉽게도 한국어를 지원 안합니다 ㅠ
https://github.com/readbeyond/aeneas
Spleeter 는 예전에 한번 소개드린적 있습니다.
"spleeter - 노래에서 보컬/드럼/베이스/피아노를 분리 추출해주는 오픈소스" https://news.hada.io/topic?id=849