Subs AI - OpenAI Whisper로 동영상의 자막 자동 생성하기
(github.com/abdeladim-s)- 완전히 오프라인으로 동작하는 자동 자막 생성기
- 리눅스/맥/윈도우
- 다양한 Whisper 구현체 지원 : whisper-timestamped, whisper.cpp, faster-whisper, whisperX
- 서브타이틀 수정 기능
- dl-translate 를 이용한 번역기능 제공 (페이스북 M2M 모델)
- Web-UI + CLI + Python 패키지
- CLI 를 통한 배치프로세싱, 파이썬 패키지로 자신만의 스크립트 개발 가능
- SubRip(SRT), WebVTT, MicroDVD, MPL2, TMP 등의 자막 포맷 지원
유사한 기능을 하는 맥용 앱도 있습니다. 맥에서 나오는 소리 출력을 받아서 - 텍스트 출력, 구글번역/Deepl API를 붙여서 번역을 할 수 있습니다.
https://apps.apple.com/us/app/id6450404233
YouTube 에서 제공하는 자동생성되는 caption은 어떤식으로 생성될까요? Whisper는 정말 대단합니다. ChatGPT 앱에서 감탄하는것 중에 하나가, ChatGPT의 응답도 응답이지만, 음성인식 입력이 정말 대단하더군요. 쓸때마다 감탄...
윈도우에서 Docker 로 실행해봤는데 잘 실행되네요.
모델별로 바꿔가며 인식해볼수도 있고, 자막도 잘 만들어줍니다.
영어쪽은 아주 훌륭하게 되는데, 한국어는 오류가 좀 있긴 하네요.
번역 성능은 그닥이라 그냥 영어로 만들고 다른 번역기 쓰는게 좋을듯 합니다.