Subs AI - OpenAI Whisper로 동영상의 자막 자동 생성하기

• 완전히 오프라인으로 동작하는 자동 자막 생성기
• 리눅스/맥/윈도우
• 다양한 Whisper 구현체 지원 : whisper-timestamped, whisper.cpp, faster-whisper, whisperX
• 서브타이틀 수정 기능
• dl-translate 를 이용한 번역기능 제공 (페이스북 M2M 모델)
• Web-UI + CLI + Python 패키지
• CLI 를 통한 배치프로세싱, 파이썬 패키지로 자신만의 스크립트 개발 가능
• SubRip(SRT), WebVTT, MicroDVD, MPL2, TMP 등의 자막 포맷 지원

[markmc]

유사한 기능을 하는 맥용 앱도 있습니다. 맥에서 나오는 소리 출력을 받아서 - 텍스트 출력, 구글번역/Deepl API를 붙여서 번역을 할 수 있습니다.
https://apps.apple.com/us/app/id6450404233

[xguru]

저도 WhisperMate 써봤는데 깔끔하더라고요. 맥에서는 이게 좋은듯 합니다.
윈도우용도 이렇게 깔끔하게 나오면 좋겠어요

[botplaysdice]

YouTube 에서 제공하는 자동생성되는 caption은 어떤식으로 생성될까요? Whisper는 정말 대단합니다. ChatGPT 앱에서 감탄하는것 중에 하나가, ChatGPT의 응답도 응답이지만, 음성인식 입력이 정말 대단하더군요. 쓸때마다 감탄...

[jujumilk3]

이거와 오늘 올라온 deepl까지 쓰면 덜덜

[xguru]

윈도우에서 Docker 로 실행해봤는데 잘 실행되네요.
모델별로 바꿔가며 인식해볼수도 있고, 자막도 잘 만들어줍니다.
영어쪽은 아주 훌륭하게 되는데, 한국어는 오류가 좀 있긴 하네요.
번역 성능은 그닥이라 그냥 영어로 만들고 다른 번역기 쓰는게 좋을듯 합니다.