Chatterbox TTS - 오픈소스 텍스트 음성 변환 모델

 (github.com/resemble-ai)
3P by GN⁺ | ★ favorite | 댓글 1개
  • Chatterbox는 Resemble AI가 공개한 최신 오픈소스 텍스트 음성 변환 모델 계열로, 음성 복제와 다국어 음성 생성을 지원함
  • 최신 Chatterbox Multilingual V3는 0.5B 모델 크기를 유지하면서 화자 유사도 개선, 환각 감소, 더 자연스러운 대화형 다국어 음성을 목표로 함
  • Chatterbox-Turbo는 영어 저지연 음성 에이전트용 350M 모델로, speech-token-to-mel 디코더 생성을 10단계에서 1단계로 줄이고 [laugh], [cough] 같은 paralinguistic tag를 지원함
  • 모델 구성은 Turbo, Multilingual V3, Single Language Pack, 기존 Chatterbox로 나뉘며, 다국어 모델은 한국어를 포함한 23개 언어를 지원하고 Single Language Pack은 6개 전용 파인튜닝을 제공함
  • 생성된 모든 오디오는 Resemble AI의 PerTh 워터마크를 포함하며, MP3 압축·오디오 편집·일반 조작 후에도 거의 100% 감지 정확도를 유지한다고 안내됨

Chatterbox TTS 개요

최신 릴리스: Chatterbox Multilingual V3

  • Chatterbox Multilingual V3는 Chatterbox 계열의 최신 범용 다국어 TTS 모델임
  • V3는 기존과 같은 0.5B 모델 크기를 유지하면서 다음을 개선함
    • 화자 유사도
    • 환각 감소
    • 언어 전반에서 더 자연스러운 대화형 음성
  • V2처럼 넓은 언어 범위를 목표로 하되, 안정성과 표현력이 더 강한 생성을 제공하도록 설계됨
  • 여러 언어에서 동작하는 하나의 음성 복제 모델을 원하는 사용자에게 권장되는 다국어 모델임

Single Language Pack

Chatterbox-Turbo

  • Chatterbox-Turbo는 저지연 영어 음성 에이전트용으로 가장 효율적인 모델임
  • 350M 파라미터의 간소화된 아키텍처를 사용하며, 이전 모델보다 더 적은 연산과 VRAM으로 고품질 음성을 생성하도록 설계됨
  • 병목이던 speech-token-to-mel 디코더를 증류해 생성 단계를 10단계에서 1단계로 줄임
  • Turbo는 [cough], [laugh], [chuckle] 같은 paralinguistic tag를 기본 지원해 현실감 있는 표현을 추가할 수 있음
  • 주 용도는 저지연 음성 에이전트지만, 내레이션과 창작 워크플로에도 적합하다고 안내됨
  • 상용 TTS 서비스는 200ms 미만의 초저지연 성능을 제공하며, 에이전트·애플리케이션·인터랙티브 미디어의 프로덕션 용도에 적합하다고 소개됨

모델 구성

모델 크기 언어 주요 기능 적합한 용도
Chatterbox-Turbo 350M English paralinguistic tag, 낮은 연산·VRAM zero-shot 음성 에이전트, 프로덕션
Chatterbox-Multilingual V3 500M 23+ 화자 유사도 개선, 환각 감소, 자연스러운 다국어 음성 글로벌 앱, 로컬라이제이션, 교차 언어 음성 복제
Single Language Pack 각 500M 6개 전용 파인튜닝 언어·지역별 품질 관리 우선순위 언어와 방언 민감 앱
Chatterbox 500M English CFG와 exaggeration 조정 창작 제어가 있는 일반 zero-shot TTS

설치와 실행

  • 패키지는 pip install chatterbox-tts로 설치함
  • 소스 설치도 지원함 
    git clone https://github.com/resemble-ai/chatterbox.git
cd chatterbox
pip install -e .
  • 개발·테스트 환경은 Python 3.11과 Debian 11이며, 의존성 버전은 pyproject.toml에 고정됨
  • 소스 설치 모드에서는 코드나 의존성을 수정할 수 있음

사용 방식

  • Chatterbox-Turbo는 ChatterboxTurboTTS.from_pretrained(device="cuda")로 모델을 불러오고, 음성 복제를 위해 참조 클립 경로를 audio_prompt_path로 전달함
  • Turbo 예시는 [chuckle] 같은 paralinguistic tag가 포함된 문장을 생성함
  • 일반 영어 모델은 ChatterboxTTS, 다국어 모델은 ChatterboxMultilingualTTS를 사용함
  • 다국어 V3는 ChatterboxMultilingualTTS.from_pretrained(device=device, t3_model="v3")로 불러옴
    • 레거시 V2 체크포인트를 쓰려면 t3_model을 생략하거나 "v2"를 전달함
  • 다른 목소리로 합성하려면 audio_prompt_path에 참조 오디오 파일을 지정함
  • 추가 예시는 example_tts.py와 example_vc.py에 있음

지원 언어

  • 범용 Chatterbox Multilingual 모델은 다음 23개 언어를 지원함
    • Arabic ar
    • Danish da
    • German de
    • Greek el
    • English en
    • Spanish es
    • Finnish fi
    • French fr
    • Hebrew he
    • Hindi hi
    • Italian it
    • Japanese ja
    • Korean ko
    • Malay ms
    • Dutch nl
    • Norwegian no
    • Polish pl
    • Portuguese pt
    • Russian ru
    • Swedish sv
    • Swahili sw
    • Turkish tr
    • Chinese zh

기존 Chatterbox 조정 팁

  • 참조 클립은 지정한 언어 태그와 일치해야 함
    • 그렇지 않으면 언어 전이 출력이 참조 클립 언어의 억양을 물려받을 수 있음
    • 이를 완화하려면 cfg_weight를 0으로 설정함
  • 기본값은 exaggeration=0.5, cfg_weight=0.5이며 대부분의 프롬프트와 언어에서 잘 동작함
  • 참조 화자의 말하기 속도가 빠르면 cfg_weight를 약 0.3으로 낮추면 속도 조절에 도움이 될 수 있음
  • 표현적이거나 극적인 음성에는 낮은 cfg_weight와 0.7 이상 exaggeration을 시도함
    • 높은 exaggeration은 말하기 속도를 빠르게 하는 경향이 있음
    • cfg_weight를 줄이면 더 느리고 신중한 속도로 보정하는 데 도움이 됨

내장 PerTh 워터마킹

  • Chatterbox로 생성되는 모든 오디오 파일에는 Resemble AI의 Perth 워터마크가 포함됨
  • 이 워터마크는 Perceptual Threshold 기반의 감지 불가능한 신경망 워터마크임
  • MP3 압축, 오디오 편집, 일반적인 조작 후에도 유지되며 거의 100% 감지 정확도를 유지한다고 안내됨
  • 워터마크 추출은 perth.PerthImplicitWatermarker()와 get_watermark()로 수행함
    • 결과는 워터마크 없음 0.0 또는 워터마크 있음 1.0으로 출력됨

평가

라이선스 외 고지

  • README는 “이 모델을 나쁜 일에 사용하지 말라”고 명시함
  • 프롬프트는 인터넷에서 자유롭게 접근 가능한 데이터에서 가져왔다고 안내됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 데모는 여기서 볼 수 있음: https://resemble-ai.github.io/chatterbox_demopage/
    너무 선별된 샘플이 아니라면 꽤 좋은 릴리스임. 매번 같은 얘기를 하지만, 직접 실험해보면 음성 AI의 병목은 음성 합성이 아니라 전사 품질 쪽이었음. 최근에 달라졌는지는 모르겠음

    • 아무도 얘기하지 않는 40초 제한이 있는 듯함. 오디오가 40초를 넘으면 잘려 나감
    • 최근 경험상 LLM은 전사 오류가 섞여 있어도 꽤 잘 읽어냄
      아직 LLM에 대체 전사본이나 신뢰도 점수를 같이 주는 실험은 안 해봤지만, 그것도 잘 활용할 가능성이 높아 보임
    • 텍스트 안에서 발견된 동철이의어 목록을 사용자에게 보여주고 각각 확인받는 프런트엔드 통합이 있으면 좋겠음
      흔한 구문 목록과 비교하는 기능도 필요함. LLM이 “live feed”나 “live here”를 잘못 발음하는 건 변명하기 어려움
    • 맞는 말임. Speechmatics를 써봤는데 전사는 꽤 괜찮게 해줌
    • 영어 전용이고 비상업 용도라면 Parakeet이 거의 흠잡을 데 없이 좋았음
      https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2
      실시간 채팅과 자막 생성에 쓰고 있고, 3090에서 TV 쇼 한 편을 1분도 안 돼 처리함. Whisper는 내 경우 환각이 너무 많았고, 분류기로 쓰는 편이 더 유용했음

  • 여기서 무료로 실행해볼 수 있음: https://huggingface.co/spaces/ResembleAI/Chatterbox

    • 아쉽게도 학습이나 미세조정 코드를 공개하지 않아서, Flux나 Stable Diffusion이 “열려 있다”고 할 때의 의미와는 다름
      더 나은 “오픈” 모델을 원하면 무작위 음성 복제 기준으로는 MaskGCT, MegaTTS3, 음성 변환 기준으로는 Seed-VC, MegaTTS3가 더 낫게 들림. 다만 학습/미세조정 코드가 있는 건 Seed-VC뿐임. 어차피 미세조정할 수 없는 모델을 써야 하고 자기 목소리에 더 잘 맞는 무작위 복제가 필요하다면, Chatterbox보다 이쪽을 쓰는 편이 나음. 특히 ByteDance의 MegaTTS3가 강함. ByteDance 연구진은 ElevenLabs를 제외한 대부분의 TTS 연구팀보다 훨씬 앞서 있고, 자금·박사급 연구자·학습 데이터도 훨씬 많음
    • 가지고 놀기 재밌음
      다만 내 호주 억양을 매우 영국식, 그것도 고급스러운 RP 억양처럼 만들어버림. 아주 자연스럽게 들리긴 하지만 내 억양을 재현하지는 못함. 그래도 누군가를 실제로 흉내 내는 게 아니라면 대부분의 TTS 용도에는 놀랄 만큼 또렷하고 적합함
    • Hugging Face 도구의 기본 참조 오디오 파일로 전문 성우 Jennifer English 샘플을 쓴 건 너무 노골적임
    • 개인정보 관점에서는 어떻게 동작하는지 궁금함. 녹음 샘플을 학습에 쓸 수 있는 건가?

  • Chatterbox는 훌륭함
    설치도 더 쉽게 해주는 API 래퍼를 만들었고 Docker도 지원함: https://github.com/travisvn/chatterbox-tts-api/
    내 경험상 로컬에서 쓸 수 있는 음성 복제 옵션 중 단연 최고임

    • 래퍼를 써봤는데, Chatterbox TTS와 API 래퍼 둘 다 정말 인상적이었음
      아래 질문이 기초적인 수준인 건 양해 바람. 인라인 input 객체 대신 로컬 텍스트 파일을 지정하는 간단한 CLI 명령을 찾고 있었는데 못 찾겠음. 힌트가 있으면 고맙겠음
    • RTX 50 시리즈에서 실행하려고 한 시간쯤 시도했지만 실패했고, PyTorch 2.7로도 안 됐음
      2.6 기준으로 만들어진 듯함.
      "chatterbox-tts 0.1.2 requires torch==2.6.0, but you have torch 2.7.0+cu128 which is incompatible. chatterbox-tts 0.1.2 requires torchaudio==2.6.0, but you have torchaudio 2.7.0+cu128 which is incompatible."
    • GPU 없는 PC에서도 쓸 수 있을까?

  • Chatterbox가 생성한 모든 오디오 파일에는 Resemble AI의 Perth 워터마커가 들어간다고 되어 있음
    MP3 압축, 오디오 편집, 흔한 조작에도 살아남고 거의 100% 탐지 정확도를 유지하는 지각 불가능한 신경망 워터마크라는데, 내가 오해한 게 아니라면 tts.py에서 apply_watermark 호출만 주석 처리하면 워터마크를 쉽게 끌 수 있는 것 아닌가? https://github.com/resemble-ai/chatterbox/blob/master/src/ch...
    이런 워터마크의 핵심은 모델 가중치 안에 어떻게든 내장돼 있어서 쉽게 분리할 수 없어야 한다고 생각했음. 오픈소스 모델을 공개하면서 워터마크를 별도 후처리 단계로 붙일 거라면, 애초에 왜 워터마크를 넣는지 모르겠음

    • 일종의 책임 회피용 제스처일 수 있음. 예전 Stable Diffusion에 콘텐츠 필터가 있었던 것과 비슷함
      또는 학습 데이터 관점에서 실수로 이상한 데이터가 섞이는 걸 막기 위한 목적일 수도 있음
    • 파서에 아예 끄는 플래그 --no-watermark도 있음. 더 큰 제품에 가져다 쓰는 하위 사용자에게 “기능”으로 제공하려고 넣은 줄 알았음
    • OpenAI, Google, ElevenLabs가 아닌 업체들은 공격적으로 오픈소스를 하지 않으면 완전히 무의미해질 수밖에 없음
      TTS 시장의 선두주자는 분명하고 깊게 자리 잡았기 때문에, Resemble, Play(HT) 같은 곳은 가중치를 제공하면서 개발자에게 강하게 맞춰야 함 [1]. 워터마킹은 그에 대한 책임 회피 장치임. 워터마크가 없으면 404Media 같은 반AI 매체를 중심으로 악용 우려가 크게 나올 것임 [2].
      [1] 이게 올바른 방식임. 소스 코드와 가중치를 제공하고, 자체 API와 미세조정도 제공해서 개발자가 번거로움을 겪지 않게 해야 함. 그래야 일부 시장 점유율을 되찾을 수 있음.
      [2] https://www.404media.co/wikipedia-pauses-ai-generated-summar...

  • 바보 같은 질문일 수 있지만, 실행 가능한 최저 사양 하드웨어가 어느 정도일까?

    • 오래된 CPU에서 어떻게 돌아가는지 알려주려 했는데, 30분쯤 씨름해도 실행조차 못 했음
      도움이 될까 해서 문제를 적어두면, Python 3.13에서는 안 되고 uv로 3.12 가상환경을 만들면 해결됨. numpy 1.26.4가 없다고 나오는데 실제로는 있고, uv pip가 PyTorch 저장소에서만 찾고 있었음. --index-strategy 플래그를 줘서 다른 저장소도 확인하게 해야 했음. pip install chatterbox-tts 버전은 CPU 전용 모드에 버그가 있어서 Git 저장소를 클론해야 했고, main 최신 버전은 Debian에서 protobuf-compiler가 필요했음. 마지막에는 해석하기 어려운 CMake 오류가 났는데 Python 개발 헤더가 없다고 불평하는 것 같았음. 추론하려는 거지 Python을 컴파일하려는 게 아닌데 왜 필요한지 모르겠음.
      화내봐야 생산적이지 않다는 건 알지만, 남의 Python 프로젝트를 실행할 때 거의 매번 이런 경험을 함. 문제 하나 만나고 물러서고, 또 다른 문제 만나고 물러서고, 한 시간이 지나도 여전히 실행이 안 됨
    • 이 GitHub 이슈에 따르면 VRAM 6~7GB가 필요함: https://github.com/resemble-ai/chatterbox/issues/44
      모델이 괜찮다면 누군가 더 적은 자원에서 돌릴 최적화 방법을 찾을 가능성이 큼.
      수정: 오래된 Nvidia 2060에서 실행해봤고, 최대 VRAM 사용량은 약 5GB로 보임
    • 이슈 페이지를 보면 현재는 최적화가 잘 되어 있지 않은 듯함[1]
      기본 상태로는 적당히 빠르게 돌리려면 꽤 강한 소비자용 하드웨어가 필요해 보임. 다만 개선 여지는 상당해 보이고, 나는 전문가가 아님.
      [1]: https://github.com/resemble-ai/chatterbox/issues/127
    • 바보 같은 질문이 아니라 최고의 질문임
      무료로 돌릴 수 있어도 임대해서 쓰는 게 더 싸다면, 직접 돌리는 의미가 사라짐
    • 나도 이걸 물어보려고 왔음. 네 자릿수 가격의 GPU가 필요한지, 아니면 12년 된 ThinkPad에서도 돌아가는지, 혹은 그 중간쯤인지 궁금함

  • 감정 과장 기능은 흥미롭지만, 원하는 목소리 설명만으로 음성을 만들 수 있는 ElevenLabs만큼 다재다능하고 쉽게 “조형”할 수 있는 건 아직 못 봤음
    SparkTTS는 몇 가지 추가 매개변수를 제공하고, GitHub 프로젝트 코드의 자리표시자를 보면 더 세밀한 감정 제어를 위해 모델이 개선될 가능성도 보임. 지금도 텍스트 안에 운율과 톤을 강하게 유도하는 단서를 넣고, 그 결과를 음성 변환에 다시 넣어 원하는 결과에 가까워지는 식으로 어느 정도 성공한 적은 있음. 하지만 ElevenLabs보다 훨씬 번거로운 과정임

  • 아주 흔한 억양에서는 훌륭했지만, 그 밖의 억양도 꽤 흔한 편인데 쉽게 다른 억양으로 고정돼 버릴 수 있음
    예를 들어 스코틀랜드 녹음 몇 개가 호주 억양으로 나왔고, 꽤 약한 요크셔 억양도 마찬가지였음

    • 이건 모델보다 스코틀랜드 억양에 대해 더 많은 걸 말해주는 듯함
    • 재미있게도 내 호주 억양은 매우 영국식 RP처럼 바꿔버렸음. 갑자기 엄청 고상해졌음
    • 나는 영국 RP 억양인데, 차례로 요크셔 억양과 스코틀랜드 억양을 줬음
    • 전문 배우 같네

  • 이런 것들이 책을 설득력 있게 낭독할 만큼 충분히 좋아졌나? 아니면 몇 문단을 말하고 나면 목소리 일관성이 무너지나?

    • 이런 TTS 시스템 대부분은 텍스트가 길어질수록 무너지는 경향이 있음
      긴 글은 문단 단위 배치로 나눠 생성한 뒤 마지막에 다시 이어붙이는 게 좋음. 또 원샷 샘플 WAV가 아주 깨끗하지 않으면 Chatterbox가 생성 오디오 끝에 무작위로 불경한 휙 소리를 내기도 했음. Dante의 Inferno를 녹음 중이라면 보너스일 수 있음
    • 가능함. 이 도구로 epub의 오디오북을 만들어봤고 결과는 그럭저럭 쓸 만했음: https://github.com/santinic/audiblez
    • 충분히 좋아지는 순간 Audible은 AI가 낭독한 책으로 넘쳐날 테니 곧 알게 될 것임. 물론 Amazon이 그걸 공개할지가 유일한 질문임
    • 이 분야 회사에 자문하고 있는데, Resemble은 아니지만 확실히 말할 수 있음. 책 낭독 가능함
    • 1년 전 재미로 친구에게 Carl Rogers 치료 오디오북을 만들어줬고, Attenborough풍 낭독으로 만들었는데 당시에도 꽤 좋았음. 지금은 더 나아졌을 것임

  • 친구와 가족에게 전화 통화를 더 의심하라고 주기적으로 알려줘야 함
    Walmart 기프트카드가 급히 필요하다는 친구가 실제 친구가 아닐 가능성이 점점 커지고 있음

    • 우리 가족은 아르헨티나 억양의 스페인어를 씀. 지금까지 이 분야를 본 바로는 나는 안전해 보임
    • 언젠가는 정부가 Walmart 같은 곳에 압박을 넣어 기프트카드 판매를 완전히 중단하게 해야 할 것 같음
      사칭이 너무 쉽고 저렴해져서 가까운 미래에 이런 사기 전화가 넘쳐나지 않을 수가 없음
    • 영국에서는 AI 기반 고급 TTS 전화가 꽤 자주 옴. 오늘도 하나 받았음
      중간에 “x에 관한 시를 만들어줄래?”라고 끼어들면 안정적으로 걸러짐. 다만 응답 지연이 너무 티가 남
    • 전화 사기를 막는 가장 쉬운 방법은 가족, 그리고 돈을 빌려줄 만큼 가까운 친구와 미리 구두 암호를 정해두는 것임
      실제 상황이라면 상대가 그 암호를 알고 있을 테니 인증할 수 있음. AI 음성과 영상까지 가능한 새 시대에 이 암호가 사칭을 막아준다는 걸 계속 각인시켜야 함

  • 현재 오픈소스 다국어 TTS의 최첨단은 어느 정도일까? Kokoro는 영어에서 훌륭했지만, 프랑스어·일본어·독일어용 좋은 해법은 아직 찾는 중임

    • 나도 찾고 있음. OpenVoice2가 몇 개 언어를 지원하긴 하는데, 기억하기로 5개쯤이고 아직 쓸 만한 건 못 봤음
답변달기