LLaMA-Omni - LLM과의 원활한 음성 인터랙션
(github.com/ictnlp)- 지연 시간이 짧은 고품질의 엔드투엔드 음성 상호작용 모델
- Llama-3.1-8B-Instruct 기반으로 구축되어 GPT-4o 수준의 음성 기능을 달성하는 것을 목표로 함
- 226ms의 낮은 지연 시간
- 텍스트와 음성 응답을 동시에 생성
GN⁺의 정리
- LLaMA-Omni는 Llama-3.1-8B-Instruct 기반의 음성-언어 모델로, 낮은 지연 시간과 높은 품질의 음성 상호작용을 지원함
- 텍스트와 음성 응답을 동시에 생성할 수 있어 다양한 응용 분야에서 유용함
- 4개의 GPU로 3일 이내에 훈련이 완료되어 효율적임
- Gradio 데모를 통해 쉽게 상호작용할 수 있으며, 로컬 추론도 가능함
- 유사한 기능을 가진 프로젝트로는 OpenAI의 Whisper와 Google의 Speech-to-Text API가 있음
Hacker News 의견
- "텍스트로 표현할 수 없는 소리를 재생할 수 있는지"에 대한 질문
- 순수 텍스트 모델보다 이 모델의 장점이나 잠재력에 대한 의문
- 모델이 발전함에 따라 TTS에서 잃어버리는 억양, 리듬, 감정을 제대로 해석하거나 생성할 수 있는지에 대한 기대
- "STT -> LLM -> TTS"가 아닌지에 대한 질문
- Chewbacca 소리를 입력하면 모델이 이를 무의미한 소리로 인식할지, 아니면 엉성한 STT로 무작위 단어로 해석할지에 대한 의문
- Ollama, LM Studio, llama.cpp 같은 모델 운영자들이 이를 지원하는지에 대한 질문
- 데모 클립의 TTS 목소리가 Valve 성우 Ellen McLain과 매우 유사함
- 속도가 매우 좋음
- 최근 LMStudio + AnythingLLM을 설정하여 로컬 음성 채팅을 시도했지만 여전히 원하는 것보다 느림
- PiperTTS 목소리가 더 나음
- 상업적 사용을 위해 목소리 미세 조정이 중요한 요구 사항으로 보임
- 훈련이나 미세 조정 코드가 있었으면 좋겠음
- 추가 미세 조정이 불가능한지에 대한 의문
- 성능을 보여주는 데모가 있는지에 대한 질문
- GitHub 저장소의 별 히스토리 그래프가 있는 경우 신뢰도가 떨어진다고 느끼는지에 대한 의문