안녕하세요 모델을 하나 만들고 오픈소스로 오픈했는데 공유해봅니다.
영상이나 게임을 만들기위해서 특정 사운드가 필요했던 적이 있으신가요?
머릿속에는 정확히 어떤 소리인지 들어있지만, 그걸 어떻게 표현하고 찾아야할지 방법이 없으셨을겁니다.
그런 이유로 게임 스튜디오들의 사운드 관련 미팅을 들어가보면 대화보다 이런 소리가 더 많이 들립니다.
“퓨퓨- 보다는 피유↘︎피유↘︎ 면 좋겠는데”
그래서 만들었습니다!
제가 만든 모델은 입으로 원하는 소리를 따라서 내고 그걸 텍스트와 함께 모델에 input으로 넣으면 그 sound effect를 생성해주는 모델입니다.(꽤 많은 시간과 데이터를 사용)
repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…
(demo 링크에 들어가셔서 들어보시면 이게 무슨 뜻인지 훨씬 더 감이 오실거에요ㅎㅎ)
댓글과 토론
정말 멋진 프로젝트네요!
"어떻게 내가 원하는것을 쉽게 AI 에이전트에게 설명할것인가"
요즘 정말 중요한 지점이라고 생각되고 많은 고민이 필요한 영역입니다.
IT서비스의 UI/UX 영역이 발달하는걸 우리가 지켜본것처럼, AI에 대한 사용자 경험도 이제 쌓여 나가며 무엇이 유효하고 중요한것인지, 많은 이야기가 될것 같아 기대됩니다.
오 그러면 LLM이 수식같은거 생성해서 강약조절하는 전자음 생성 -> 텍스트랑 같이 입력으로 넣어서 사운드 이펙트 출력하면 뭔가 그때 그때 맞는 소리이펙트도 생성될거같아요 멋지네용