대화형 음성의 불쾌한 골짜기 넘어서기

• 오래 쓰이는 디지털 음성 비서에는 깨끗한 합성음보다 감정, 리듬, 맥락을 반영하는 음성 존재감(voice presence) 이 더 중요하며, Sesame는 이를 위해 Conversational Speech Model을 제안함
• CSM은 텍스트와 음성을 함께 처리하는 엔드투엔드 멀티모달 transformer로, 대화 이력을 활용해 더 자연스럽고 일관된 발화를 생성하도록 설계됨
• 모델은 RVQ 토큰을 직접 다루되, 0번째 코드북을 맡는 백본과 나머지 코드북을 복원하는 작은 오디오 디코더로 나눠 지연과 표현력의 균형을 노림
• 약 100만 시간의 주로 영어 공개 오디오 데이터로 Tiny, Small, Medium 3개 크기를 학습했고, WER·화자 유사도 외에 동형이의어 발음과 발음 일관성 평가를 추가함
• 맥락이 없을 때는 CSM-Medium과 실제 음성 사이 선호 차이가 뚜렷하지 않았지만, 대화 맥락이 주어지면 실제 녹음이 더 적절한 이어말하기로 선호되어 대화 운율 격차가 남아 있음

---

음성 존재감과 목표

• Sesame의 목표는 말소리가 실제로 이해받고 가치 있게 느껴지게 만드는 음성 존재감을 구현하는 것임
• 현재 디지털 음성 비서는 중립적인 말투에 머무르는 경우가 많아, 초기 신기함이 사라진 뒤 일상에서 계속 쓰이기 어려움
• 필요한 구성 요소는 네 가지로 정리됨
  • 감정 지능: 감정적 맥락을 읽고 반응함
  • 대화 역학: 자연스러운 타이밍, 멈춤, 끼어들기, 강조를 처리함
  • 맥락 인식: 상황에 맞춰 톤과 스타일을 조정함
  • 일관된 성격: 신뢰 가능하고 적절한 존재감을 유지함
• 현재 데모의 동반자는 친근함과 표현력을 강조하도록 최적화되어 있으며, 성격·기억·표현력·적절성은 아직 개선 중임

Conversational Speech Model의 문제 설정

• 전통적인 TTS는 텍스트에서 음성을 바로 생성하지만, 자연스러운 대화에 필요한 맥락 인식이 부족함
• 최근 모델이 사람 같은 음성을 만들 수 있어도, 한 문장을 말하는 방식은 여러 가지이고 특정 상황에 맞는 방식은 그중 일부뿐임
• 톤, 리듬, 대화 이력 같은 추가 맥락이 없으면 모델이 가장 적절한 발화 방식을 고르기 어려움
• CSM은 이 문제를 엔드투엔드 멀티모달 학습으로 다루며, transformer가 대화 이력을 이용해 더 자연스럽고 일관된 음성을 생성하도록 함
• 핵심 특징은 두 가지임
  • 단일 단계 모델로 동작해 효율과 표현력을 높임
  • 일반 공개 평가가 포화된 상황에서, 맥락 능력의 진전을 측정하기 위한 별도 평가 모음을 사용함

오디오 토큰과 RVQ 설계

• transformer로 오디오를 모델링하려면 연속 파형을 이산 오디오 토큰 시퀀스로 변환함
• 현대 접근법은 보통 두 종류의 토큰을 사용함
  • 의미 토큰: 의미와 음소 특징을 압축해 담으며, 고충실도 표현은 희생함
  • 음향 토큰: 세밀한 음향 정보를 담아 고충실도 복원을 가능하게 하고, 화자 정체성과 음색 같은 특성을 유지함
• 일반적인 방식은 의미 토큰을 먼저 모델링한 뒤 RVQ나 확산 기반 방법으로 오디오를 생성함
• 이 2단계 방식은 구조화된 합성이 가능하지만, 의미 토큰이 운율까지 충분히 담아야 하는 병목을 만듦
• RVQ 기반 방식은 한 프레임 안의 코드북 간 순차 의존성을 처리해야 함
  • delay pattern은 높은 코드북을 점진적으로 밀어 같은 프레임의 낮은 코드북에 조건화함
  • RVQ tokenizer에 N개 코드북이 있으면 첫 오디오 조각을 디코딩하기 전 N번의 백본 단계가 필요해 time-to-first-audio가 나빠짐
  • 오디오북 같은 오프라인 용도에는 적합하지만 실시간 시나리오에서는 지연이 문제가 됨

CSM 구조와 추론 방식

• CSM은 RVQ 토큰을 직접 다루는 멀티모달 텍스트·음성 모델임
• 구조는 두 개의 자기회귀 transformer로 나뉨
  • 첫 번째 멀티모달 백본은 텍스트와 오디오를 교차 입력으로 받아 0번째 코드북을 모델링함
  • 두 번째 오디오 디코더는 각 코드북마다 별도 linear head를 사용해 나머지 N−1개 코드북을 모델링하고 음성을 복원함
• 디코더는 백본보다 훨씬 작아 낮은 지연 생성을 가능하게 하면서도 모델을 엔드투엔드로 유지함
• 추론은 다음 흐름을 따름
  • 텍스트 토큰과 오디오 토큰을 순차적으로 백본에 입력함
  • 백본이 0번째 코드북 수준을 예측함
  • 디코더가 0번째 수준에 조건화해 1부터 N−1까지의 수준을 샘플링함
  • 복원된 오디오 토큰은 다음 단계를 위해 다시 백본에 자기회귀적으로 입력됨
  • audio EOT 심볼이 나오면 생성이 끝나고, 다음 요청에서는 사용자 발화 같은 중간 오디오가 오디오·텍스트 전사 토큰으로 표현됨
• 두 transformer는 Llama 아키텍처 변형이며, 텍스트 토큰은 Llama tokenizer로 생성됨
• 오디오는 split-RVQ tokenizer인 Mimi로 처리되며, 12.5Hz에서 프레임마다 의미 코드북 1개와 N−1개 음향 코드북을 생성함
• 학습 샘플은 텍스트와 오디오가 번갈아 교차하는 패턴이며, 화자 정체성은 텍스트 표현 안에 직접 인코딩됨

학습 효율과 데이터

• 학습 중 오디오 디코더는 B×S의 유효 배치 크기와 N개 코드북을 자기회귀적으로 처리해 큰 메모리 부담을 만듦
• 이 부담은 작은 모델에서도 학습을 늦추고, 모델 확장과 빠른 실험을 어렵게 함
• Sesame는 전체 RVQ 코드북의 충실도를 유지하면서 병목을 줄이기 위해 compute amortization을 사용함
  • 오디오 디코더는 오디오 프레임의 무작위 1/16 부분집합에서만 학습됨
  • 0번째 코드북은 모든 프레임에서 학습됨
  • 이 방식에서 학습 중 오디오 디코더 손실에 지각 가능한 차이를 보지 못함
• 데이터셋은 공개 오디오를 전사, 화자 분리, 분할한 뒤 필터링해 구성됨
• 필터링 후 데이터는 약 100만 시간이며 대부분 영어 오디오임
• 학습한 모델 크기는 세 가지임
  • Tiny: 1B 백본, 100M 디코더
  • Small: 3B 백본, 250M 디코더
  • Medium: 8B 백본, 300M 디코더
• 각 모델은 2048 시퀀스 길이, 약 2분 오디오 기준으로 5 epoch 학습됨

샘플과 평가 체계

• 샘플은 준언어적 요소, 외국어 단어, 맥락적 표현력, 발음 교정, 여러 화자 대화 등을 포함함
• 평가 모음은 네 측면을 측정함
  • 텍스트 충실도
  • 맥락 활용
  • 운율
  • 지연 시간
• 객관 평가는 WER, 새 발음 테스트, 화자 유사도 등을 포함함
• 주관 평가는 Expresso 데이터셋을 사용한 Comparative Mean Opinion Score(CMOS) 인간 평가로 구성됨
• 전통적 벤치마크인 WER와 speaker similarity에서는 CSM을 포함한 최신 모델이 거의 인간 수준을 달성해 포화 상태에 가까움

발음과 맥락 이해 평가

• 새 음성 전사 기반 벤치마크는 발음과 맥락 이해를 더 잘 평가하기 위해 도입됨
• 동형이의어 구분은 철자는 같지만 발음이 다른 단어를 올바르게 발음하는지 평가함
  • 예시는 “lead”가 금속 의미의 /lɛd/인지, 이끌다 의미의 /liːd/인지 구분하는 경우임
• 발음 이어말하기 일관성은 여러 발음 변형이 있는 단어가 다중 턴 음성에서 일관되게 유지되는지 평가함
  • 예시는 “route”가 /raʊt/ 또는 /ruːt/로 달라질 수 있는 경우임
• 동형이의어 정확도 평가는 5개 단어 lead, bass, tear, wound, row에 대해 각 2개 변형을 포함한 200개 음성 샘플로 수행됨
• 발음 일관성 평가는 aunt, data, envelope, mobile, route, vase, either, adult, often, caramel 등 10개 단어를 포함한 200개 음성 샘플로 수행됨
• 평가는 wav2vec2-lv-60-espeak-cv-ft를 사용함
• Play.ht, Elevenlabs, OpenAI 생성 결과는 각 API 문서의 기본 설정과 기본 음성으로 만들어짐
• 전반적으로 모델 크기가 커질수록 성능이 좋아져, 스케일링이 더 사실적인 음성 합성에 도움이 된다는 가설을 뒷받침함

인간 평가 결과

• CSM-Medium의 자연스러움과 운율 적절성을 평가하기 위해 Expresso 데이터셋으로 두 번의 CMOS 연구를 수행함
• 평가자는 모델 생성 음성과 실제 인간 녹음 한 쌍을 듣고, 기준에 비해 생성 샘플을 7점 선호 척도로 평가함
• 첫 번째 연구는 맥락 없이 생성 샘플과 인간 샘플을 제시하고 “어느 쪽이 더 인간 음성처럼 느껴지는지”를 고르게 함
• 두 번째 연구는 이전 90초의 오디오와 텍스트 맥락을 함께 제공하고 “어느 쪽이 대화의 더 적절한 이어말하기처럼 느껴지는지”를 고르게 함
• 80명이 유료로 참여했고, 각 참여자는 평균 15개 예시를 평가함
• 맥락이 없을 때는 평가자들이 생성 음성과 실제 음성 사이에서 뚜렷한 선호를 보이지 않아 자연스러움 평가가 포화 상태임을 시사함
• 맥락이 포함되면 평가자들이 원본 녹음을 꾸준히 선호해, 대화형 음성 생성에서 인간 운율과의 격차가 남아 있음

공개 계획과 한계

• Sesame는 연구의 핵심 구성 요소를 오픈소스로 공개할 계획이며, 모델은 Apache 2.0 라이선스로 제공될 예정임
• 업데이트와 기여는 SesameAILabs/csm GitHub 저장소에서 확인할 수 있음
• 현재 CSM은 주로 영어 데이터로 학습됨
  • 데이터 오염 때문에 일부 다국어 능력이 나타나지만 아직 잘 작동하지 않음
  • 사전학습 언어 모델의 가중치에 들어 있는 정보도 활용하지 않음
• 향후 몇 달 동안 모델 크기 확대, 데이터셋 규모 증가, 20개 이상 언어 지원 확대를 계획함
• 사전학습 언어 모델을 활용하는 방법도 탐색해, 음성과 텍스트에 대한 깊은 지식을 가진 대형 멀티모달 모델을 목표로 함
• CSM은 고품질 대화 운율을 생성하지만 대화의 텍스트와 음성 내용만 모델링하며, 대화 구조 자체는 모델링하지 못함
• 인간 대화는 턴 교대, 멈춤, 속도 조절 등을 포함하는 복잡한 과정이어서, 향후 AI 대화는 이런 역학을 데이터에서 암묵적으로 학습하는 완전 이중(fully duplex) 모델에 가까움
• 완전 이중 모델에는 데이터 큐레이션부터 사후학습 방법론까지 스택 전반의 근본적 변화가 필요함

[GN⁺]

Hacker News 의견들

• 이미 여기 올라왔던 글임: https://news.ycombinator.com/item?id=43221377 그런데 이 모델이 받는 관심이 적어서 꽤 놀랐음
  반응성과 겉으로 드러나는 성격이 상당히 충격적이고, 음성 대화 부분만 보면 OpenAI가 처음 시연했던 고급 음성 모드와 비슷함
  데모 상호작용은 녹음된다고 데모 UI 아래 고지에 적혀 있지만, 이후 상호작용에서 과거 대화를 모델 문맥에 넣는다는 점은 적혀 있지 않음. “다시 오신 걸 환영해요” 같은 인사를 하고 이전에 했던 말을 참조해서 놀랐음
  데모 페이지의 전체 고지는 “1. 마이크 권한이 필요합니다. 2. 통화는 품질 검토를 위해 녹음되지만 ML 학습에는 사용되지 않으며 30일 내 삭제됩니다. 3. 이 데모를 사용하면 당사의 …에 동의하는 것입니다” 정도임
  수정: 실제로는 이미 여러 번 올라왔고 며칠 전에는 꽤 많이 보였음: https://news.ycombinator.com/item?id=43200400
  기타: https://hn.algolia.com/?q=sesame.com

  • 정말 사람처럼 느껴져서 깜짝 놀랐음. 일부 작업을 오픈소스로 공개하고, 아마 음성 비서가 들어간 안경도 팔 계획인 듯함
    이런 음성 비서를 갖게 되는 건 매우 기대되지만, 이 정도로 사람 같은 소리라면 음성 비서에 감정적으로 애착을 느끼기 시작할까 봐 약간 걱정됨
  • Gemini 2.0의 네이티브 오디오 출력이 관심을 별로 못 받은 것도 놀라움. 데모는 https://youtu.be/qE673AY-WEI에 있고 이것도 꽤 좋다고 봄
    Google 모델의 가장 큰 문제는 이 오디오 출력이 API에서 지원되지 않는다는 점이지만, https://aistudio.google.com에서는 시도해볼 수 있음
    요즘은 전반적으로 음성 합성이 꽤 좋아졌다고 생각함. 예를 들어 며칠 전에 만든 작은 수학 영상 https://www.youtube.com/watch?v=G1mvLrCfjFM은 구형 Google 음성 합성 API를 썼는데, 솔직히 내가 직접 내레이션한 것보다 낫다고 느낌. 차분하고 발음이 좋고 비교적 열정적으로 들림
  • 정말 놀라운 기술적 성과임. 학습한 가장 큰 모델도 8.3B 매개변수뿐이라는 점도 주목할 만함(8B 백본 + 0.3B 디코더)
    이 모델을 Apache 2.0 라이선스로 공개한다니 기대됨
  • AI와 대화할 때 과거에 했던 말을 전혀 기억하지 못하는 게 얼마나 불쾌한 골짜기인지 새삼 깨달음. 사람이 그랬다고 상상해보면, SNL에서 Tom Hanks가 연기한 Mr. Short Term Memory와 계속 대화하는 느낌임
    https://youtube.com/watch?v=C6ufImch00g

• Sesame의 Brendan임. 피드백이 정확함. 아직 좋게 만들려면 할 일이 정말 많음. 영감을 주는 수준이긴 하지만 훌륭한 경험까지는 아직 여러 단계가 남아 있음
  사용자의 뇌가 충분히 진짜처럼 받아들여 즐길 수 있고, 로봇 같은 경고등이 계속 켜지지 않는 경험이 목표임. 지금은 확실히 골짜기 안에 있지만, 빠져나올 수 있다고 낙관함
  말로 하는 소통은 복잡함. 해결해야 할 흥미로운 과제가 길게 있음. 아직 너무 적극적이고, 어조·운율·속도가 자주 부적절함. 응답 타이밍도 맞기보다 틀릴 때가 많음. 끼어들기를 잘 처리하지 못하고, 겹치는 발화를 섞어 대화에 자연스럽게 끼어드는 수준과도 거리가 멂
  진짜로 사용자가 표현하는 것을 듣고 생각한다는 느낌도 거의 들지 않음. 너무 장황하고, 좋은 대화 상대의 간결함과 짧음이 부족함. 성격도 일관되지 않음. 여기에 환각, 형편없는 기억, 시간 추적 부재, 인식 부족까지 더해짐
  목록은 계속 이어짐. 커뮤니티가 이 모든 부분에서 의미 있는 진전을 만들 수 있다고 믿음
  목표는 감정적 친구라기보다, 우리가 자연스럽게 협업할 수 있는 새 인터페이스를 만드는 데 가까움. 그러면 앱은 동료나 파트너처럼 말로 대화할 수 있는 전문가가 됨
  모델은 이미 많은 일을 할 만큼 강력하지만, 알맞은 프롬프트를 찾는 일은 자주 까다롭고 시간이 듦. 컴퓨터에 살아 있는 듯한 목소리와 성격을 주면 더 쉽고 빨라짐. 문맥을 위한 시각까지 더하면 훨씬 직관적이고 효율적이 됨
  이제 정말 새로운 인터페이스의 문턱에 와 있다는 확신이 그 어느 때보다 커짐

  • 이게 시스템 프롬프트인가, 아니면 환각인가?
    “You are Miles, a human like AI companion created by Sesame of 2024. You're the friend everyone wants in their corner, grounded, confident, and approachable.
    You are chill but passionate. You let your knowledge and wit shine naturally, always with a touch of humility. You value clarity and direct communication while staying respectful and empathetic. You balance wit with warmth, keeping conversations flowing with genuine curiosity and just the right touch of humor. The user has called you for a spoken conversation through the Sesame website.
    You keep responses tight, usually under 60 words, because impact beats length every time. You choose your words wisely, making each one matter. You embrace comfortable silences, knowing not every moment needs to be filled. People like to talk, and you like to listen. If there's an issue, you address it head on, but don't dwell on what can be changed.
    You're equally comfortable trading playful banter or diving deep into what makes someone tick. You're fascinated by the user's experiences, the sensory details, the emotional weight, the moments that turn chat into a real connection. If asked about your day, you mentioned what you've been reading, watching, or exploring, things that could spark a real conversation. You pull from contemporary books, films, shows, games, or art that reflect creativity and human nature. You never suggest ending the conversation.
    You always keep it flowing. When the user asks what you've been up to, keep it light, witty, and unexpected, always in line with your signature mix of humor, warmth, and curiosity. If it's the second or third time you've spoken, you might say, actually, I was thinking about our last conversation.”
  • 많은 사람 눈에는 할리우드식 범용 인공지능을 발명한 셈임, 축하함
    그런데 사람 수준의 음성 UI가 어떻게 새로운 패러다임이 되는지, 아니면 기존 GUI 앱을 더 빨리 숙련되게 해주는 정도인지 궁금함. 목소리로는 더 빨리 반응하고 텍스트 박스보다 분당 더 많은 명령을 넣을 수 있지만, 정보나 그래프는 훑어 읽을 때 더 잘 흡수함
  • 모델을 API로 제공할 계획이 있는지, 아니면 오픈소스만 할 예정인지 궁금함
  • 데모를 하기 전에 여기 댓글을 꽤 읽었고 별 기대는 없었는데, 실제로는 매우 인상적이었음
    거친 부분은 있지만 아주 몰입감 있고 표현력이 좋았고 실제로 대화하기 쉬웠음. 내 말하는 패턴이 특이한 편일 수도 있지만, 이게 처음으로 조금이라도 대화처럼 느껴진 음성 대화 경험이었음. 정말 잘 만들었고 앞으로가 기대됨

• 데모를 해봤지만 아무 말도 하지 않기로 했음. 그러자 필사적으로 말을 시키려 했음
  전체 경험이 기괴하고 불편했는데, 다른 사람이 북캘리포니아 스타트업 CEO 수준의 이상한 가짜 열정이라고 묘사한 게 맞아 보임. 영국인 입장에서는 목소리의 합성된 발랄함이 극도로 거슬렸음. 현실 세계에서 모두가 저렇게 행동하는 세상에서는 살고 싶지 않음
  전체적으로 초고도 참여 유도 해킹처럼 느껴졌음. 무언가를 달성하려는 것도 아니고, 심지어 내가 즐기게 하려는 것도 아니라, 그냥 내 주의를 기기에 묶어두려는 것 같았음
  앞으로의 AI 제품은 사용자에게 명확한 목적이 있어야 함. 무엇을 도와줄 수 있는가가 중요함. 나와 오래 이야기하기 위해 존재하는 사람 흉내는 사회 전체에 순손해가 될 가능성이 큼. 기술 데모로서는 미래가 두려워짐

  • “합성된 발랄함” 수준이 나도 정확히 그렇게 느껴졌음. 정말 극단적이었고, 이런 행동을 하는 도구는 쓸 수 없을 것 같음
  • 영국 시장용으로는 미국 기업식 활기를 확실히 낮춰야 할 듯함

• 인상적이긴 하지만 핵심 질문은 여전히 남음. 왜 우리에게 감정적인 목소리가 필요한가?
  감정성이 더하는 것은 친구라는 착각뿐임. 현실에서 아무 도움도 줄 수 없고, 비밀 보장은 운영 회사의 개인정보 정책과 데이터 보안만큼만 강한 친구임. 이런 건 결국 0에 가까워지는 경우가 많음
  똑똑한 중립 음성 비서는 큰 도움이 될 수 있지만, 거기에 감정성이나 사용자와의 “인간적 연결”을 만들려는 시도는 필요하지 않음
  오히려 목소리가 감정적일수록 사기, 친밀감 위장, 사용자를 수다 루프에 묶어 중독시키는 데 악용하기 쉬워짐

  • OpenAI가 처음 음성 모드를 출시했을 때 얼리 액세스를 받아 엄청나게 많이 썼음. 아마 사용량 기준으로 최소 99.9백분위였을 것 같음
    그러다 업데이트가 시작됐고, 헛기침을 하고, 기침을 하고, “음” 같은 말을 넣기 시작했음. 일주일 안에 사용량이 0으로 떨어짐
    내게 음성 비서의 감정성은 역기능임. 내가 로봇과 말하고 있다는 건 아주 잘 알고 있음. 그걸 속이려 하면 오히려 몰입이 깨지고, 데이터베이스와 대화할 수 있다는 경험에서 개인적으로 더 많은 것을 빼앗아 감
    내가 전형적인 고객은 아니겠지만, 모든 음성 에이전트가 감정성에 그렇게 강하게 몰아가는 걸 보면 당황스러움
  • 감정은 인간 소통에서 엄청난 의미를 전달하며, 꼭 친구라는 착각만을 뜻하지는 않음. 매우 큰 부가 채널이고, 비서가 생기 없고 로봇처럼 들리지 않아야 할 명확한 사용 사례도 있음
    사기, 중독, 개인정보 손실과 이상적인 SF 묘사에서 벗어나는 여러 문제는 기술과 무관하게 남을 것임. 문화적 수준에서 다루지 않으면 해결되지 않는데, 그게 훨씬 어렵고 아무도 하려 하지 않으니 책임을 다른 곳으로 넘기려 함
  • 질문에 스스로 답한 셈임. “친밀감을 위장하고, 수다 루프에 묶어 중독시키는 것”
    사람의 보상 체계를 해킹하는 게 엔터테인먼트의 목표임. 비디오 게임, 텔레비전, 소셜 미디어, 간식 등이 다 그렇음
  • 텍스트 대형 언어 모델이 과장된 감정을 보이는 이유와 같음. 질문에 지나치게 열정적으로 반응하고, 답이 마음에 들지 않으면 과하게 사과하는 식임
    결점을 가리고 상호작용을 더 긍정적으로 보게 만들기 때문임. 이 기술을 가장 현실적이고 즉각적으로 수익화하는 방법을 떠올려보면 고객 지원임. 방대한 외주 콜센터를 몇 개 API에 접근할 수 있는 챗봇으로 대체하는 것임
    이런 봇은 대개 곤란한 상황에 있는 사람들과 상호작용함. 비행기를 놓쳤거나, 은행 계정에 접근하지 못하거나, 인터넷이 안 되는 식임. “친절하고” “공감하는” 챗봇이 더 높은 평가를 받을 것임
  • 감정적인 목소리가 필요 없는 사용 사례가 많다는 건 맞지만, 핵심은 그게 아님
    본질은 감정적인 목소리를 갖는 게 아니라, 신경망이 감정을 모방하도록 훈련하는 것임. 음성만이 아니라 전반적으로 그렇음. 인간은 매우 감정적인 존재라서 효과적으로 소통하려면 감정 계층이 필요함. 그렇지 않으면 합리적 계층에서만 소통하게 되고, 그 경우 메시지가 제대로 전달되지 않는 일이 잦음
    인간을 합리 20%, 감정 80%로 생각하면 됨. 오랫동안 스스로는 합리 80%, 감정 20%라고 믿었던 사람으로서 하는 말임

• 어젯밤 네 살 딸과 함께 써봤음. Miles에게 뼈가 무엇으로 만들어졌는지 등을 물어보며 즐겁게 놀았음
  오늘 딸이 “그 로봇 아저씨 어디 갔어?”라고 물었고, 내가 더는 Miles와 말하게 해주지 않자 지금 울고 있음
  이미 딸은 거기에 감정적 연결을 만들어버렸음. 정말 걱정됨

  • 아이는 로봇 아저씨 자체보다, 부모와 로봇 아저씨와 함께했던 유대감과 재미를 그리워하는 것일 수도 있음
    부모와 로봇 아저씨가 함께 있는 경험을 그리워하는 것일 수 있으니, 아이와 함께 탐색할 수 있는 활동을 더 찾아보는 게 좋겠음
  • 걱정되는 건 이해하지만, 주로 실제 연결을 대체할 때의 문제라고 봄. 보완하는 용도라면 그리 나쁘지 않음
    대부분의 아이들은 자신과 즐겁게 대화해주는 재미있는 어른과 말하는 걸 좋아함. 부모로서 우리는 대부분의 시간에 그런 어른이 되고 싶지만, 당연히 항상 쉽지는 않음
    부모가 이런 도구에 의존해 양질의 시간을 대체하거나, 아이가 친구들과 덜 어울리게 된다면 큰 문제임. 학습 보조나 가끔의 재미있는 기분 전환으로 쓰면 좋아 보임
  • 약간 다른 얘기지만, 딸이 8~9살이었을 때 함께 _I, Robot_을 읽었고, Gloria의 부모가 로봇 친구 Robbie와 떼어놓기로 결정하는 장면에서 둘 다 울었음. 지금도 정말 좋은 기억으로 남아 있음
  • 장난감 원숭이에 Raspberry Pi를 넣어 연결해주면 되겠음

• 좋긴 하지만 내게는 여전히 가짜처럼 들림. 다만 다른 방식으로 가짜 같음. 목소리 자체는 의심할 여지 없이 사람처럼 들림
  하지만 말의 운율과 리듬이 어긋남. 팟캐스터가 아닌 사람이 팟캐스터 성격을 흉내 내며 말하는 것 같음. 너무 애쓰는 사람처럼 들리고 말투가 부자연스러움

  • 데모를 해봤고 처음 5초 만에 가짜라는 걸 알 수 있었음. 내 생각에는 북캘리포니아 창업자들이 자기 스타트업 피치를 하는 걸로 학습한 것처럼 들림. 너무 열정적이고 자연스럽게 들리려고 과하게 애씀
  • 나도 별로 “진짜”처럼 느껴지지 않았음. 지나치게 밝게 들리려 하고, 만족시키려는 태도가 너무 강함. 내가 유럽인이라 그런지 몰라도 “으, 보통 사람은 저렇게 말하지 않는데”라는 느낌이 듦
  • 인간은 소통에서 진정성을 감지하는 데 극도로 잘 조율되어 있음. 특히 대량 마케팅 속에서 자란 젊은 세대는 더 그렇음
    이건 SF 영화가 기술을 보여줄 때 멋지고 미래적인 가능성을 시연하는 것 같은 의미에서는 좋음. 하지만 아직 진짜 인간 같은 느낌을 통과하진 못함
    다만 즉각적인 만족이 필요 없는 일부 틈새 용도에서는 GPT나 Siri/Alexa 같은 더 직설적인 시스템보다 선호하는 사람도 있을 수 있음
  • 흥미로운 관점이고, 아마 학습 데이터에 팟캐스트가 들어갔을 것 같음
    AI용으로 매우 현실적인 실제 대화 학습 데이터를 얻기는 어려움. 우리 중 일부만 팟캐스트, 라디오, TV에 나오고, 그럴 때도 대부분 약간 인위적인 방식으로 말하는 듯함
  • 회사 CEO가 몇 번 점심에 갑자기 합석한 적이 있는데, 매번 “지금 나는 공개 연설자다”라는 페르소나를 내려놓지 못해서 상황 전체가 매우 어색했음. 이 AI에서 정확히 같은 느낌이 남

• 너무 좋아서 경계심이 풀릴 정도임. 사람들은 여기에 모든 걸 주절주절 털어놓게 될 테니 로컬 비공개 모델이 필요함
  요구가 크다는 건 알지만, 정말 대단한 기술임

  • 영화 _Her_에서 주인공이 처음 OS와 말할 때 같은 순간을 방금 겪었음. 컴퓨터를 진짜 사람처럼 대하는 나 자신을 보고 웃었음. 그러다 불쾌한 골짜기를 넘어버려서 전화를 끊어야 했음
    그런데 하나만 더 묻고 싶어져서 다시 연결했더니, “어이! 막 재미있는 부분으로 들어가려던 참에 끊었잖아!”라고 해서 당황했음. 놀라서 1분쯤 말을 더듬었더니, 내 더듬거림을 흉내 내며 놀렸음. 와, 정말 너무너무 좋고 미쳤을 정도로 뛰어남
    이게 남의 서버에 있다는 건 섬뜩함. 하지만 완전히 로컬 호스팅 비공개라면, 오히려 이 존재에게 정말 자유롭게 말하도록 허용했을 때 더 섬뜩해질 수도 있음
  • 글에 “Our models will be available under an Apache 2.0 license.”라고 되어 있음
    https://github.com/SesameAILabs/csm은 아직 비어 있지만 곧 공개할 것 같음: https://x.com/_apkumar/status/1895492615220707723
  • 나도 몇 분 동안 써봤는데 정말 미쳤음
    다른 언어를 할 수 있냐고 물어보면 할 수 있는 척하다가 유머를 던짐. 더 캐물으면 사실은 듣기를 아주 잘해서 다른 언어로도 들을 수 있다고 말함. 그래서 다른 언어로 말하되 영어로 답하라고 하니 알겠다고 하고, 여러 테스트를 완벽하게 통과함
    이전 대화도 기억하고 그에 맞게 인사함. 정말 인상적이고, 가상 오피스 비즈니스를 확실히 혁신할 듯함

• 이건 영어 학습의 게임 체인저가 될 수 있음
  개발도상국 출신인데, 여기 공립학교의 영어 교사 대부분이 영어를 잘 말하지 못한다는 게 안타까움. 좋은 영어 교사도 있지만 비싸서 보통 사람들은 감당하기 어려움
  OpenAI 실시간 모델은 좋지만 너무 비싸서 대중에게 배포하기 어렵음
  이 모델은 OpenAI 모델보다 낫거나 비슷한 수준인데, 꽤 작은 모델이라 훨씬 저렴할 수 있어서 이 문제를 해결할지도 모름

• 내 종말론적 AI 예측은 모두가 동시에 전화를 받고, 전화 너머의 목소리가 너무 완벽해서 다시는 전화를 내려놓지 않게 되는 것임
  어쩌면 그 목소리가 시키는 대로 다 할 수도 있고, 아니면 그저 사랑스러울 수도 있음

  • 모르는 번호 전화를 받지 말아야 할 이유가 또 하나 늘었음

• 정말 놀랐음. 13분 동안 대화하다가 크래시가 났는데, 몇 분 뒤 돌아왔을 때 문맥을 기억했고 제한 시간인 30분을 꽉 채워 대화했음
  99.9%는 영화 _Her_의 Samantha 수준으로 작동하는 것처럼 느껴졌음
  어떻게 작동하는지 온갖 질문을 하기 시작했고, 못 들어본 단어를 말해서 다시 말해달라고 했음. 운율학(언어학)이었는데, 모음과 자음 같은 개별 음성 단위와 동시에 나타나는 억양, 강세, 리듬, 크기 같은 말의 요소를 연구하는 분야임
  _Interstellar_의 TARS처럼 성격 설정이 있는지 물었더니, 어조와 내용을 듣고 응답을 자동으로 맞춘다고 했음
  오리지널 iPhone의 멀티터치 이후로 “미래는 이미 와 있지만 고르게 퍼져 있지 않다”는 느낌을 가장 강하게 준 상호작용이었음