OpenAI, GPT‑Live 공개

 (openai.com)
2P by GN⁺ | ★ favorite | 댓글 1개
  • ChatGPT Voice를 더 자연스러운 실시간 대화에 가깝게 만들기 위해 GPT‑Live‑1과 GPT‑Live‑1 mini를 공개
  • 풀듀플렉스 구조로 듣기와 말하기를 동시에 처리해 짧은 맞장구, 빠른 주고받기, 사용자가 생각할 때 기다리는 동작을 지원
  • 기존 캐스케이드형·턴 기반 음성 방식은 지연, 정보 손실, 부자연스러운 끼어들기 문제가 있었고, GPT‑Live는 연속 상호작용으로 이 한계를 줄이려 함
  • 검색·추론·복잡한 작업은 뒤에서 GPT‑5.5 같은 최신 모델에 위임하고, GPT‑Live는 그동안 대화를 이어가는 구조임
  • iOS, Android, ChatGPT.com에서 배포되며 Go·Plus·Pro는 GPT‑Live‑1, Free는 GPT‑Live‑1 mini가 ChatGPT Voice 기본 모델이 됨

GPT‑Live가 바꾸는 음성 대화 구조

  • GPT‑Live는 AI 음성 대화를 실제 사람 간 대화에 더 가깝게 만들기 위한 새 세대 음성 모델임
  • 핵심은 대화 중 동시에 듣고 말할 수 있는 풀듀플렉스(full-duplex) 구조임
    • 사용자가 말하는 동안 “mhmm”, “yeah” 같은 짧은 반응으로 듣고 있음을 나타낼 수 있음
    • 빠른 주고받기 대화를 처리함
    • 사용자가 생각할 시간이 필요할 때는 조용히 기다릴 수 있음
  • 이 구조는 ChatGPT Voice를 더 자연스럽게 만들고, 장기적으로 더 복잡하고 오래 걸리는 에이전트형 작업에도 음성을 붙일 수 있게 함

기존 ChatGPT Voice 방식의 한계

  • 초기 ChatGPT Voice 같은 캐스케이드형 음성 시스템은 여러 모델을 순서대로 연결해 한 번의 발화를 처리함
    • original ChatGPT Voice는 음성을 텍스트로 바꾸는 모델, 응답을 만드는 대형 언어 모델, 텍스트를 음성으로 바꾸는 모델을 이어 붙였음
    • frontier AI 모델과 음성으로 대화할 수 있게 했지만, 모델 사이에서 정보가 손실되고 응답이 느리거나 딱딱해질 수 있었음
  • ChatGPT Advanced Voice Mode 같은 턴 기반 음성 모델은 하나의 모델 안에서 오디오를 처리하고 생성해 지연을 줄였음
    • 여전히 사용자가 말을 멈춘 뒤에야 응답하는 턴 구조로 동작함
    • 턴 감지가 침묵에 기반하기 때문에 짧은 멈춤이나 배경 소음이 턴 종료로 잘못 인식될 수 있음
    • 이 경우 모델이 부자연스러운 시점에 끼어들 수 있음

연속 상호작용과 작업 위임

  • GPT‑Live는 별도 메시지를 차례로 처리하는 대신, 입력을 계속 받아들이면서 출력을 생성함
  • 모델은 초당 여러 번 상호작용 결정을 내림
    • 말할지
    • 계속 들을지
    • 잠시 멈출지
    • 끼어들지
    • 도구를 호출할지
  • 이 방식은 더 자연스러운 주고받기, 더 나은 시간 감각, 실시간 번역을 가능하게 함
  • 깊은 작업은 GPT‑Live와 분리해 처리함
    • 검색, 추론, 더 에이전트적인 기능이 필요한 질문은 GPT‑5.5 같은 다른 모델에 위임할 수 있음
    • 여러 작업이 뒤에서 처리되는 동안에도 GPT‑Live는 대화를 이어감
    • 최신 모델과 에이전트를 활용하면서 자연스러운 음성 상호작용을 결합하는 구조임

모델 버전과 배포 계획

  • OpenAI는 GPT‑Live‑1과 GPT‑Live‑1 mini 두 버전을 전 세계 ChatGPT 사용자에게 순차 배포하기 시작함
  • API 제공도 예정되어 있으며, 개발자와 기업은 form에서 알림을 신청할 수 있음
  • 출시 시점의 GPT‑Live는 백그라운드에서 GPT‑5.5를 사용함
    • GPT‑Live‑1 instant와 GPT‑Live‑1 mini는 GPT‑5.5 Instant 모델을 사용함
    • GPT‑Live‑1 Medium과 GPT‑Live‑1 High는 GPT‑5.5 Thinking 모델을 각각 medium 및 high 추론 노력으로 사용함
  • OpenAI는 새 frontier 모델이 나오면 GPT‑Live가 사용하는 백그라운드 모델을 계속 업데이트할 계획임

평가 결과

  • OpenAI는 대화의 즐거움과 흐름을 측정하기 위한 새 인간 평가를 만들었음
  • 5~10분 길이의 맞춰진 대화에서 GPT‑Live‑1과 GPT‑Live‑1 mini는 Advanced Voice Mode보다 강하게 선호됨
    • 전체 선호도
    • 턴 주고받기
    • 끼어들기
    • 대화 흐름
    • 상호작용의 자연스러움
  • GPT‑Live‑1은 여러 벤치마크에서 Advanced Voice Mode보다 나은 결과를 보임
    • GPQA: 생물학, 화학, 물리학 전반의 전문가 수준 과학 추론을 테스트하며, GPT‑Live‑1이 크게 앞섬
    • BrowseComp: 에이전트형 웹 검색과 찾기 어려운 정보를 찾는 능력을 테스트하며, GPT‑Live‑1이 큰 향상을 보임
    • τ³-Voice Telecom: 현실적인 다중 턴 통신사 지원 작업에서 음성 에이전트를 테스트하는 내부 변형이며, GPT‑Live‑1이 더 나은 성능을 냄
  • τ³-Voice Telecom 평가는 최신 추론 모델로 구동되는 맞춤형 사용자 모델을 사용함

ChatGPT Voice에서 달라지는 경험

  • 매주 1억 5천만 명 이상이 Voice와 Dictation 같은 기능으로 ChatGPT와 대화함
  • 사용자는 핸즈프리 일상 도움, 언어 연습, 잠자리 이야기, 출퇴근 중 대화 등에 음성을 사용함
  • Voice 버튼을 누르면 GPT‑Live 기반 경험이 적용됨
    • 더 자연스러운 대화
    • 더 똑똑한 답변
    • 더 나은 청취
    • 시각적 응답
  • 사용자는 질문으로 끼어들거나, 생각을 정리하기 위해 멈추거나, ChatGPT에게 천천히 말해 달라고 요청할 수 있음
  • ChatGPT는 “mhmm”, “got it” 같은 반응으로 사용자의 말을 따라가고 있음을 나타낼 수 있음
  • ChatGPT의 9개 고유 음성은 GPT‑Live에 맞게 리마스터됨
  • 사용자는 추론 수준을 선택할 수 있음
    • Instant: 빠른 응답
    • Medium 및 High: ChatGPT가 더 오래 생각하도록 함
  • ChatGPT Voice는 사용자가 잠시 생각할 때 끼어들지 않고 기다릴 수 있음
  • 사용자가 조용히 듣고 있으라고 요청하면 그대로 따를 수 있음
  • 지나가는 차량이나 주변 대화 같은 배경 소음이 있어도 사용자의 목소리에 더 잘 집중함
  • 날씨, 주식, 스포츠 등 일부 주제는 대화 중 풍부한 시각 카드로 보여줄 수 있음
  • Voice는 검색, 메모리, 이미지, 파일 업로드를 계속 지원함

안전장치와 모니터링

  • GPT‑Live는 최신 모델의 안전 개선을 기반으로 하며, 음성 전용 안전 학습과 새 보호장치를 추가함
  • OpenAI는 실제 음성 사용 환경을 더 잘 반영하기 위해 오디오 기반 평가를 확장함
  • Advanced Voice Mode에서 얻은 내용을 바탕으로 생성 오디오를 사용하는 합성 평가도 만들었음
  • 내부 전문가들은 음성에 고유한 위험을 대상으로 레드팀 테스트를 수행함
  • 테스트에서 GPT‑Live는 평가한 거의 모든 영역에서 Advanced Voice Mode와 비슷하거나 더 나은 성과를 냄
  • 자세한 테스트와 보호장치는 GPT‑Live system card에서 확인할 수 있음
  • 음성 대화가 실시간으로 진행되기 때문에 모델이 말하는 중에도 작동하는 보호장치가 추가됨
    • 잠재적으로 안전하지 않은 출력을 감지하면 더 안전한 응답으로 유도함
    • 추가 안전 메시지나 리소스를 표시할 수 있음
    • 더 높은 위험 상황에서는 음성 대화를 종료할 수 있음
  • 자해 관련 대화에는 전문가 검토를 거친 위기 헬프라인 지원을 포함해 ChatGPT의 지원 흐름을 음성용으로 조정함
  • 청소년 사용자를 위한 추가 보호도 설계됨
    • 연령에 맞는 행동을 모델에 직접 학습시켜 부적절한 응답 위험을 줄임
    • 부모는 Parental Controls에서 청소년의 ChatGPT Voice 사용 여부를 선택할 수 있음
    • 연결된 부모는 잠재적 자해나 자살 의도 징후가 있는 고위험 상황에서 알림을 받을 수 있음
  • 정서적 의존에 초점을 맞춘 장기 측정과 출시 후 모니터링도 진행됨
    • 이전 affective use and emotional well-being 연구를 기반으로 함
    • 정서적으로 민감한 상호작용에서 새 패턴을 파악하고 응답 방식을 개선하는 데 사용됨
  • GPT‑Live는 대화를 위한 모델이며 음성 사칭용이 아님
    • ChatGPT의 사전 정의된 음성 세트를 사용함
    • 실제 사람의 목소리를 모방하지 못하도록 보호장치를 둠

지원 범위와 현재 제약

  • GPT‑Live는 iOS, Android, ChatGPT.com에서 전 세계 ChatGPT 사용자에게 배포 중임
  • GPT‑Live‑1은 Go, Plus, Pro 사용자의 ChatGPT Voice 기본 모델이 됨
  • GPT‑Live‑1 mini는 Free 사용자의 기본 모델이 됨
  • 더 자세한 제공 범위는 Help Center에서 확인할 수 있음
  • GPT‑Live는 ChatGPT에서 많이 쓰이는 일부 언어에 최적화됨
    • 일부 언어에서는 비원어민 억양이나 유창성에 빈틈이 있을 수 있음
    • OpenAI는 여러 언어에서 경험을 개선하는 작업을 진행 중임
  • 출시 시점에는 ChatGPT에서 음성 기반 비디오나 화면 공유를 지원하지 않음
    • OpenAI는 해당 기능을 곧 도입하기 위해 작업 중임
    • Standard와 Advanced Voice Mode 같은 기존 ChatGPT Voice 버전에서는 해당 기능을 계속 사용할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 몇 주 동안 미리 써봤는데 꽤 좋았음. 개를 산책시키면서 한 시간짜리 대화를 했고, 내 프로젝트 하나에 대해 꽤 괜찮은 브레인스토밍도 됐음
    가장 좋은 기능은 백그라운드에서 질문을 GPT-5.5에 위임할 수 있다는 점이라, 더 이상 최전선보다 몇 년 뒤처진 음성 모델에 묶이지 않음
    재미있는 버그도 신고했는데, 내가 아직 말하는 중인데 끼어들어서 농담 의도가 아니었던 말에 웃곤 했음. 다행히 그 동작은 줄인 듯하고, 당시에는 좀 무례하고 깔보는 느낌이었음

    • 성격 설정에 잘 반응하는지 궁금함. 가짜 AI 여자친구 같은 건 전혀 원하지 않지만, 음성 모드에서는 큰 가치를 얻고 있음
      써보는 건 기대되지만 Sesame처럼 소름 끼치게 과하게 연출된 엉망이 아니었으면 함. 내가 원하는 방향은 참여도를 크게 끌어올리기 어려울 테니, 결국 가짜 AI 여자친구 쪽으로 계속 밀어붙일 것 같다는 예상이 듦
    • 백그라운드에서 GPT-5.5에 위임할 수 있다는 건 내가 딱 바라던 방향임
      출퇴근이나 운동 중에 브레인스토밍할 때 ChatGPT 음성 모드를 쓰고 싶었지만, 과거에 갇힌 느낌 때문에 덜 쓰게 됐음
    • 그냥 산책을 즐기는 걸 강력히 추천함
    • 현재 음성 모델처럼 둔화된 GPT 버전인지 궁금함. 적어도 프랑스어에서는 지금 GPT 음성 모드가 쓸모없어서 받아쓰기 모드만 쓰게 됨
      질문을 하면 “흥미로운 질문이네요. 도와드릴 수 있어요. X에 대해 알고 싶은 게 있나요?” 같은 식으로 답하고, 다시 물어도 같은 종류의 무답변만 돌아옴
    • 음성 모드의 사용자 경험은 좋아하지만, 음성 모델 자체는 늘 싫었음
      특히 Gemini는 매번 이상한 질문으로 끝나고, 프롬프트로도 안정적으로 막을 수 없어서, 결국 STT → 모델 → TTS만 하는 자체 클라이언트를 실제 작업 흐름용으로 만들게 됨. STT와 TTS는 각각 독립적으로도 유용함
      모델이 빠르게 더 미묘하게 답하는 데 약간의 가치는 있겠지만 크지는 않음. 답변이 끝날 때까지 기다릴 수 있고, 차라리 실제로 유용했으면 함. 디지털 친구를 찾는 게 아님
      위임 기능 덕분에 오케스트레이션 성격의 기능에서는 음성 모델 가치가 조금 보이지만, 소통 매체가 바뀌었다는 이유만으로 기능과 quirks가 다른 모델과 대화해야 하는 건 별로고, 왜 좋아하는지도 잘 모르겠음

  • 이건 AI가 가야 할 방향의 정반대임. 인간관계는 우리가 가진 가장 가치 있는 것인데, 기술은 자연스럽게 그 사이를 중개하려 하고 이제는 대체하려 함
    가톨릭 신자는 아니지만, AI를 사람처럼 대화 상대로 삼는 것에 반대하는 흥미로운 논증이 이 팟캐스트에 있음: https://newpolity.com/podcasts-hub/debate-chatbots

    • AI가 하는 일 대부분은 이미 잘못된 방향임. 사람 간 상호작용뿐 아니라 생각, 창작, 감각 지각과 반응까지 빼앗고 있음
      사람들은 인간을 돕는다고 부르지만, 나는 인간에게서 인간다움을 빨아들이는 것으로 봄
      피해가 난 뒤 거대 기업들은 “우린 사업 경쟁에 대응했을 뿐”이라고 어깨를 으쓱할 것임. 사업은 인간이 아니므로 인간다움을 알지 못함. 기업과 기계는 인간을 먹이로 보는 존재이고, 인간은 진보라고 믿으며 그것들을 만들어냈음. 지적 능력을 필요로 했고 다른 종을 지배하게 도왔기 때문에 진보라 부르지만, 돌고래들은 우리를 비웃고 있을 것임
    • 타당하지만 서로 다른 두 가지를 섞고 있는 듯함
      인간의 사회화나 대화를 대체하는 AI 음성 모드라면 나도 cringe라고 보고 완전히 동의함. 그건 텍스트든 음성이든 마찬가지임
      하지만 도구로서의 AI와 상호작용하는 대체 인터페이스라면 훌륭한 생각이라고 봄. 너무 피곤해서 타이핑하기 어렵거나, 더 자유로운 방식으로 브레인스토밍하고 싶을 때 잘 작동하는 음성 모드가 있으면 좋았을 순간들이 있었음
      당연히 현재 AI를 인격처럼 쓰느냐 도구처럼 쓰느냐의 구분은 순전히 사용자 쪽에 있음. 나는 후자를 많이 원하고, 누군가 전자로 쓰고 싶다면 그건 내 문제가 아님. 다만 결국 이 기능은 도구로서의 장점보다 평균적인 사람이 얼마나 퇴행적이고 환원적인 방식으로 쓰는지에 따라 평가될 것 같아 아쉬움
    • 챗봇에 문자나 음성으로 쓰는 모든 1분은 원래 다른 인간과 대화했을 1분임. 삶에서 유일하게 중요한 것, 모든 가치의 기반, 자기 정체성의 형성은 다른 인간과의 소통에서 나옴
    • 음성은 종류의 차이가 아니라 정도의 차이 아닌가 싶음. 나도 AI를 인간인 것처럼 대화하고 있고, AI의 사용자 경험 자체가 인간을 흉내 내는 것이라고도 볼 수 있음
      인간과의 상호작용 중 상당 부분도 텍스트로 이뤄짐. 예를 들면 이 글도 그렇다
    • 동의하지 않음. 유동적이고 자연스러운 대화형 AI는 LLM과 작업하는 어떤 인터페이스보다 훨씬 생산적임
      다만 더 로봇처럼 만들어야 한다는 주장도 가능하긴 함. StarTrek처럼. 솔직히 업무에는 그 편이 더 나을 수도 있음. 차갑고 순수한 효율성만 있는 “일 처리 모드” 같은 것

  • 이번 발표에서 빠진 게 커넥터와 도구 사용 능력임. 잘 이해가 안 됨. Claude, ChatGPT, Gemini, Grok 같은 최전선 어시스턴트 중 음성 모드에서 도구나 커넥터를 쓸 수 있는 게 하나도 없음
    너무 당연해 보이는데, 대화하면서 자료를 조사하고, 문서를 불러오고, 메모를 남기고, 생산적인 일을 하고 싶음. 앱이나 서비스에 연결해야 할 때마다 음성 모드를 끝내고 싶지 않음
    이상한 건 예전 Claude 음성 모드는 도구를 쓸 수 있었는데, 개편하면서 그 능력을 잃고 이제 Haiku에 고정됐다는 점임
    마침내 최전선 모델 기반이고 Grok 음성만큼 좋기를 기대할 만한 음성 모드가 나온 건 반갑지만, 음성 모드에서 여전히 도구 사용이 안 보이는 건 아쉬움
    아직 직접 써보진 않았고 발표만 읽었음

    • Sam Altman이 누군가 Voice로 1마일 달리기 시간을 재려다 웃기게 실패한 바이럴 클립에 반응하는 TikTok이 있음
      Sam의 반응은 “네, 타이머 같은 도구에 접근할 수 없어요. 알려진 문제고, 약 1년 안에 들어올 겁니다”였음
      클립은 여기: https://www.youtube.com/shorts/Py2YgJe8fqQ
    • gpt-realtime-2를 쓰면 낮은 지연 시간 스트리밍으로 비슷한 결과를 낼 수 있고, 방 안에 함께 있는 어시스턴트 같은 느낌을 줌
      도구 사용까지 붙여서 gpt-realtime-2 모델을 시험해볼 수 있게 조정해둔 곳이 있음: https://sippet.ai/?enabler=hn
    • 회사를 운영하고 하루 일정을 계획하는 개인 비서에 gpt-realtime-1을 쓰고 있는데 꽤 잘 작동함. 도구 호출도 함
      다만 다중모달 처리 때문에 이상한 이벤트, 메시지와 오디오 시퀀스 간 경쟁 상태를 디버깅할 일이 많았음. 그래도 전반적으로는 꽤 훌륭함
      오늘 나중에 이 모델로 옮겨볼 예정이고 결과를 다시 남기겠음
    • 도구는 지연 시간이 예측 불가능해서 관련이 있을 수 있음. 그래도 이미 5.5로 백그라운드 넘김을 한다면 그 맥락 안에서 그냥 활성화할 수 있을 것 같음
    • 정말 최전선 어시스턴트들이 음성 모드에서 도구와 커넥터를 못 쓰는 게 맞나? 친구가 Gemini와 자주 브레인스토밍하는데, 아마 Android 폰에서 대화 관련 작업을 실제로 수행하고 메모에 내용도 추가한다고 알고 있음
      어쨌든 언제든 pi로 분위기 코딩해서 하나 만들 수 있음

  • 많은 AI 기능처럼 멋지면서도 좀 소름 끼침. 예전에 Siri나 Google 쪽, TV에 있는 것 같은 음성 인터페이스를 써본 적이 없어서 아마 대상 사용자는 아니겠지만, 개선처럼 보이긴 함
    소름 끼치는 부분은 우리가 그 어느 때보다 서로 단절된 시대에 산다는 점임. 정말 대화까지 대체해야 하나? 노인 여성들이 나오는 시연 영상은 뭔가를 암시하는데, 이미 사회가 노인을 대하는 방식과 거대한 노인 고독 문제가 있다고 봄. 실제로 생각하지 않는 기계와 사람들이 정말 가까워지는 모습을 상상하면 슬픔이 있고, 분명한 불쾌감이 듦

  • OpenAI의 Atty임
    GPT-Live-1은 새 세대 모델의 첫 버전이고, 전이중 구조와 위임 기능이 인간-AI 상호작용의 완전히 새로운 방식을 가능하게 한다고 봄
    피드백을 듣고 싶음

    • 좀 특이한 질문일 수 있는데, 이게 외로움 유행과 사회의 원자화를 더 악화시킨다면 스스로 감당할 수 있을 것 같나?
      5년 뒤 십대들이 당신들의 챗봇하고만 시간을 보낸다는 얘기를 듣게 되면 어느 정도 개인적 책임을 느낄지, 아니면 전혀 안 느낄지 궁금함
    • 내 기술이나 도구에 연결할 수 있나? 예를 들어 회사에 지식 베이스와 이벤트 로그가 있고, 이 지식에 완전히 접근해 대화하고 저장소에 있는 기술이나 도구를 호출할 수 있는 브레인스토밍 동반자가 필요함
    • gcal 같은 다른 앱에 연결할 수 없다면, “그 기능은 없습니다”라고 말하기보다 표준 GPT 클라이언트를 쓰라고 제안해야 함
      그렇게 말하면 일반 클라이언트도 그 기능이 없다고 오해할 수 있어서 misleading함
    • 한 번에 에이전트 하나에만 위임할 수 있나, 아니면 여러 작업을 위해 여러 하위 에이전트를 생성할 수 있나?
    • 노래할 수 있나? 종단 간 다중모달 모델인가?

  • 이걸 보고 ChatGPT를 다시 구독하게 될지도 몰라서 화남. LLM 이전에는 내가 음성 기능을 이렇게 많이 쓰게 될 거라고 믿지 않았을 텐데, 현재 ChatGPT가 가장 좋은 음성 인터페이스를 갖고 있음
    Grok 인터페이스가 그다음이고, 그다음이 Claude라고 봄

    • 나도 마찬가지임. 음성 기능을 항상 쓰기 때문에 Gemini에서 ChatGPT로 다시 돌아갈지도 모르겠음
      좋아하는 사용 사례 중 하나는 운전하면서 무작위 주제에 대해 대화하고 배우는 것임

  • 예전보다는 훨씬 나아졌지만, 여전히 직접 채팅보다 상당히 약함
    예를 들어 “벡터 크기가 유용한 정보 대부분을 인코딩하지 않는다고 자주 말하는데, 왜 LLM 어텐션은 코사인 유사도 대신 내적을 써야 하나?”라고 물었음
    음성 답변은 방향은 맞았지만 세부가 부족하고 약간 얼버무리는 느낌이었음
    같은 질문에 대한 텍스트 채팅 답변은 훨씬 품질이 높았음
    음성 응답에서 “생각해볼게요…”라고 했으니 광고한 대로 5.5를 호출하는 듯하지만, 분명 더 약함
    양쪽 모두 추론 설정은 같게 했음

    • 이건 꽤 많이 조정 가능함. 현재 성격은 브레인스토밍과 대화에 최적화돼 있지만, 사용자 지정 지침으로 더 깊게 들어가고 정보 밀도 높거나 더 기술적인 답을 달라고 할 수 있음
    • 사람은 듣는 것보다 훨씬 많은 텍스트를 읽을 수 있음. 음성 답변이 너무 길면 금방 인내심을 잃음
      그래서 텍스트가 많다면 화면에 보여주는 편이 더 낫다
    • 백그라운드 사고 수준을 최소로 줄였다고 자연스럽게 추정하게 됨. 일종의 정지 문제이고, 텍스트 5.5에서 최대 사고로 두면 질문 하나에 5~10분을 씹기도 함
      그런 대화는 꽤 어색해질 것임

  • PersonaPlex 말고 공개된 오픈소스 전이중 모델이 있는지 궁금함. 중국 쪽 공개 모델 중 Fun Audio chat 비슷한 이름의 모델이 전이중 버전을 내겠다고 했던 것 같은데 실제로 냈는지는 모르겠음
    내 꿈은 함수 호출이나 아주 기초적인 텍스트 출력을 가진 오픈소스 전이중 모델임. PersonaPlex도 여전히 흥미롭지만, 출력 처리를 다루거나 쉽게 폭주하지 않게 하려면 파인튜닝이 필요해 보였음

    • Standard Intelligence가 2년 전에 하나 공개했음
      https://si.inc/posts/hertz-dev/
      8.5B뿐이고, 완전히 대화형처럼 들리지는 않음
    • 나도 이걸 알고 싶음. 로컬 AI 어시스턴트와 소통하는 스마트 스피커를 대충 만들어보고 싶기 때문임
      지금은 iMessage로 전부 하고 있지만, 부엌에서 손이 바쁠 때 음성으로 장보기 목록에 물건을 추가하라고 말할 수 있으면 좋겠음. 마이크와 스피커를 뭘 고르면 좋을지도 조언이 있으면 좋겠고, 두뇌 쪽은 굴러다니는 Raspberry Pi를 재사용할 계획임
    • https://duplexio.ai에서 이 작업을 하고 있고, 공개 가중치로 비상업적 사용은 무료가 될 예정임. 같이 작업하고 싶으면 anders@duplexio.ai로 이메일 보내면 됨

  • Gemini live는 이미 1년 넘게 이걸 할 수 있었음. 폰에서 그냥 켜면 실제로 놀랄 만큼 잘 작동하고, 특히 끼어들기 처리가 좋음
    95세 네덜란드 할머니와 테스트해봤는데 영어와 네덜란드어를 매끄럽게 오갔고, 청력이 좋지 않은 점도 잘 처리했으며 반복 요청도 잘 받아줬음
    OpenAI가 여기서 이렇게 따라잡는 중이라는 게 조금 놀라움

    • Gemini live는 컴퓨터 비전 쪽도 꽤 괜찮음. 자전거와 차를 수리할 때 몇 번 써봤는데, 폰 카메라로 특정 나사와 부품을 동그라미 치거나 강조해줬음
      폰을 삼각대에 세워두면 수리 전체를 단계별로 안내해줄 수 있음
    • ChatGPT도 1년 넘게 이걸 갖고 있었음. 이건 더 나은 모델임
    • Simon이 짚은 한 가지는, 보통 실시간 음성 모델은 최전선 모델만큼 능력이 좋지 않다는 것임
      이 모델이 특별한 점은 대화하면서 작업을 최전선 모델에 위임할 수 있다는 데 있음
    • Gemini live가 내 OnePlus 15에 있는 앱과 같은 건가? 그건 전이중이 아닌 것 같은데
    • 무슨 뜻인지 모르겠음. OpenAI는 작년 8월부터 실시간 음성 모델을 갖고 있었음. 이건 성능이 더 나은 새 모델임

  • 최악의 시나리오는 사람들이 늘 동의해주는 AI와 대화하는 데 너무 익숙해져서, 자기와 다른 관점이나 자존심을 쓰다듬어주지 않는 반응을 내놓는 존재와는 대화할 능력을 잃는 것임

답변달기