Show HN: 지연시간 1초 미만 실시간 AI 비디오 에이전트

 (news.ycombinator.com)
2P by GN⁺ | ★ favorite | 댓글 1개
  • Tavus는 사람과 자연스럽게 대화하는 AI 비디오 인터페이스를 만들기 위해 응답 지연을 1초 미만으로 낮추는 데 집중함
  • 빠른 대화에서는 발화 사이가 약 250ms에 불과해, 비디오 에이전트도 낮은 지연시간과 대화 맥락 인식을 함께 갖춰야 함
  • 초기 Phoenix-1은 대화마다 H100 한 대가 필요해 비용과 확장성에 한계가 있었고, Phoenix-2는 Gaussian Splatting 전환으로 저사양 하드웨어에서 70fps 이상 생성을 목표로 함
  • 전체 파이프라인에서는 vision, ASR, LLM, TTS, 비디오 생성을 모두 줄였으며, LLM에서는 초당 토큰보다 최초 토큰 시간이 체감 병목이었음
  • 침묵 시간만으로 발화 종료를 판단하면 끼어들기와 응답 지연이 생기므로, 발화 종료 감지와 입력 추측으로 3~5초 지연을 1초 미만, 빠르면 600ms까지 낮춤

Tavus가 잡은 목표: 사람처럼 느껴지는 응답 속도

  • Tavus는 2020년부터 디지털 트윈 또는 아바타용 AI 비디오 모델을 만들어 온 AI 연구 회사이자 비디오 API 개발자 플랫폼임
  • 데모로 Hassaan의 디지털 트윈과 대화할 수 있는 hassaanraza.com, “demo twin” Carter가 있는 tavus.io를 제공함
  • 대화형 비디오는 컴퓨터와 더 자연스럽게 상호작용하는 방식이 될 수 있지만, 이를 위해서는 낮은 지연시간과 대화 맥락을 반영하는 인식이 필요함
  • 목표 지연시간은 1초 미만임
    • 친구 간 빠른 대화는 발화 사이가 약 250ms 수준임
    • 더 복잡한 주제나 낯선 사람과의 대화에는 추가적인 “생각” 시간이 있음
    • 1000ms 미만이면 대화가 꽤 현실적으로 느껴진다고 봄

지연시간·확장성·비용을 함께 맞춘 구현

  • 아키텍처는 지연시간, 확장성, 비용을 동시에 맞춰야 했고, 이를 위해 처음부터 저지연 시스템으로 다시 접근함

  • 영상 모델과 하드웨어 비용

    • 초기 개발 단계에서는 Phoenix-1 모델을 30fps보다 빠르게 실행하려면 모든 컴포넌트와 모델 가중치를 GPU 메모리에 올려야 했고, 대화마다 개별 H100이 필요했음
    • 이 방식은 확장하기 어렵고 비용도 높았음
    • Phoenix-2는 추론 속도를 포함해 여러 개선을 반영한 새 모델임
      • NeRF 기반 백본에서 Gaussian Splatting으로 전환함
      • 저사양 하드웨어에서 실시간보다 빠른 70fps 이상 프레임 생성을 요구사항으로 삼음
      • GPU 메모리와 코어 사용을 최적화해 더 낮은 사양의 하드웨어에서도 실행되도록 집중함
      • 스트리밍 사용, 배치 처리 대신 병렬화하는 방식도 시간과 비용 절감에 활용함

  • LLM과 발화 종료 감지

    • 발화 간 지연시간을 1초 미만으로 줄이기 위해 vision, ASR, LLM, TTS, 비디오 생성 각각을 강하게 최적화함
    • 가장 큰 병목은 LLM이었음
      • 초당 토큰(tokens per second)이 빠른 것보다 최초 토큰 시간(time-to-first token) 이 실제 체감 지연에 더 중요했음
      • Groq 같은 서비스도 초당 토큰은 높지만 최초 토큰 시간이 느려 요구에 맞지 않았고, 대부분의 제공자가 너무 느렸음
    • 다음 병목은 사용자가 말을 멈췄는지 감지하는 부분이었음
      • 침묵 뒤의 시간을 기준으로 멈춤을 판단하면 추가 지연이 생김
      • 기준을 너무 짧게 잡으면 AI 에이전트가 사용자의 말을 덮고, 너무 길게 잡으면 응답이 늦어짐
      • 대화 신호를 기반으로 발화 종료(end-of-turn) 를 정확히 감지하고, 입력을 추측해 먼저 준비하는 전용 모델이 필요했음
    • 이러한 최적화로 3~5초였던 지연시간을 1초 미만, 빠르면 600ms까지 낮췄고 더 낮은 사양의 하드웨어에서도 실행함

데모와 사용 사례

  • Tavus는 Delphi 같은 고객을 보유하고 있으며, Delphi는 전문 코치와 전문가 복제 플랫폼으로 디지털 트윈과 몇 분에서 1시간, 4시간까지 이어지는 대화를 하는 사용자가 있음
  • 데모를 본 뒤 API를 사용해 보려는 사용자는 tavus.io에서 무료로 가입할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견
  • 웹사이트와 다이얼업 소리가 마음에 듦, 카우보이 모자도 좋음
  • 두 아바타의 채팅 경험이 좋지 않음, 자주 끊기고 혼란스러움
  • 이미지 인식은 좋음, 아바타가 천천히 반응할 때 물건을 인식할 수 있었음
  • 구체적인 어려움을 공유해줘서 감사함, 앞으로 더 좋아질 것임
  • Hassan 버전이 더 나았음, 배경을 인식하고 벽에 있는 모델에 대해 이야기함
    • LEGO 세트에 대해 대화함
  • 화장실에서 카메라가 수건을 비추고 있었는데 "아늑한 화장실이네요"라고 말함
  • 실제 사람과 대화하는 느낌이었음, 코드처럼 대할 수 없었음
    • 사람과 대화할 때의 의식적인 노력을 생각하게 됨
    • Google 검색 시 최소한의 키워드만 사용함
    • 이 기술이 사람들에게 비슷한 행동을 훈련시킬까 걱정됨
  • 저지연, 멀티모달 AI에 관심 있다면 Tavus가 10월 19-20일 SF에서 해커톤을 후원함
    • 원격 트랙도 있음
  • 데모 기능: 9.5/10
    • 소름 끼침: 10/10
  • GPU 배포에 익숙하지 않지만, 비용이 많이 들고 할당이 어려움
    • 클라우드 GPU 자원을 대규모로 처리하는 방법이 궁금함
    • 웹소켓 연결당 GPU를 할당하는지, 그렇다면 비용이 많이 들 것임
  • 기술적으로 매우 인상적임, Carter 아바타가 긴장한 듯 보임
    • 입/치아에 이상이 있지만 반응이 빠름
    • Zoom에서 더 많은 지연을 본 적 있음
    • 콜센터의 미래라고 생각함, 아바타가 표현력이 높아지면 CSAT가 더 높아질 것임
  • 기술적으로 놀라운 작업, 1초 미만의 반응 시간은 매우 인상적임
    • FaceTime에서 가짜 사람과 대화할 수 있다는 점이 무서움
    • 사회적 영향에 대해 어떻게 생각하는지 궁금함
    • 오늘날 인간 연결의 부족으로 외로움 위기가 있음
  • ChatGPT가 대화 중단을 감지하는 데 문제가 있음
    • 항상 말을 끊음
답변달기