- Tavus는 사람과 자연스럽게 대화하는 AI 비디오 인터페이스를 만들기 위해 응답 지연을 1초 미만으로 낮추는 데 집중함
- 빠른 대화에서는 발화 사이가 약 250ms에 불과해, 비디오 에이전트도 낮은 지연시간과 대화 맥락 인식을 함께 갖춰야 함
- 초기 Phoenix-1은 대화마다 H100 한 대가 필요해 비용과 확장성에 한계가 있었고, Phoenix-2는 Gaussian Splatting 전환으로 저사양 하드웨어에서 70fps 이상 생성을 목표로 함
- 전체 파이프라인에서는 vision, ASR, LLM, TTS, 비디오 생성을 모두 줄였으며, LLM에서는 초당 토큰보다 최초 토큰 시간이 체감 병목이었음
- 침묵 시간만으로 발화 종료를 판단하면 끼어들기와 응답 지연이 생기므로, 발화 종료 감지와 입력 추측으로 3~5초 지연을 1초 미만, 빠르면 600ms까지 낮춤
Tavus가 잡은 목표: 사람처럼 느껴지는 응답 속도
- Tavus는 2020년부터 디지털 트윈 또는 아바타용 AI 비디오 모델을 만들어 온 AI 연구 회사이자 비디오 API 개발자 플랫폼임
- 데모로 Hassaan의 디지털 트윈과 대화할 수 있는 hassaanraza.com, “demo twin” Carter가 있는 tavus.io를 제공함
- 대화형 비디오는 컴퓨터와 더 자연스럽게 상호작용하는 방식이 될 수 있지만, 이를 위해서는 낮은 지연시간과 대화 맥락을 반영하는 인식이 필요함
- 목표 지연시간은 1초 미만임
- 친구 간 빠른 대화는 발화 사이가 약 250ms 수준임
- 더 복잡한 주제나 낯선 사람과의 대화에는 추가적인 “생각” 시간이 있음
- 1000ms 미만이면 대화가 꽤 현실적으로 느껴진다고 봄
지연시간·확장성·비용을 함께 맞춘 구현
- 아키텍처는 지연시간, 확장성, 비용을 동시에 맞춰야 했고, 이를 위해 처음부터 저지연 시스템으로 다시 접근함
-
영상 모델과 하드웨어 비용
- 초기 개발 단계에서는 Phoenix-1 모델을 30fps보다 빠르게 실행하려면 모든 컴포넌트와 모델 가중치를 GPU 메모리에 올려야 했고, 대화마다 개별 H100이 필요했음
- 이 방식은 확장하기 어렵고 비용도 높았음
- Phoenix-2는 추론 속도를 포함해 여러 개선을 반영한 새 모델임
- NeRF 기반 백본에서 Gaussian Splatting으로 전환함
- 저사양 하드웨어에서 실시간보다 빠른 70fps 이상 프레임 생성을 요구사항으로 삼음
- GPU 메모리와 코어 사용을 최적화해 더 낮은 사양의 하드웨어에서도 실행되도록 집중함
- 스트리밍 사용, 배치 처리 대신 병렬화하는 방식도 시간과 비용 절감에 활용함
-
LLM과 발화 종료 감지
- 발화 간 지연시간을 1초 미만으로 줄이기 위해 vision, ASR, LLM, TTS, 비디오 생성 각각을 강하게 최적화함
- 가장 큰 병목은 LLM이었음
- 초당 토큰(tokens per second)이 빠른 것보다 최초 토큰 시간(time-to-first token) 이 실제 체감 지연에 더 중요했음
- Groq 같은 서비스도 초당 토큰은 높지만 최초 토큰 시간이 느려 요구에 맞지 않았고, 대부분의 제공자가 너무 느렸음
- 다음 병목은 사용자가 말을 멈췄는지 감지하는 부분이었음
- 침묵 뒤의 시간을 기준으로 멈춤을 판단하면 추가 지연이 생김
- 기준을 너무 짧게 잡으면 AI 에이전트가 사용자의 말을 덮고, 너무 길게 잡으면 응답이 늦어짐
- 대화 신호를 기반으로 발화 종료(end-of-turn) 를 정확히 감지하고, 입력을 추측해 먼저 준비하는 전용 모델이 필요했음
- 이러한 최적화로 3~5초였던 지연시간을 1초 미만, 빠르면 600ms까지 낮췄고 더 낮은 사양의 하드웨어에서도 실행함
데모와 사용 사례
- Tavus는 Delphi 같은 고객을 보유하고 있으며, Delphi는 전문 코치와 전문가 복제 플랫폼으로 디지털 트윈과 몇 분에서 1시간, 4시간까지 이어지는 대화를 하는 사용자가 있음
- 데모를 본 뒤 API를 사용해 보려는 사용자는 tavus.io에서 무료로 가입할 수 있음