GN⁺: 메타 AI, 비디오 상의 모든 점(픽셀)을 추적하는 모델인 CoTracker를 발표
(co-tracker.github.io)- 메타 AI가 비디오의 포인트(픽셀)를 추적하기 위한 새로운 모델인 CoTracker를 발표
- CoTracker는 포인트 간의 상관관계를 고려하여 전체 비디오에서 여러 포인트를 추적하는 것을 목표로 함
- 아키텍처는 광학 흐름과 추적 문헌에서의 아이디어를 기반으로 하며, 전문화된 어텐션 레이어를 가진 트랜스포머 네트워크를 사용
- 슬라이딩 윈도우 방식을 사용하여 긴 비디오에 적용할 수 있으며, 다른 포인트 추적 방법과 비교하여 효율적이고 정확성이 높은 것으로 입증
- 이 모델은 특히 가려짐이 있는 경우에도 더 깨끗하고 선형적인 추적을 생성
- CoTracker는 정확성 측면에서 TAPIR와 Multi-Flow Tracking과 같은 다른 연구들보다 우수한 성능을 보여줌
- 소프트웨어 엔지니어들에게 비디오에서 포인트를 추적하기 위한 새로운 강력한 도구를 제공하여 성능과 정확성을 향상시키는 중요한 발전
Hacker News 의견
- 메타의 연구부문의 비즈니스 각도는 명확하지 않으며, 핵심 비즈니스와의 관계가 이해되지 않습니다.
- 페이스북의 추적 픽셀에 대한 경험이 메타의 CoTracker 모델의 성공에 기여할 것으로 보입니다.
- 메타의 목표는 VR을 믿기 어렵게 만들고, 실시간으로 세계를 이해할 수 있는 AI 시스템을 만드는 데 초점을 맞추고 있는 것으로 보입니다.
- CoTracker의 논문, GitHub 및 데모 링크가 제공됩니다.
- 구글은 Apache-2.0 라이선스를 갖는 Tapir라는 자체적인 포인트 추적 버전을 보유하고 있습니다.
- 제품 회사에서의 연구 과정은 엔지니어링 중심 회사와는 다릅니다.
- CoTracker와 비디오 코덱의 모션 추정 알고리즘 간의 비교가 의문을 제기합니다.
- CoTracker와 같은 오픈 소스 AI 모델은 스타트업에 낮은 마진을 가진 고도 경쟁력 있는 시장으로 이어질 수 있습니다.
- 앤드류 지서먼, 하트리 및 포제라는 영향력 있는 인물들이 언급되었습니다.
- CoTracker에는 향후 AR 응용 프로그램이 있을 수 있습니다.