# 메타 AI, 비디오 상의 모든 점(픽셀)을 추적하는 모델인 CoTracker를 발표

> Clean Markdown view of GeekNews topic #10637. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10637](https://news.hada.io/topic?id=10637)
- GeekNews Markdown: [https://news.hada.io/topic/10637.md](https://news.hada.io/topic/10637.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2023-08-31T10:06:39+09:00
- Updated: 2023-08-31T10:06:39+09:00
- Original source: [co-tracker.github.io](https://co-tracker.github.io/)
- Points: 3
- Comments: 3

## Topic Body

- 메타 AI가 비디오의 포인트(픽셀)를 추적하기 위한 새로운 모델인 CoTracker를 발표  
- CoTracker는 포인트 간의 상관관계를 고려하여 전체 비디오에서 여러 포인트를 추적하는 것을 목표로 함  
- 아키텍처는 광학 흐름과 추적 문헌에서의 아이디어를 기반으로 하며, 전문화된 어텐션 레이어를 가진 트랜스포머 네트워크를 사용  
- 슬라이딩 윈도우 방식을 사용하여 긴 비디오에 적용할 수 있으며, 다른 포인트 추적 방법과 비교하여 효율적이고 정확성이 높은 것으로 입증  
- 이 모델은 특히 가려짐이 있는 경우에도 더 깨끗하고 선형적인 추적을 생성  
- CoTracker는 정확성 측면에서 TAPIR와 Multi-Flow Tracking과 같은 다른 연구들보다 우수한 성능을 보여줌  
- 소프트웨어 엔지니어들에게 비디오에서 포인트를 추적하기 위한 새로운 강력한 도구를 제공하여 성능과 정확성을 향상시키는 중요한 발전

## Comments



### Comment 18784

- Author: kuroneko
- Created: 2023-08-31T11:41:34+09:00
- Points: 1

뭔가 데모가 예쁘네요. VR에서 필요한거 생각하면 비즈니스가 어느정도 일치하는게 있는 것 같기도 한데...

### Comment 18771

- Author: neo
- Created: 2023-08-31T10:06:39+09:00
- Points: 2

###### [Hacker News 의견](https://news.ycombinator.com/item?id=37314073) 
- 메타의 연구부문의 비즈니스 각도는 명확하지 않으며, 핵심 비즈니스와의 관계가 이해되지 않습니다.
- 페이스북의 추적 픽셀에 대한 경험이 메타의 CoTracker 모델의 성공에 기여할 것으로 보입니다.
- 메타의 목표는 VR을 믿기 어렵게 만들고, 실시간으로 세계를 이해할 수 있는 AI 시스템을 만드는 데 초점을 맞추고 있는 것으로 보입니다.
- CoTracker의 논문, GitHub 및 데모 링크가 제공됩니다.
- 구글은 Apache-2.0 라이선스를 갖는 Tapir라는 자체적인 포인트 추적 버전을 보유하고 있습니다.
- 제품 회사에서의 연구 과정은 엔지니어링 중심 회사와는 다릅니다.
- CoTracker와 비디오 코덱의 모션 추정 알고리즘 간의 비교가 의문을 제기합니다.
- CoTracker와 같은 오픈 소스 AI 모델은 스타트업에 낮은 마진을 가진 고도 경쟁력 있는 시장으로 이어질 수 있습니다.
- 앤드류 지서먼, 하트리 및 포제라는 영향력 있는 인물들이 언급되었습니다.
- CoTracker에는 향후 AR 응용 프로그램이 있을 수 있습니다.

### Comment 18776

- Author: xguru
- Created: 2023-08-31T10:16:53+09:00
- Points: 3
- Parent comment: 18771
- Depth: 1

**메타의 연구부문의 비즈니스 각도는 명확하지 않으며, 핵심 비즈니스와의 관계가 이해되지 않습니다.**  
  
이게 핵심 댓글이네요. 연구는 좋지만 비즈니스와의 얼라인이 잘 이해가 안되는 부분도 많아요.  
마치 예전의 구글을 보는 듯한 느낌도 드는데..