유튜브 비디오 내부를 자연어로 검색하기

- OpenAI의 CLIP 신경망을 이용해서 비디오 안의 특정 장면을 검색
ㅤ→ "Road Works", "People crossing the street" "Fire truck" 처럼 영상안의 이미지를 검색
동작방식
1. 유튜브 비디오 다운로드
2. 각 프레임을 추출
3. 모든 프레임을 CLIP으로 인코딩
4. CLIP으로 자연어 검색을 인코딩
5. 자연어 검색으로 특정 씬 찾기

- Google Colab에서 노트북으로 바로 실행가능
ㅤ→ https://colab.research.google.com/github/haltakov/…

[xguru]

댓글에 같은 개발자가 Unsplash 의 이미지 검색도 CLIP 으로 해둔게 있는데, 이것도 무척 유용할듯
- https://github.com/haltakov/natural-language-image-search
- Google Colab : https://colab.research.google.com/github/haltakov/…

Unsplash에 올라온 200만개의 사진중에서 원하는 내용의 사진을 찾아 줍니다.
- "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"