# Show GN: Google search in videos

> Clean Markdown view of GeekNews topic #10226. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10226](https://news.hada.io/topic?id=10226)
- GeekNews Markdown: [https://news.hada.io/topic/10226.md](https://news.hada.io/topic/10226.md)
- Type: show
- Author: [ysc7064](https://news.hada.io/@ysc7064)
- Published: 2023-08-07T20:35:03+09:00
- Updated: 2023-08-07T20:35:03+09:00
- Original source: [dev.ctrlx.video](https://dev.ctrlx.video)
- Points: 8
- Comments: 3

## Topic Body

안녕하세요  
저는 [플릭](http://onelink.to/6hvfx3)이란 운동 기록 앱을 개발, 운영한 적이 있고  
현재는 LLM, Multimodal, Langchain, 특히 LLM agent와 영상의 교점을 찾는데에 관심이 많은 개발자입니다.  
  
소개드릴 프로젝트는 **업로드 된 비디오 내에서 원하는 장면, 비디오 클립을 텍스트 또는 이미지로 검색**할 수 있는 [검색엔진](https://dev.ctrlx.video) 입니다.  
  
현재 대부분 영상은 사람이 다루고 있지만, Video를 다루는 API가 있다면 AI agent가 직접 영상을 편집하거나 추출 할 수 있지 않을까? 하는 생각으로 시작하게 된 프로젝트입니다.  
  
시험 삼아 사용하실 수 있도록 *Playground*에 랜덤 유튜브 영상들을 업로드 해 두었습니다.  
사용에 대한 피드백을 주시면 너무 감사하겠습니다.  
  
P.S, 직접 영상을 업로드 하시고 싶으시거나, API 형태의 결과가 필요하시다면 언제든지 연락 주십시오.

## Comments



### Comment 17992

- Author: kuroneko
- Created: 2023-08-08T09:36:47+09:00
- Points: 2

옛날부터 홈 비디오를 관리하는 프로그램 중에  
영상에서 여러 장면을 추출해서 전통적인(?) CNN을 통해 장면을 분류하고 검색할 수 있게 해주는 프로그램들이 몇 가지 있었는데...  
  
이건 그런 방법과는 차원이 다를 정도로 잘 되는 것 같네요.  
  
몇 번 검색해보니 결과중에 한 70~80%정도는 진짜 제가 찾던 장면들인 것 같습니다.  
예를 들어 "A scene where something explodes"를 검색하니 주로 스파이더맨 영화에서 뭔가 번쩍이는 장면을 잘 찾아주더군요.  
  
물론 장면이 빠르게 바뀌는 것들도 폭발이라고 찾아주긴 하는데... 그래도 너무 신기합니다.  
넷플릭스 로고가 있는 사진을 올리니까, 넷플릭스를 포함해서 뭔가 기업 로고가 떠 있으면 모두 찾아주네요.  
  
(그래도 한국어가 안되는 점은 조금 아쉽긴 합니다.)

### Comment 17993

- Author: kuroneko
- Created: 2023-08-08T09:37:05+09:00
- Points: 1
- Parent comment: 17992
- Depth: 1

이 기능은 이미지에도 잘 동작할 것 같은데, 이러면 개개인이 동영상을 포함한 자신의 전체 앨범을  
AI로 검색할 수 있는 날도 머지않았다는 생각이 듭니다.  
  
아니면 라이브 방송이나 길이가 아주 긴 영상을 편집할 때 영상을 전부 보지 않아도  
AI를 통해 하이라이트나 딱 필요한 부분을 찾아서 가져온다던가...  
  
기업에서 생각해보면 유튜브에 자연어+장면으로 검색하는 기능이 들어갈 수도 있겠네요.  
  
아무튼 멋진 프로젝트 공개해 주셔서 감사합니다.  
지금 개발하시는 방향성과는 조금 다른 것 같지만, 언젠가 이런 프로젝트가 오픈 소스로 공개되어 Self host가 가능해지면 좋겠네요.

### Comment 18010

- Author: ysc7064
- Created: 2023-08-08T16:07:09+09:00
- Points: 1
- Parent comment: 17993
- Depth: 2

안녕하세요 kuroneko님, 프로젝트를 재미있게 가지고 놀아 주신 것 같아 감사드립니다.  
  
1. '개개인이 동영상을 포함한 자신의 전체 앨범을 AI로 검색할 수 있는 날'  
-> 앨범을 뒤적여 사진을 찾던 제 모습이 바로 생각나네요...  
  
2. '길이가 아주 긴 영상을 편집, AI를 통해 하이라이트나 필요한 부분을 찾아서 가져온다'  
-> 맞습니다. AI를 이용해 영상 생산의 한계비용을 낮추는 데에 관심이 있습니다.  
  
상세한 사용 후기를 이렇게 전달 주셔서 다시 한번 너무 감사드립니다.  
잘 읽어보고 프로젝트에 영감을 줄 수 있는 부분을 추출해 계속 적용해 나가겠습니다.