▲

Gemini의 비디오 임베딩 기능을 활용한 초단위 이하 의미 기반 영상 검색 도구 SentrySearch

 (github.com/ssrajadh)
2P by GN⁺ 1일전 | ★ favorite | 댓글 1개
  • 대시캠 등 영상 파일에서 자연어로 장면을 검색해 해당 구간을 자동으로 잘라내는 의미 기반 검색 시스템
  • Google Gemini Embedding 2 모델을 이용해 비디오 자체를 벡터로 임베딩하고, ChromaDB 에 저장해 텍스트 쿼리와 직접 비교
  • ffmpeg 로 영상을 겹치는 청크 단위로 분할해 임베딩하며, 검색 시 가장 유사한 구간을 하위 초 단위 속도로 반환
  • 전처리와 정지 프레임 스킵 기능으로 API 호출 비용을 줄이고, 1시간 영상 인덱싱에 약 $2.84 수준의 비용 발생
  • Gemini Embedding 2의 비디오 직접 임베딩 기능을 활용해 자막 생성 없이도 수시간 분량의 영상에서 빠른 의미 검색을 가능하게 함

개요

  • SentrySearch는 대시캠 영상에서 의미 기반 검색(semantic search) 을 수행하는 도구로, 사용자가 자연어로 검색어를 입력하면 해당 장면이 포함된 잘린 클립(trimmed clip) 을 반환함
  • Google Gemini Embedding 2 모델을 이용해 영상 자체를 벡터로 임베딩하고, 이를 ChromaDB 로컬 데이터베이스에 저장함
  • 텍스트 쿼리를 동일한 벡터 공간에 임베딩해 가장 유사한 영상 조각을 찾아냄
  • 검색 결과는 원본 파일에서 자동으로 잘라 저장되며, 하위 초 단위(sub-second) 의 검색 속도를 제공함

작동 방식

  • 영상은 겹치는 구간(overlapping chunks) 으로 분할되어 각 구간이 Gemini Embedding 모델을 통해 직접 임베딩됨
  • 각 임베딩 벡터는 ChromaDB 에 저장되며, 검색 시 텍스트 쿼리가 동일한 벡터 공간으로 변환되어 매칭됨
  • 가장 높은 유사도를 가진 구간이 원본 영상에서 자동으로 잘려 클립으로 저장됨
  • ffmpeg 가 영상 분할과 트리밍에 사용되며, 시스템에 설치되어 있지 않으면 imageio-ffmpeg 가 자동으로 사용됨

설치 및 초기 설정

  • Python 3.10 이상 환경에서 다음 명령으로 설치 가능
    • git clone 후 pip install -e .
  • sentrysearch init 명령으로 Gemini API 키를 설정하고 .env 파일에 저장
    • 키 유효성 검증을 위해 테스트 임베딩을 수행함
  • 수동 설정 시 .env.example을 복사해 직접 API 키를 추가할 수 있음

주요 명령어 및 옵션

  • index

    • 지정된 폴더 내 .mp4 파일을 재귀적으로 스캔해 인덱싱 수행
    • 각 파일은 여러 chunk 로 분할되어 임베딩됨
    • 옵션
      • --chunk-duration : 청크 길이(초 단위)
      • --overlap : 청크 간 겹침 길이
      • --no-preprocess : 다운스케일링 및 프레임 축소 생략
      • --target-resolution : 전처리 시 목표 해상도(기본 480p)
      • --target-fps : 전처리 시 목표 프레임 속도(기본 5fps)
      • --no-skip-still : 정지 프레임 구간도 모두 임베딩

  • search

    • 예시: sentrysearch search "red truck running a stop sign"
    • 결과는 유사도 점수와 함께 표시되며, 최고 결과는 자동으로 잘려 저장됨
    • 유사도 점수가 기본 임계값(0.35) 이하일 경우 확인 프롬프트가 표시됨
    • 옵션
      • --results N : 표시할 결과 수
      • --output-dir DIR : 클립 저장 경로
      • --no-trim : 자동 트리밍 비활성화
      • --threshold : 유사도 임계값 조정

  • stats

    • 인덱싱된 총 청크 수와 원본 파일 수를 표시

  • --verbose

    • 임베딩 차원, API 응답 시간, 유사도 점수 등 디버그 정보를 출력

기술적 배경

  • Gemini Embedding 2는 비디오를 직접 임베딩할 수 있으며, 텍스트 쿼리와 동일한 768차원 벡터 공간에서 비교 가능
  • 별도의 자막 생성이나 프레임 캡션화 과정이 필요 없음
  • 예를 들어 “red truck at a stop sign”이라는 텍스트 쿼리는 30초짜리 영상 클립과 직접 비교 가능
  • 이 기능으로 수 시간 분량의 영상에서도 초 단위 이하의 의미 검색이 가능함

비용 구조

  • 기본 설정(30초 청크, 5초 겹침) 기준으로 1시간 영상 인덱싱 비용은 약 $2.84
    • Gemini API는 업로드된 영상에서 초당 1프레임만 처리함
    • 전처리 과정은 480p, 5fps로 다운스케일링하여 전송 속도 최적화 및 타임아웃 방지 목적

  • 비용 절감 최적화

    • 전처리(preprocessing) : 업로드 크기와 전송 시간을 줄임
    • 정지 프레임 스킵(still-frame skipping) : 시각적 변화가 없는 구간은 임베딩 생략
      • 주차 중 장시간 녹화된 영상에서 효과적
    • 검색 쿼리는 텍스트 임베딩만 수행하므로 비용이 거의 없음
    • 추가 조정 옵션
    • --chunk-duration, --overlap : API 호출 횟수 조절
    • --no-skip-still : 모든 청크 임베딩
    • --target-resolution, --target-fps : 전처리 품질 조정
    • --no-preprocess : 원본 청크 그대로 전송

한계 및 향후 개선

  • 정지 프레임 감지는 JPEG 파일 크기 비교 기반의 휴리스틱 방식으로, 미세한 움직임을 놓치거나 정지 구간을 잘못 포함할 수 있음
  • 검색 품질은 청크 경계에 의존, 이벤트가 두 청크에 걸칠 경우 완벽히 포착되지 않을 수 있음
    • 향후 장면 감지(scene detection) 기반 청크 분할로 개선 가능
  • Gemini Embedding 2는 현재 프리뷰 단계로, API 동작 및 가격이 변경될 수 있음

호환성 및 요구사항

  • .mp4 형식의 모든 영상 파일에서 작동하며, Tesla Sentry Mode 영상에 한정되지 않음
  • 폴더 구조와 관계없이 모든 .mp4 파일을 재귀적으로 탐색
  • 요구사항
    • Python 3.10 이상
    • ffmpeg 설치 필요 (또는 imageio-ffmpeg 자동 사용)
    • Gemini API 키 필요 (무료 키 발급 가능: aistudio.google.com/apikey)
▲
GN⁺ 1일전  [-]
Hacker News 의견들

  • 이 구현 방식이 정말 멋지다고 느껴짐. 여전히 임베딩(embeddings) 은 마법처럼 느껴지는 부분이 있음
    하지만 이런 기술이 현실에서 감시 사회로 이어질 가능성이 가장 걱정스러움
    지금은 수많은 카메라가 있지만, 실제로 모든 영상을 사람이 다 보는 건 불가능하기 때문에 어느 정도의 익명성과 사생활이 유지되고 있음
    그러나 AI가 모든 영상을 실시간으로 분석하고 특정 인물이나 행동을 자연어로 탐지할 수 있게 되면, 전면 감시(panopticon) 가 현실이 될 수 있음
    범죄 탐지나 낙상 감지 같은 긍정적인 활용도 있겠지만, 규제가 없다면 그 결과는 매우 위험할 것임

    • 지금 이게 실제로 구현 중임. 시의회 회의에서 ALPR 카메라 계약을 논의하는 걸 들었는데, 거기서 Fusus라는 대시보드 제품을 알게 됨
      다양한 카메라 시스템과 ALPR, 경보를 통합하고, 자연어로 영상 질의가 가능하다고 함
      앞으로는 시민이 설치한 카메라도 통합될 예정이라 함. 결국 이게 Citizen 앱 같은 서비스와 연결되면, 이웃집 카메라가 경찰 시스템에 바로 연결되는 세상이 올 수도 있음
      정말 걱정스러운 방향임
    • 지금은 비용($2.50/시간)과 지연 시간(latency) 때문에 실시간 인덱싱이 어렵지만, 머지않아 가능해질 것임
      그래서 나는 로컬 모델로 이런 걸 처리해서 영상이 외부로 나가지 않게 하는 게 중요하다고 생각함
      하지만 전체적인 기술의 방향성은 신중히 고민해야 함
    • 대부분의 카메라는 한 조직이 전부 접근할 수 없고, 정부가 보려면 영장(subpoena) 이 필요함
      문제는 Flock이나 Ring처럼 대규모로 배포되거나, 한 회사가 모든 영상에 접근할 수 있을 때 생김
    • 기술적으로는 이미 전면 감시 체계가 가능함. 단지 지금은 비용이 많이 들 뿐임
    • 이런 비전 인식 모듈이 저전력 ASIC에서도 돌아가게 되면, 드론이 끔찍한 무기가 될 수 있음

  • 멀티모달 AI가 광고 탐지와 광고 삽입 간의 무기 경쟁을 불러올 것 같음
    예전에 Gemini 이전 모델로 AI 광고 제거를 실험했는데, 이번 기술은 훨씬 강력해서 광고를 즉시 식별하고 음소거하거나 제거할 수 있을 듯함
    관련 실험을 여기서 정리함

    • 흥미로운 글이었음. 어떤 사람이 AI 기반 웹 검색의 미래를 그렸는데, 결론은 밝지 않았음
      결국 광고는 사라지지 않을 것임. AI 제공자가 광고 화이트리스트를 받거나, 더 나쁘게는 AI가 직접 광고 제품을 홍보하게 될 수도 있음

  • 몇 달 전 Rexing 대시캠을 샀는데, 영상 접근이 너무 불편해서 직접 시스템을 만들어보려 함
    SD카드를 뽑지 않고도 영상을 탐색하고 다운로드할 수 있게 하려는 중임
    녹화 영상을 스크롤하다가 ‘이 장면을 자연어로 검색할 수 있으면 좋겠다’고 생각했는데, 이번 프로젝트를 보니 바로 적용하고 싶어짐
    공유해줘서 고마움

  • 이 기술을 영상 편집 소프트웨어에 적용할 수 있을까 궁금함
    예를 들어 Premiere 플러그인에서 “고양이가 나오는 장면을 모두 제거해줘”라고 하면 자동으로 EDL(Edit Decision List) 을 만들어주는 식으로

    • 좋은 아이디어임. 나도 이걸 다음 단계로 생각하고 있었음
      SentrySearch는 이미 자연어 질의에 대해 정확한 in/out 타임스탬프를 반환하고 ffmpeg로 자동 트리밍함
      이걸 EDL이나 Premiere 플러그인으로 확장하는 건 자연스러운 진화임
      나는 Premiere 전문가는 아니지만, 누군가 EDL 익스포터나 플러그인을 시도한다면 PR 리뷰와 병합을 도와줄 의향이 있음
      시작하면 GitHub 이슈로 알려주면 좋겠음

  • 이게 로컬 모델에서도 작동할 수 있는지 궁금함

  • 대시캠이 아니라 홈 모니터링 용도로도 흥미로움

    • 대부분의 홈 모니터링은 움직임 감지 시에만 녹화하므로 이미 검색 공간이 많이 줄어듦
      앞뒤로 빠르게 넘기면 문 앞에 누가 다가오는 30초 정도는 쉽게 찾을 수 있음
    • 이런 기능은 앞으로 모든 홈 보안 시스템의 필수 기능이 될 것 같음
      예전에 고양이가 문이 열렸을 때 밖으로 나갔는지 확인하려고 몇 시간씩 영상을 돌려봤는데, 사실은 집 안에 숨어 있었음

  • 나도 임베딩 프로젝트를 진행 중인데, 아직 프로토타입 단계임
    내 경우 Gemini는 아니고, 게임용 연결 퍼즐(reverse connections) 을 만드는 중임
    관련 내용은 여기서 볼 수 있음

  • “영상 조각이 대부분 정지 프레임인지 확인”하는 코드 부분을 봤는데, ffmpeg의 select와 scene 파라미터를 조합하면 자동으로 처리할 수 있을 것 같음

  • 나는 콘텐츠/비디오 인텔리전스 분야에서 일함
    Gemini는 이런 사용 사례에 정말 잘 맞는 도구임

  • 데모에서 “뒤에 자전거 거치대가 달린 차가 밤에 나를 끼어들었을 때”를 검색하는 걸 보고 웃었음
    아마 그 차를 찾는 게 이 프로젝트를 만든 진짜 동기였을 듯함

    • 틀린 말은 아닌 듯함
답변달기