보안 카메라를 로컬 AI로 모니터링하기

• Frigate NVR는 집이나 사무실에 설치된 보안 카메라를 위한 로컬 인공지능 기반 객체 감지 솔루션 제공
• Home Assistant, OpenHab, NodeRed 등 인기 있는 자동화 플랫폼과 통합 기능 지원
• Frigate는 Home Assistant 미디어 브라우저에 직접 통합되어, 즉각적인 카메라 피드 및 오토메이션에 활용 가능함
• 실시간 센서·스위치 데이터 노출을 통해, 다양한 알림·자동화 시나리오 구성 가능함
• MQTT를 활용한 확장성 있는 연동성을 바탕으로 효율적인 스마트홈 구축이 가능함

---

Frigate NVR와 주요 기능

• Frigate NVR은 로컬에서 객체 감지 인공지능을 실행하여, 외부 클라우드 서비스에 의존하지 않고 보안 카메라 영상을 분석할 수 있음
• Home Assistant, OpenHab, NodeRed 등과 연동할 수 있어, 다양한 스마트홈 오토메이션 플랫폼에 쉽게 통합 가능함
• Frigate는 Home Assistant의 미디어 브라우저에 카메라 영상을 직접 표시하며, 지연 시간이 짧은 카메라 엔티티 제공
• 객체 감지 결과를 실시간 센서 및 스위치 데이터로 노출함으로써, 영상 기반의 이벤트 감지 및 자동화 규칙, 알림 설정 등 다양한 활용 가능성 제시
• MQTT 프로토콜 지원을 통해, 다른 IoT 및 자동화 시스템과 확장성 있게 연동 가능한 강점 있음

[GN⁺]

Hacker News 의견

• 나는 Frigate를 2년 넘게 운영해왔음, 감지 속도와 신뢰성 측면에서 써본 어떤 시스템보다 훨씬 뛰어남을 경험함. 전에 Ring, Tapo 카메라, Eufy Security 등도 써봤으나 지금은 Tapo 카메라만 RTSP 스트림으로 Frigate에 연결해서 사용 중임. 이 카메라들의 인터넷 접속을 차단해서 프라이버시도 완벽히 보장됨. Eufy Security는 모션 감지 알림을 누를 때마다 신제품 광고를 띄우는 등 광고를 본인 보안보다 우선시해서 믿을 수 없었음. 유료 멤버십을 내는데도 클라우드 영상이 열리지 않는 문제, 비밀번호 등 보안 자격증명을 암호화 없이 저장하는 문제도 있었음. 이런 점들이 나를 셀프 호스팅 솔루션으로 옮기게 만든 주요 이유였음. Frigate는 중고 하드웨어와 RX 550 GPU로 하드웨어 가속을 활성화해 사용하며, 감지 지연은 항상 1초 미만임. Frigate API를 활용해 스크린샷 알림을 텔레그램과 Pushover로 전송하는 앱도 직접 만들어 자급자족 환경을 2년간 유지함. 그동안 서비스 재시작은 두 번뿐이었음. VPS에서 집의 로컬 서버로 터널링해 외부에서도 완벽하게 사용 중임. 이 놀라운 프로젝트에 정말 고마움을 느낌

  • Home Assistant와 연동해서 쓰는지 궁금함. 참고로 내 ISP가 hacs 사이트 접속을 차단해서 HACS 통합이 제대로 안 됨. wget으로 get.hacs.xyz 받아 설치하려 해도 SSL 관련 에러가 나오고 연결이 끊김

  • 카메라를 인터넷에서 차단하고 로컬 네트워크에만 두면서, 혹시 모를 백채널 전송도 막는 본인만의 방식이 있으면 공유해줬으면 함

  • Eufy 카메라를 Frigate와 함께 사용할 수 있는지 궁금함

  • Tapo 카메라가 rtsp 모드에서 Frigate와 잘 호환되게 한 방법이 궁금함. 나는 카메라 한 대만 와이파이에 붙여도 네트워크가 매우 불안정해짐. 대역/한 AP당 한 대씩 나눴는데도 문제가 있었음

  • 이렇게 민감한 영상 데이터를 처음에 그들에게 어떻게 믿고 맡겼었는지 다소 놀라움. 예전엔 GNU 운동가들이 이상하게 느껴졌는데 이제는 광고 차단기조차 안 쓰는 동료들을 이해하지 못하게 됨

• 내 평소 불만 사항임. 첫 문장에 NVR이란 약어를 설명 없이 사용함. NVR은 Networked Video Recorder의 약자임. 누구나 그 분야 경험자가 아니므로, 이렇게 하지 않았으면 함

  • 방문자가 NVR 뜻을 안다고 가정하는 게 합리적으로 생각됨. 혹시 몰라도, Frigate가 뭔지 맥락상 충분히 알 수 있다고 봄

  • 동의하지 않음. Frigate를 찾는 사람들 90% 이상이 NVR이 뭔지 알 거라고 기대함. 물론 모든 용어를 정의하면 좋겠지만, NVR은 적어도 해당 제품을 쓰고자 하는 사람이라면 반드시 알아야 할 수준의 상식임

  • 일반적으로 동의하는 편이지만, NVR은 산업 종사자 뿐만 아니라 소비자 사이에서도 정말 흔히 쓰이는 약어임. CCTV 솔루션을 알아본 사람이라면 거의 다 접하는 용어가 NVR임. 모른다면 Network Video Recorder 자체도 의미가 없을 것임. Frigate 목적 자체가 이런 폐쇄적이고 융통성 없는 박스(NVR 박스)를 대체하는 거라 제품 이름에서도 그 단어를 씀

  • 실제 매장들도 거의 대부분 NVR 혹은 NVR Recorder라고 이름 붙여서 판매함(내 경험상). 검색만 해도 바로 답이 나옴

• GPU·TPU가 필수적인 건 아님. 카메라 수가 적고 감지 영역을 잘 설정하면 됨. 나는 낮은 해상도/프레임의 MJPEG 서브스트림을 감지용으로 쓰고, h264는 녹화/뷰잉에만 사용함. CPU 인식엔 Openvino가 기본 Tensorflow보다 훨씬 빠르며, 6코어 VM(Ivy Bridge Xeon)에서 두 개 카메라 운영해도 CPU는 약 20%만 사용함

• 영상 가속(객체 인식이 아닌 영상 디코딩)이 약간 불안정하지만, 그 뒤엔 실시간 객체 인식 솔루션으론 최고의 경험이었음. 더 이상 작은 동물이 새벽에 나를 깨우지 않음. 참고로 나는 연간 구독으로 A.I. 모델을 내가 제공한 오탐 데이터를 학습시키는 것을 지원함. 이 덕분에 정확도가 크게 올랐음

  • 동물 때문에 밤에 깨지 않는 것도 좋지만, 다양한 동물 사진을 모을 수 있는 점이 신기함. 숨어 있던 세계를 발견하는 느낌임

  • Coral AI 보드 드라이버와 소프트웨어가 전형적인 Google Abandonware(tm)라 문제임. 고대 파이썬 버전을 강제해서 최신 OS·GPU와 호환이 떨어짐. 2025년에도 Windows 7급 소프트웨어가 필요한 하드웨어를 산 셈임

  • 내 경우엔 상황이 점점 나빠지고 있음. 2~3년 연속 사용 중인데, 최근엔 아이들 장난감이나 정원 스쿠터, 해적 깃발 등이 계속 오탐을 유발함. 개인 프라이버시 문제로 오탐 데이터 제출은 못하고 있어, 직접 오랜 기간 쌓인 데이터를 이용해 직접 모델을 학습할 계획임

  • 저 구독은 여러 이유로 기꺼이 돈을 냄. 1) 개발자 지원 2) 훈련 비용이 명확히 반영 3) 학습된 모델을 영구 보관 가능함. AgentDVR와는 정반대임. 원격 액세스나 푸쉬 알림은 직접 해결하지만, AgentDVR는 단순 VPN 접근만 원해도 월 구독을 요구함

• Frigate 패키징 완성도가 놀라움. 기본엔 go2rtc나 MediaMTX(go2rtc, MediaMTX)도 충분하지만, 인공지능 처리를 넣고 싶으면 쉽고 유닉스다운 도구가 딱히 없음. 파이썬으로 직접 구현 필요함

  • Motion(Motion)을 오랫동안 써옴. 기본 내에서는 설정이 쉽고 아주 유연함. 고급 설정이 필요하면 약간 튜닝이 필요함

• 만약 녹화된 비디오에 대해 실시간으로 처리할 게 아니라, 예를 들어 5시간짜리 비디오에서 특정 위치를 지나가는 차량 또는 운전자가 폰을 들고 있는 장면만 추출하고 싶다면 뭐부터 하거나 어떤 프레임워크를 써야 할지 궁금함

  • OpenCV 문서랑 예제 참고를 추천함. 나는 OpenCV로 얼굴 인식(face_recognition 예제)을 했고, 차량 등은 모델을 따로 훈련하거나 YOLOv3(YOLO 예제) 같은 것을 적용해야 함

  • 괜찮은 상용 AI에 이런 질문을 하면, 파이썬으로 영상 불러와서 특정 시간대에 운전자가 폰을 들고 있을 때만 출력하는 스크립트를 바로 뽑아줄 것 같음

  • You Only Look Once 기술이 도움될 수도 있음

• 남이 자기 보안 시스템 명령을 무시하라고 적힌 큰 팻말만 들고 있으면 무력화되는 것 아니냐는 유머적 질문임

  • Github를 보면 openCV와 Tensorflow를 사용함. 모션 감지는 openCV 기반이라 사람이 움직여야 하고, 아주 느리게 움직이지 않는 한 우회 불가임. 객체 인식(Tensorflow)은 OCR을 안 하므로 글자로 인식 시스템을 속일 순 없음. 다만 탐지 객체 리스트가 제한적이므로, 나무 분장 같은 걸 하면 감지 회피는 가능할 수 있음

  • 소위 "scramble suit"나 대놓고 인식 회피용 무늬가 새겨진 티셔츠 등을 입으면 되지 않을까 생각함(scramble suit, adversarial t-shirts)

  • 전신 라쿤 옷을 입고 다니는 방법도 있음

  • 구조는 2단계임. 1단계는 OpenCV로 모션 감지, 그 다음엔 하드웨어에 따라 다른 모델로 관심 영역 객체 인식. Coral TPU, Halio Accelerator, 대부분의 GPU 지원함(AMD는 ROCm이 iGPU에서 안 됨). Coral은 edgedet, 그리고 YOLO-NAS, YOLO, D-Fine, RF-DETR 등 지원함. YOLO-NAS 특화 유료 모델도 있거나 직접 트레이닝도 가능함

  • LLM은 아니고 "보통" AI 모델임(다만 LLM으로도 설명 자동 생성 가능함)

• Frigate를 5대 IP 카메라(3개 Hikvision, 2개 Amcrest), 1개 USB 카메라와 함께 씀. USB Coral TPU를 써서 오래된 i7-6700에 CPU 점유율 30% 선에서 원활히 동작함. 최고는 아니지만 그래도 쓸만함. Amcrest 영상은 잘 재생되지만 Hikvision은 코덱 호환 이슈로 트랜스코딩 필요할 때가 있음. 녹화된 영상을 외부로 보내는 내장 기능이 없어서, 스토리지 디렉토리를 자체적으로 미러링해도, 중요한 이벤트만 따로 구분해 백업하긴 구조상 힘들었음

  • 단순히 사람 감지뿐 아니라, 미리 등록한 사진으로 특정 인물 식별(identified recognition) 기능도 가능한지 궁금함

• GPU, TPU 없이 카메라 수와 감지 구역만 잘 조정해도 CPU만으로 충분하다고 강조함. 다양한 모델(Openvino, Tensorflow 등) 사용 경험 공유

• 조금은 다른 얘기지만, 왜 아직도 직접 본인이 감시하는 보안 카메라를 설치하는지 의문임. 이런 카메라가 오히려 스트레스, 불안감을 높인다는 심리학 연구가 있음. 실제 범죄 예방에는 큰 도움이 안 되며, 경찰 수사나 보험 증거용으론 오프사이트 백업이 필요해보임. 대중적으로 CCTV가 많아도 실제 유의미하게 범죄 해결(예: 차량번호 식별 등)에 기여하는 경우는 극히 적음

  • 카메라 설치의 중요한 이점은 시민적 질서 유도임. 현관 위에 카메라를 단 뒤로 택배 기사가 무거운 행동을 안 하고, 펜스 훼손도 없어짐. 또 고양이 위치 추적이나 외출 시 원격 모니터링, 보험 클레임 등에도 유용함. 다만 대다수 저렴한 CCTV의 경우 해상도보다는 야간 IR 감도가 더 중요하다고 느낌. 나는 실제 식별을 위해 낮은 해상도의 전문급 카메라를 씀. 오픈소스는 ZoneMinder와 로컬 AI를 조합해 오래 사용 중임

  • "스트레스가 증가하고 불안감이 높아진다"는 부분을 보며 본인 감정까지 지적하는 것 같아 다소 불쾌함. 사람마다 사용하는 이유가 다르다고 생각함

  • 사람은 각기 환경, 위험도, 경찰 지원 수준이 달라서 각자 다른 기준과 목적, 심리로 보안 카메라를 운용함. 나는 한적한 곳에 살아 장기간 집을 비우기도 하는데, 카메라 없는 기간보다 감시할 수 있다는 안도감이 더 큼

  • 내 도어벨은 로컬 녹화 기능이 있어, 누가 초인종을 누르면 몇 초 전 이미지를 데스크탑/폰 알림으로 받아볼 수 있음. 누가 왔는지 확인하고 대응을 정할 수 있어서 재미있고, 집 주변에 카메라를 설치해 LLM으로 새 수를 세거나 "강아지 뒷마당에 있음?" 같은 쿼리도 할 수 있음

  • Frigate 등 주요 목적은 사용자가 상시 감시하지 않아도 됨. 소동물 오탐·지인 차량 등은 신경 안 써도 돼서, 진짜 중요한 이벤트만 신경 쓰면 됨

• Frigate를 4년간 사용 중인 기존 사용자임. Home Assistant 없이 Frigate만 써왔는데, 최근에 Home Assistant를 다시 도입해 Nest 캠의 WebRTC 스트림을 Frigate로 연결함. 이제 Nest Aware 구독 없이도 똑같이 쓸 수 있게 되어 경제적으로 만족함