Hacker News 의견

• Omnilert가 사건을 “false positive”라 인정하면서도 시스템이 “의도대로 작동했다”고 주장했음
  하지만 실제로는 총을 든 사람들이 “어떤 10대가 총을 들었다”는 잘못된 정보를 받고 출동한 셈이라 매우 위험한 상황을 만든 것임
  그 학생은 트라우마를 겪을 수도 있음. 아이러니하게도 기사 속 인용문은 그 학생보다 이 기술을 만든 어른들이 더 미성숙하게 느껴짐

  • 또 다른 사례로, Lawrence 학군의 AI 감시 시스템 소송 기사를 보면, 학생이 단체 채팅에서 농담을 했다가 AI가 이를 신고해 체포되고, 24시간 동안 부모나 변호사 접견 없이 구금된 적이 있음
    결국 Gaggle을 상대로 소송 중이며, 경쟁사 Lightspeed는 유료로 사람이 알림을 검토하는 옵션을 제공한다고 함
  • “신속한 인간 검증을 통한 안전 확보”라더니, 결국 책임 회피에 불과하다는 생각이 듦
  • 이건 사실상 “AI가 자율적으로 자원을 배치한” AI swarm 상황임. 인간의 판단 없이 실행만 있었음
  • 어떤 시스템이든 false positive와 false negative가 존재하지만, 이번 경우엔 둘 다 위험함
    탐지 모델의 품질을 높이는 것 외에도, 실패 시 비용을 줄이는 구조가 필요함. 인간 검증이나 2차 확인 절차가 그 방법임
  • 엔지니어는 “공공 안전을 돕는 도구”라며 만들었지만, 마케팅과 영업이 “완전 자동화된 의사결정 시스템”으로 포장하면서 결국 총을 겨눈 오작동 사태로 이어진 풍자 같은 현실임

• 이런 사건은 오픈소스 객체 인식 모델 YOLO를 살짝 변형해 상용화한 것처럼 보임
  실제로 얼마나 정확한지, 어떤 데이터로 학습했는지, 오탐률이 얼마인지 아무도 모름
  이런 시스템을 배포하려면 통계와 학습 데이터 공개가 의무화되어야 한다고 생각함

  • 결국 “human in the loop” 개념을 완전히 놓친 셈임. 언젠가 이 회사는 과실치사 소송을 당할 가능성이 큼

• The Civil Rights Lawyer로 활동하는 John Bryan이 이 사건에 대해 언급할 것 같음
  그는 경찰이 불충분한 정보로 총을 겨누는 행위를 법적으로 ‘과도한 무력 사용’ 이라 비판해왔음
  만약 AI와 경찰 모두 사진을 보고 총으로 오인했다면 정당화될 수도 있지만, AI가 자동으로 출동시켰다면 정당성이 훨씬 약함

  • 언젠가 법정에서 “AI 증거는 수십억 달러가 투자된 기술이라 신뢰할 만하다”는 주장을 듣게 될지도 모름
  • 정당한 이유 없는 무력 사용이 곧바로 과잉 진압인지, 아니면 회색지대가 있는지 궁금함

• AI를 기술적으로 잘 모르는 사람들에게 이런 시스템을 맡기는 건 위험함
  그들은 AI 출력을 맹신할 가능성이 높음
  AI 안전팀이 진짜 집중해야 할 건, “컴퓨터는 틀릴 수 있다”는 사실을 사회에 이해시키는 일임

• 학교 측은 “학생들에게 상담 지원을 제공하겠다”고 했지만, 그보다는 오탐에 대한 금전적 책임을 지게 해야 함
  이런 기술은 아직 실험실 단계에 머물러야 함

  • 잘못된 결정에는 책임자가 있어야 함. 의사결정자 책임제만이 나쁜 판단을 멈추게 함
  • 이미 잘못된 대응에 인력과 자원이 낭비되었음. 이제는 사퇴나 처벌이 필요함
  • 혹시 상담 대신 심리치료용 기프트카드라도 줬을까 하는 냉소가 나옴
  • 물론 기술에는 항상 위험이 따르지만, 단 한 번의 오탐이 모든 이점을 무효화한다고 보진 않음
    다만 거짓 경보와 실제 탐지의 비율을 투명하게 공개해야 함

• Palantir 같은 감시 플랫폼이 사회 전반에 퍼지는 시대가 오고 있음
  비결정적 ML 시스템은 오류가 생기면 인명 피해로 이어질 수 있음
  권위주의 사회에서는 이런 오류가 은폐되므로, 지금 법적 규제를 요구해야 함

  • 하지만 이 사건은 Palantir가 아니라 Omnilert 관련임. 논점을 혼동하면 안 됨

• Omnilert는 “시스템이 의도대로 작동했다”고 했지만, 실제로는 AI가 사람을 스와팅한 셈임
  이런 시스템이 설치된 곳은 아예 피하는 게 안전함

  • “버그가 아니라 기능”이라는 기업식 변명의 전형임
  • 이런 기술은 결국 무고한 학생의 희생을 부를 것임. 아직 기술 수준이 그 단계에 도달하지 못했음
  • 인간의 안전을 우선했다는 주장은 명백히 거짓임

• “신속한 인간 검증”이라더니 실제로는 총구 앞 검증이었음

  • “검증에 시간 낭비하지 말고 즉시 위협을 제거했어야 한다”는 식의 발상은 더 위험함
  • 경찰이 출동할 때 AI가 감지한 원본 영상을 즉시 볼 수 있어야 함. 그래야 오탐을 줄이고 상황을 정확히 파악할 수 있음
  • 다음 단계는 “당신이 로봇이 아님을 총으로 확인하는 캡차”가 될지도 모름

• 공항 TSA 스캐너를 통과할 때마다 괜히 긴장됨. 지퍼 달린 바지 때문에 자주 추가 검색을 받음
  이제는 거리 곳곳의 AI 보안 카메라가 사람을 임의로 플래그할 시대가 됨
  이런 시스템이 돈이 되니, 통제 없이 확산될 위험이 큼

  • Precheck나 Global Entry를 이용하면 검색 빈도를 줄일 수 있음. 귀찮지만 현실적인 해결책임
  • 옷차림을 바꿔서라도 검색을 피하려는 건 보안 연극의 부작용임. 언젠가 일상복까지 조정해야 할지도 모름
  • 시민이 직접 의견을 이메일로 전달해야 함. 몇백 명만 움직여도 정치인들이 반응함. 침묵이 가장 큰 문제임
  • 한 번은 신분증 대신 총기 휴대 허가증을 보여줘서 추가 검사를 받았는데, 다행히 무사히 넘어갔음
  • 친구는 스캐너 통과 후 나를 기다리다 “배회 중”이라며 다시 조사받았음. 인종적 편견이 작용한 듯함

• “시스템이 의도대로 작동했다”는 말은 현실판 ‘Not a hotdog’ 밈 같음
  단지 이번엔 “총 / 총 아님” 구분이었을 뿐, 정확도는 그보다도 떨어졌음