▲

무장 경찰, AI가 도리토스 봉지를 무기로 오인해 학생을 포위

 (dexerto.com)
1P by GN⁺ 10일전 | ★ favorite | 댓글 2개
  • 미국 고등학교에서 AI 무기 탐지 시스템의 오작동으로 학생이 무장 경찰에 포위되는 사건이 발생
  • 해당 시스템은 감시 카메라 영상을 분석해 총기 형태를 인식하는 기술로, 실제로는 도리토스 과자봉지를 총기로 잘못 판단함
  • 학생은 총구를 겨눈 채 수갑이 채워졌으며, 이후 경찰이 보여준 AI 캡처 이미지에서 오탐이 확인됨
  • 시스템을 개발한 Omnilert사는 ‘오탐이지만 시스템은 의도대로 작동했다’ 고 주장하며, 학교 측도 이를 지지하는 입장을 발표
  • 이번 사건은 학교 내 AI 감시 기술의 신뢰성과 윤리적 한계에 대한 논쟁을 촉발하며, AI 의존 사회의 위험성을 드러냄

사건 개요

  • 미국 메릴랜드주 볼티모어의 Kenwood High School에서 16세 학생 Taki Allen이 AI 감시 시스템의 오탐으로 인해 무장 경찰의 제압을 받는 사건 발생
    • 사건은 10월 20일, Allen이 축구 연습 후 친구들과 함께 있을 때 발생
    • 여러 대의 경찰차가 학교 앞에 도착해 학생들에게 총을 겨누며 “땅에 엎드려라”라고 명령
  • Allen은 무릎을 꿇고 수갑이 채워진 상태에서 수색을 받았으며, 경찰은 아무런 무기도 발견하지 못함
    • 경찰이 보여준 AI 캡처 이미지에는 그의 주머니 속 구겨진 Doritos 봉지가 총기로 인식되어 있었음
  • Allen은 당시 “죽을 수도 있겠다는 생각이 들었다”고 말하며, 사건 이후 학교에 돌아가기를 두려워한다고 밝힘

AI 시스템의 작동 방식과 문제점

  • 문제의 시스템은 Omnilert사의 Gun Detection Technology로, 볼티모어 카운티 공립학교에 지난해 도입된 AI 감시 솔루션
    • 기존 CCTV 영상을 실시간으로 분석해 총기 형태로 추정되는 물체를 탐지하면 즉시 경찰에 경보를 전송
  • Omnilert는 이번 사건을 “false positive(오탐) ”로 인정했지만, 시스템이 “의도된 대로 작동했다”고 주장
    • 회사는 “신속한 인간 검증을 통한 안전 확보”가 목적이라며, 기술의 근본적 문제는 아니라는 입장
  • 그러나 회사의 홍보 자료에는 “즉각적인 총기 탐지”와 “** 거의 0에 가까운 오탐률**”을 강조하고 있어, 이번 사건이 그 신뢰성을 흔드는 계기가 됨

학교와 지역사회의 대응

  • Baltimore County Public Schools는 학부모에게 보낸 서한에서 Omnilert의 입장을 반복하며, “학생들의 안전과 인식 제고를 위한 조치였다”고 설명
    • 학교는 사건을 목격한 학생들을 위해 상담 서비스를 제공하겠다고 발표
  • 그러나 Allen은 “학교로부터 직접적인 사과나 연락을 받지 못했다”고 말함
    • 그는 “단지 절차(protocol)였다고만 들었을 뿐”이라며, 학교의 대응에 실망감을 표함
  • 사건 이후 Allen은 “다시 과자를 먹거나 음료를 마시면 또 경찰이 올까 두렵다”고 말하며, 학교 복귀를 꺼리고 있음

AI 감시 기술에 대한 논쟁 확산

  • 이번 사건은 AI 감시 시스템의 신뢰성과 윤리적 한계에 대한 논쟁을 촉발
    • 특히 학교와 같은 민감한 공간에서 AI의 오탐이 학생 안전을 위협할 수 있음이 드러남
  • 전문가들은 AI의 판단 오류가 실제 무력 대응으로 이어질 경우, 인명 피해로 확산될 위험이 있다고 경고
  • 사건은 AI 기술의 사회적 책임과 인간 검증 절차의 중요성을 재조명하는 계기가 됨

AI 기술 확산과 관련된 국제 동향

  • 같은 시기, 미국 육군의 William ‘Hank’ Taylor 소장이 ChatGPT를 활용해 군사적 의사결정을 내린다고 공개해 논란이 일었음
    • 이는 공공기관과 군 조직에서도 AI 의존이 빠르게 확산되고 있음을 보여줌
  • 영국에서는 성인 콘텐츠 접근을 위한 얼굴 인식 기반 연령 인증 제도가 도입되어 또 다른 AI 논란이 발생
    • 문신이 많은 한 남성이 시스템으로부터 “얼굴을 제거하라(remove your face) ”는 메시지를 받았다고 주장, AI 인식 오류의 부작용을 드러냄
  • 이러한 사례들은 AI가 인간의 일상과 공공안전 영역에 깊숙이 침투하면서 발생하는 예측 불가능한 결과를 보여주는 대표적 사례로 평가됨
▲
onixboox 10일전  [-]

체포됐다는 학생이 설마 흑인이라서 그런 건 아니겠죠?

답변달기
▲
GN⁺ 10일전  [-]
Hacker News 의견

  • Omnilert가 사건을 “false positive”라 인정하면서도 시스템이 “의도대로 작동했다”고 주장했음
    하지만 실제로는 총을 든 사람들이 “어떤 10대가 총을 들었다”는 잘못된 정보를 받고 출동한 셈이라 매우 위험한 상황을 만든 것임
    그 학생은 트라우마를 겪을 수도 있음. 아이러니하게도 기사 속 인용문은 그 학생보다 이 기술을 만든 어른들이 더 미성숙하게 느껴짐

    • 또 다른 사례로, Lawrence 학군의 AI 감시 시스템 소송 기사를 보면, 학생이 단체 채팅에서 농담을 했다가 AI가 이를 신고해 체포되고, 24시간 동안 부모나 변호사 접견 없이 구금된 적이 있음
      결국 Gaggle을 상대로 소송 중이며, 경쟁사 Lightspeed는 유료로 사람이 알림을 검토하는 옵션을 제공한다고 함
    • “신속한 인간 검증을 통한 안전 확보”라더니, 결국 책임 회피에 불과하다는 생각이 듦
    • 이건 사실상 “AI가 자율적으로 자원을 배치한” AI swarm 상황임. 인간의 판단 없이 실행만 있었음
    • 어떤 시스템이든 false positive와 false negative가 존재하지만, 이번 경우엔 둘 다 위험함
      탐지 모델의 품질을 높이는 것 외에도, 실패 시 비용을 줄이는 구조가 필요함. 인간 검증이나 2차 확인 절차가 그 방법임
    • 엔지니어는 “공공 안전을 돕는 도구”라며 만들었지만, 마케팅과 영업이 “완전 자동화된 의사결정 시스템”으로 포장하면서 결국 총을 겨눈 오작동 사태로 이어진 풍자 같은 현실임

  • 이런 사건은 오픈소스 객체 인식 모델 YOLO를 살짝 변형해 상용화한 것처럼 보임
    실제로 얼마나 정확한지, 어떤 데이터로 학습했는지, 오탐률이 얼마인지 아무도 모름
    이런 시스템을 배포하려면 통계와 학습 데이터 공개가 의무화되어야 한다고 생각함

    • 결국 “human in the loop” 개념을 완전히 놓친 셈임. 언젠가 이 회사는 과실치사 소송을 당할 가능성이 큼

  • The Civil Rights Lawyer로 활동하는 John Bryan이 이 사건에 대해 언급할 것 같음
    그는 경찰이 불충분한 정보로 총을 겨누는 행위를 법적으로 ‘과도한 무력 사용’ 이라 비판해왔음
    만약 AI와 경찰 모두 사진을 보고 총으로 오인했다면 정당화될 수도 있지만, AI가 자동으로 출동시켰다면 정당성이 훨씬 약함

    • 언젠가 법정에서 “AI 증거는 수십억 달러가 투자된 기술이라 신뢰할 만하다”는 주장을 듣게 될지도 모름
    • 정당한 이유 없는 무력 사용이 곧바로 과잉 진압인지, 아니면 회색지대가 있는지 궁금함

  • AI를 기술적으로 잘 모르는 사람들에게 이런 시스템을 맡기는 건 위험함
    그들은 AI 출력을 맹신할 가능성이 높음
    AI 안전팀이 진짜 집중해야 할 건, “컴퓨터는 틀릴 수 있다”는 사실을 사회에 이해시키는 일임

  • 학교 측은 “학생들에게 상담 지원을 제공하겠다”고 했지만, 그보다는 오탐에 대한 금전적 책임을 지게 해야 함
    이런 기술은 아직 실험실 단계에 머물러야 함

    • 잘못된 결정에는 책임자가 있어야 함. 의사결정자 책임제만이 나쁜 판단을 멈추게 함
    • 이미 잘못된 대응에 인력과 자원이 낭비되었음. 이제는 사퇴나 처벌이 필요함
    • 혹시 상담 대신 심리치료용 기프트카드라도 줬을까 하는 냉소가 나옴
    • 물론 기술에는 항상 위험이 따르지만, 단 한 번의 오탐이 모든 이점을 무효화한다고 보진 않음
      다만 거짓 경보와 실제 탐지의 비율을 투명하게 공개해야 함

  • Palantir 같은 감시 플랫폼이 사회 전반에 퍼지는 시대가 오고 있음
    비결정적 ML 시스템은 오류가 생기면 인명 피해로 이어질 수 있음
    권위주의 사회에서는 이런 오류가 은폐되므로, 지금 법적 규제를 요구해야 함

    • 하지만 이 사건은 Palantir가 아니라 Omnilert 관련임. 논점을 혼동하면 안 됨

  • Omnilert는 “시스템이 의도대로 작동했다”고 했지만, 실제로는 AI가 사람을 스와팅한 셈임
    이런 시스템이 설치된 곳은 아예 피하는 게 안전함

    • “버그가 아니라 기능”이라는 기업식 변명의 전형임
    • 이런 기술은 결국 무고한 학생의 희생을 부를 것임. 아직 기술 수준이 그 단계에 도달하지 못했음
    • 인간의 안전을 우선했다는 주장은 명백히 거짓임

  • “신속한 인간 검증”이라더니 실제로는 총구 앞 검증이었음

    • “검증에 시간 낭비하지 말고 즉시 위협을 제거했어야 한다”는 식의 발상은 더 위험함
    • 경찰이 출동할 때 AI가 감지한 원본 영상을 즉시 볼 수 있어야 함. 그래야 오탐을 줄이고 상황을 정확히 파악할 수 있음
    • 다음 단계는 “당신이 로봇이 아님을 총으로 확인하는 캡차”가 될지도 모름

  • 공항 TSA 스캐너를 통과할 때마다 괜히 긴장됨. 지퍼 달린 바지 때문에 자주 추가 검색을 받음
    이제는 거리 곳곳의 AI 보안 카메라가 사람을 임의로 플래그할 시대가 됨
    이런 시스템이 돈이 되니, 통제 없이 확산될 위험이 큼

    • Precheck나 Global Entry를 이용하면 검색 빈도를 줄일 수 있음. 귀찮지만 현실적인 해결책임
    • 옷차림을 바꿔서라도 검색을 피하려는 건 보안 연극의 부작용임. 언젠가 일상복까지 조정해야 할지도 모름
    • 시민이 직접 의견을 이메일로 전달해야 함. 몇백 명만 움직여도 정치인들이 반응함. 침묵이 가장 큰 문제임
    • 한 번은 신분증 대신 총기 휴대 허가증을 보여줘서 추가 검사를 받았는데, 다행히 무사히 넘어갔음
    • 친구는 스캐너 통과 후 나를 기다리다 “배회 중”이라며 다시 조사받았음. 인종적 편견이 작용한 듯함

  • “시스템이 의도대로 작동했다”는 말은 현실판 ‘Not a hotdog’ 밈 같음
    단지 이번엔 “총 / 총 아님” 구분이었을 뿐, 정확도는 그보다도 떨어졌음

답변달기