# 무장 경찰, AI가 도리토스 봉지를 무기로 오인해 학생을 포위 > Clean Markdown view of GeekNews topic #23878. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=23878](https://news.hada.io/topic?id=23878) - GeekNews Markdown: [https://news.hada.io/topic/23878.md](https://news.hada.io/topic/23878.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2025-10-24T09:56:01+09:00 - Updated: 2025-10-24T09:56:01+09:00 - Original source: [dexerto.com](https://www.dexerto.com/entertainment/armed-police-swarm-student-after-ai-mistakes-bag-of-doritos-for-a-weapon-3273512/) - Points: 1 - Comments: 2 ## Topic Body - 미국 고등학교에서 **AI 무기 탐지 시스템의 오작동**으로 학생이 무장 경찰에 포위되는 사건이 발생 - 해당 시스템은 **감시 카메라 영상을 분석해 총기 형태를 인식**하는 기술로, 실제로는 도리토스 과자봉지를 총기로 잘못 판단함 - 학생은 **총구를 겨눈 채 수갑이 채워졌으며**, 이후 경찰이 보여준 AI 캡처 이미지에서 오탐이 확인됨 - 시스템을 개발한 **Omnilert사는 ‘오탐이지만 시스템은 의도대로 작동했다’** 고 주장하며, 학교 측도 이를 지지하는 입장을 발표 - 이번 사건은 **학교 내 AI 감시 기술의 신뢰성과 윤리적 한계**에 대한 논쟁을 촉발하며, AI 의존 사회의 위험성을 드러냄 --- ### 사건 개요 - 미국 메릴랜드주 볼티모어의 **Kenwood High School**에서 16세 학생 Taki Allen이 AI 감시 시스템의 오탐으로 인해 무장 경찰의 제압을 받는 사건 발생 - 사건은 10월 20일, Allen이 축구 연습 후 친구들과 함께 있을 때 발생 - 여러 대의 경찰차가 학교 앞에 도착해 학생들에게 총을 겨누며 “땅에 엎드려라”라고 명령 - Allen은 **무릎을 꿇고 수갑이 채워진 상태에서 수색**을 받았으며, 경찰은 아무런 무기도 발견하지 못함 - 경찰이 보여준 AI 캡처 이미지에는 그의 주머니 속 **구겨진 Doritos 봉지**가 총기로 인식되어 있었음 - Allen은 당시 “죽을 수도 있겠다는 생각이 들었다”고 말하며, 사건 이후 학교에 돌아가기를 두려워한다고 밝힘 ### AI 시스템의 작동 방식과 문제점 - 문제의 시스템은 **Omnilert사의 Gun Detection Technology**로, 볼티모어 카운티 공립학교에 지난해 도입된 AI 감시 솔루션 - 기존 CCTV 영상을 실시간으로 분석해 **총기 형태로 추정되는 물체를 탐지**하면 즉시 경찰에 경보를 전송 - Omnilert는 이번 사건을 “**false positive(오탐)** ”로 인정했지만, 시스템이 “**의도된 대로 작동했다**”고 주장 - 회사는 “신속한 인간 검증을 통한 안전 확보”가 목적이라며, 기술의 근본적 문제는 아니라는 입장 - 그러나 회사의 홍보 자료에는 “**즉각적인 총기 탐지**”와 “** 거의 0에 가까운 오탐률**”을 강조하고 있어, 이번 사건이 그 신뢰성을 흔드는 계기가 됨 ### 학교와 지역사회의 대응 - **Baltimore County Public Schools**는 학부모에게 보낸 서한에서 Omnilert의 입장을 반복하며, “학생들의 안전과 인식 제고를 위한 조치였다”고 설명 - 학교는 사건을 목격한 학생들을 위해 **상담 서비스를 제공**하겠다고 발표 - 그러나 Allen은 “학교로부터 **직접적인 사과나 연락을 받지 못했다**”고 말함 - 그는 “단지 절차(protocol)였다고만 들었을 뿐”이라며, 학교의 대응에 실망감을 표함 - 사건 이후 Allen은 “**다시 과자를 먹거나 음료를 마시면 또 경찰이 올까 두렵다**”고 말하며, 학교 복귀를 꺼리고 있음 ### AI 감시 기술에 대한 논쟁 확산 - 이번 사건은 **AI 감시 시스템의 신뢰성과 윤리적 한계**에 대한 논쟁을 촉발 - 특히 학교와 같은 민감한 공간에서 **AI의 오탐이 학생 안전을 위협할 수 있음**이 드러남 - 전문가들은 **AI의 판단 오류가 실제 무력 대응으로 이어질 경우**, 인명 피해로 확산될 위험이 있다고 경고 - 사건은 **AI 기술의 사회적 책임과 인간 검증 절차의 중요성**을 재조명하는 계기가 됨 ### AI 기술 확산과 관련된 국제 동향 - 같은 시기, 미국 육군의 **William ‘Hank’ Taylor 소장**이 **ChatGPT를 활용해 군사적 의사결정을 내린다**고 공개해 논란이 일었음 - 이는 공공기관과 군 조직에서도 AI 의존이 빠르게 확산되고 있음을 보여줌 - 영국에서는 **성인 콘텐츠 접근을 위한 얼굴 인식 기반 연령 인증 제도**가 도입되어 또 다른 AI 논란이 발생 - 문신이 많은 한 남성이 시스템으로부터 “**얼굴을 제거하라(remove your face)** ”는 메시지를 받았다고 주장, **AI 인식 오류의 부작용**을 드러냄 - 이러한 사례들은 **AI가 인간의 일상과 공공안전 영역에 깊숙이 침투하면서 발생하는 예측 불가능한 결과**를 보여주는 대표적 사례로 평가됨 ## Comments ### Comment 45397 - Author: onixboox - Created: 2025-10-24T10:12:58+09:00 - Points: 1 체포됐다는 학생이 설마 흑인이라서 그런 건 아니겠죠? ### Comment 45395 - Author: neo - Created: 2025-10-24T09:56:01+09:00 - Points: 1 ###### [Hacker News 의견](https://news.ycombinator.com/item?id=45684934) - Omnilert가 사건을 “**false positive**”라 인정하면서도 시스템이 “의도대로 작동했다”고 주장했음 하지만 실제로는 총을 든 사람들이 “어떤 10대가 총을 들었다”는 잘못된 정보를 받고 출동한 셈이라 매우 위험한 상황을 만든 것임 그 학생은 트라우마를 겪을 수도 있음. 아이러니하게도 기사 속 인용문은 그 학생보다 이 기술을 만든 어른들이 더 미성숙하게 느껴짐 - 또 다른 사례로, [Lawrence 학군의 AI 감시 시스템 소송 기사](https://www2.ljworld.com/news/schools/2025/aug/07/lawrence-school-district-sued-in-federal-court-for-use-of-ai-powered-surveillance-system-students-claim-gaggle-results-in-illegal-searches/)를 보면, 학생이 단체 채팅에서 농담을 했다가 AI가 이를 신고해 체포되고, 24시간 동안 부모나 변호사 접견 없이 구금된 적이 있음 결국 **Gaggle**을 상대로 소송 중이며, 경쟁사 **Lightspeed**는 유료로 사람이 알림을 검토하는 옵션을 제공한다고 함 - “신속한 인간 검증을 통한 안전 확보”라더니, 결국 **책임 회피**에 불과하다는 생각이 듦 - 이건 사실상 “AI가 자율적으로 자원을 배치한” **AI swarm** 상황임. 인간의 판단 없이 실행만 있었음 - 어떤 시스템이든 false positive와 false negative가 존재하지만, 이번 경우엔 둘 다 위험함 탐지 모델의 품질을 높이는 것 외에도, 실패 시 **비용을 줄이는 구조**가 필요함. 인간 검증이나 2차 확인 절차가 그 방법임 - 엔지니어는 “공공 안전을 돕는 도구”라며 만들었지만, 마케팅과 영업이 “완전 자동화된 의사결정 시스템”으로 포장하면서 결국 **총을 겨눈 오작동** 사태로 이어진 풍자 같은 현실임 - 이런 사건은 오픈소스 객체 인식 모델 **YOLO**를 살짝 변형해 상용화한 것처럼 보임 실제로 얼마나 정확한지, 어떤 데이터로 학습했는지, **오탐률**이 얼마인지 아무도 모름 이런 시스템을 배포하려면 통계와 학습 데이터 공개가 **의무화**되어야 한다고 생각함 - 결국 “**human in the loop**” 개념을 완전히 놓친 셈임. 언젠가 이 회사는 **과실치사 소송**을 당할 가능성이 큼 - **The Civil Rights Lawyer**로 활동하는 John Bryan이 이 사건에 대해 언급할 것 같음 그는 경찰이 불충분한 정보로 총을 겨누는 행위를 법적으로 **‘과도한 무력 사용’** 이라 비판해왔음 만약 AI와 경찰 모두 사진을 보고 총으로 오인했다면 정당화될 수도 있지만, AI가 자동으로 출동시켰다면 정당성이 훨씬 약함 - 언젠가 법정에서 “AI 증거는 수십억 달러가 투자된 기술이라 신뢰할 만하다”는 주장을 듣게 될지도 모름 - 정당한 이유 없는 무력 사용이 곧바로 **과잉 진압**인지, 아니면 회색지대가 있는지 궁금함 - AI를 기술적으로 잘 모르는 사람들에게 이런 시스템을 맡기는 건 위험함 그들은 AI 출력을 **맹신**할 가능성이 높음 AI 안전팀이 진짜 집중해야 할 건, “컴퓨터는 틀릴 수 있다”는 사실을 사회에 이해시키는 일임 - 학교 측은 “학생들에게 상담 지원을 제공하겠다”고 했지만, 그보다는 **오탐에 대한 금전적 책임**을 지게 해야 함 이런 기술은 아직 **실험실 단계**에 머물러야 함 - 잘못된 결정에는 책임자가 있어야 함. **의사결정자 책임제**만이 나쁜 판단을 멈추게 함 - 이미 잘못된 대응에 인력과 자원이 낭비되었음. 이제는 **사퇴나 처벌**이 필요함 - 혹시 상담 대신 **심리치료용 기프트카드**라도 줬을까 하는 냉소가 나옴 - 물론 기술에는 항상 위험이 따르지만, 단 한 번의 오탐이 모든 이점을 무효화한다고 보진 않음 다만 **거짓 경보와 실제 탐지의 비율**을 투명하게 공개해야 함 - **Palantir** 같은 감시 플랫폼이 사회 전반에 퍼지는 시대가 오고 있음 비결정적 ML 시스템은 오류가 생기면 **인명 피해**로 이어질 수 있음 권위주의 사회에서는 이런 오류가 은폐되므로, 지금 **법적 규제**를 요구해야 함 - 하지만 이 사건은 Palantir가 아니라 **Omnilert** 관련임. 논점을 혼동하면 안 됨 - Omnilert는 “시스템이 의도대로 작동했다”고 했지만, 실제로는 **AI가 사람을 스와팅한 셈**임 이런 시스템이 설치된 곳은 아예 피하는 게 안전함 - “버그가 아니라 기능”이라는 **기업식 변명**의 전형임 - 이런 기술은 결국 **무고한 학생의 희생**을 부를 것임. 아직 기술 수준이 그 단계에 도달하지 못했음 - 인간의 안전을 우선했다는 주장은 명백히 거짓임 - “**신속한 인간 검증**”이라더니 실제로는 **총구 앞 검증**이었음 - “검증에 시간 낭비하지 말고 즉시 위협을 제거했어야 한다”는 식의 발상은 더 위험함 - 경찰이 출동할 때 **AI가 감지한 원본 영상**을 즉시 볼 수 있어야 함. 그래야 오탐을 줄이고 상황을 정확히 파악할 수 있음 - 다음 단계는 “당신이 로봇이 아님을 총으로 확인하는 **캡차**”가 될지도 모름 - 공항 **TSA 스캐너**를 통과할 때마다 괜히 긴장됨. 지퍼 달린 바지 때문에 자주 추가 검색을 받음 이제는 거리 곳곳의 **AI 보안 카메라**가 사람을 임의로 플래그할 시대가 됨 이런 시스템이 돈이 되니, 통제 없이 확산될 위험이 큼 - **Precheck**나 Global Entry를 이용하면 검색 빈도를 줄일 수 있음. 귀찮지만 현실적인 해결책임 - 옷차림을 바꿔서라도 검색을 피하려는 건 **보안 연극**의 부작용임. 언젠가 일상복까지 조정해야 할지도 모름 - 시민이 직접 **의견을 이메일로 전달**해야 함. 몇백 명만 움직여도 정치인들이 반응함. 침묵이 가장 큰 문제임 - 한 번은 신분증 대신 **총기 휴대 허가증**을 보여줘서 추가 검사를 받았는데, 다행히 무사히 넘어갔음 - 친구는 스캐너 통과 후 나를 기다리다 “배회 중”이라며 다시 조사받았음. **인종적 편견**이 작용한 듯함 - “시스템이 의도대로 작동했다”는 말은 현실판 **‘Not a hotdog’** 밈 같음 단지 이번엔 “총 / 총 아님” 구분이었을 뿐, 정확도는 그보다도 떨어졌음