▲

AI 얼굴인식 오류로 노스다코타 범죄 혐의로 잘못 체포된 테네시 여성

 (cnn.com)
1P by GN⁺ 4시간전 | ★ favorite | 댓글 1개
  • 테네시의 Angela Lipps(50세) 가 한 번도 방문한 적 없는 노스다코타의 은행 사기 사건 용의자로 AI 얼굴인식 기술에 의해 체포되어 5개월 이상 구금됨
  • Clearview AI 시스템이 유사 인물을 Lipps로 잘못 식별했고, Fargo 경찰은 이를 근거로 체포영장을 발부함
  • 이후 Lipps가 사건 당시 테네시에 있었다는 은행 기록이 확인되어 기소가 무혐의로 기각되고 석방됨
  • Fargo 경찰은 AI 정보 전달 오류와 감시 영상 미제출을 인정하고, AI 데이터 사용 절차를 강화하기로 함
  • 이번 사건은 AI 수사 기술의 신뢰성과 인간 검증 절차의 필요성을 부각시킨 사례로 평가됨

AI 얼굴인식 오류로 인한 테네시 여성의 오인 체포 사건

  • 테네시주 거주자 Angela Lipps(50세) 는 한 번도 가본 적 없는 노스다코타주의 은행 사기 사건 용의자로 AI 얼굴인식 기술에 의해 체포되어 5개월 이상 구금됨
    • Fargo 경찰은 사건 처리 과정에서 “몇 가지 오류”가 있었다고 인정했으나 공식 사과는 하지 않음
    • 체포는 7월 14일 Lipps의 테네시 자택에서 이루어졌으며, 이미 몇 주 전 Fargo에서 발부된 체포영장이 존재했음

  • 사건 경위

    • Fargo 지역에서 발생한 은행 사기 사건 수사 중, 경찰은 “협력 기관의 얼굴인식 기술”을 사용해 용의자를 특정
    • West Fargo 경찰은 Clearview AI 시스템을 사용했으며, 이 시스템이 Lipps와 유사한 인물로 식별된 사람을 보고서에 포함
    • Fargo 경찰은 이 정보를 근거로 Lipps를 용의자로 판단하고 Cass County 검찰에 보고서를 제출
    • 이후 Fargo 경찰은 West Fargo의 AI 시스템 사용이 상급부서에 보고되지 않았으며, 현재는 사용이 금지되었다고 발표

  • 구금과 석방 과정

    • 7월 1일 노스다코타 판사가 전국 송환이 가능한 체포영장을 발부
    • Lipps는 7월 14일 체포되어 테네시 교도소에 3개월 이상 수감된 후 노스다코타로 송환됨
    • 송환 후 변호인이 Lipps가 범행 시점에 테네시에 있었다는 은행 기록을 확보
    • 12월 23일 Fargo 경찰, 주 검찰, 판사가 협의해 기소를 ‘무혐의로 기각’ 하기로 결정, Lipps는 12월 24일 석방됨
    • 변호인단은 “명백한 면책 증거가 있었음에도 장기간 구금이 불필요하게 지속되었다”고 비판

  • Fargo 경찰의 조사 결과와 대응

    • 경찰은 AI 시스템 정보 전달 과정의 착오와 감시 영상 미제출을 주요 오류로 지적
    • Fargo 경찰은 앞으로 West Fargo의 AI 데이터를 사용하지 않고, 주 및 연방 정보센터와 협력하기로 함
    • 모든 얼굴인식 결과는 매달 수사국장에게 보고하도록 절차를 강화
    • Cass County 및 주 검찰과의 체포자 통보 체계 미비도 문제로 지적되어 개선 방안 검토 중
    • 경찰은 관련 수사관에 대한 징계 여부를 검토 중이며, “누구도 불필요한 체포를 원하지 않는다”고 언급

  • 피해자와 법적 대응

    • Lipps는 세 자녀와 다섯 손주를 둔 할머니로, 노스다코타에 가본 적이 없다고 주장
    • 구금 기간 동안 “공포, 피로, 수치심”을 겪었다고 GoFundMe 페이지에 기록
    • 변호인단은 “AI 얼굴인식이 기본 수사를 대체하는 지름길로 사용되었다”고 비판하며 민권 소송 가능성을 검토 중

  • AI 수사 기술에 대한 비판

    • 미국 전역 경찰이 AI 기술을 빠르게 도입하고 있으나, 효과에 대한 근거는 부족하다는 지적
    • 사우스캐롤라이나대 Ian Adams 교수는 “AI 관련 오류는 대부분 기술과 인간의 복합 문제”라고 분석
    • 그는 “탐정들이 알고리듬 결과를 맹신하지 말고 반드시 인간의 검증 절차를 거쳐야 한다”고 강조
    • 이전에도 AI 보안 시스템이 빈 과자봉지를 총기로 오인해 학생을 체포한 사건이 발생하는 등, AI 오인 사례가 반복되고 있음

  • 사건의 현재 상태

    • Fargo 경찰은 사건이 “여전히 진행 중이며 추가 수사 결과에 따라 기소가 재개될 수 있다”고 밝힘
    • 변호인단은 경찰의 향후 개선 약속을 환영하면서도, “기본적인 수사 절차가 결여된 점은 여전히 문제”라고 평가
▲
GN⁺ 4시간전  [-]
Hacker News 의견들

  • AI 여부를 떠나, 내가 묻고 싶은 건 단 하나임 — 누가 실제로 조사했는가 하는 점임
    그녀의 IP, 목격자, 혹은 AI 플래그 여부를 확인한 사람은 아무도 없었음. 그냥 데이터만 보고 “잡았다”라고 한 셈임
    더 끔찍한 건, 그녀가 “다시는 North Dakota로 돌아가지 않겠다”고 말한 부분임. 교훈이 ‘그 주에 가지 말자’가 아니라, 시스템 전체를 문제 삼아야 함
    예전에도 Apple의 오인 체포 사건이나 가족 앞에서 끌려간 남성 사건 같은 사례가 있었음. 우리가 싸우지 않으면, 모두가 ‘유죄로 간주된 뒤 무죄를 증명해야 하는’ 세상이 됨

    • 법 시스템의 문제는 진실을 찾을 인센티브가 없다는 것임
      나도 예전에 911에 신고했다가 오히려 허위 신고자로 몰린 적이 있음. 바디캠 영상이 명백히 반박했지만, 관계자들은 오직 ‘기소’에만 관심이 있었음. 다행히 배심원단이 옳은 판단을 내림
    • 물론 조사는 필요했음. 하지만 더 큰 문제는 사람들이 AI가 무오류라는 허상을 믿는다는 점임
      “결과를 검증해야 한다”고 말해도, 심지어 HN에서도 “그럴 필요 없다”고 주장하는 사람들이 있음
    • DNA나 지문에서도 이미 배운 교훈이 있음. ‘컴퓨터가 일치한다’는 이유로 사람을 구속하는 건 위험한 일임
      이런 시스템은 단서 제공용으로만 써야 함. 하지만 지금은 마치 드라마처럼 ‘AI가 진실을 말한다’는 식으로 쓰이고 있음
      사람들은 “다시는 North Dakota에 가지 말자”는 단순한 교훈만 받아들이려 함. 하지만 진짜 문제는 오탐률과 법 시스템의 구조적 한계임
    • 네가 놓친 부분이 있음. 변호사들이 “트라우마, 자유의 상실, 명예 훼손은 쉽게 회복되지 않는다”고 말했음
      이건 명백히 손해배상 소송 준비 발언임. 그녀는 단지 평범한 삶으로 돌아가고 싶을 뿐일 것임. “시스템에 맞서 싸워라”는 말은 현실적으로 너무 어려움
    • 법률 비전문가지만, 미국에서는 구금 상태의 심문은 Miranda 권리가 적용됨
      차라리 Musk나 Altman의 소프트웨어로 문제를 피하는 게 나을지도 모름

  • 사용된 벤더는 Clearview AI였음. 공식 정책에 따르면, 법으로 강제하는 몇몇 주를 제외하면 데이터 삭제 요청이 불가능함
    그래서 나는 갑자기 New York의 S1422 Biometric Privacy Act에 관심이 생김

    • Illinois 주민의 경우, 정책상 생체정보 수집 및 보관이 의무화되어 있음. 다만 법 집행기관은 행정 영장 등으로 예외가 적용될 가능성이 큼
    • 관련해서 noyb의 얼굴인식 형사 고발 사례도 있음
    • 삭제를 요청하려면 본인 사진을 제출해야 함, 그런데 Peter Thiel과 연관된 회사를 믿고 싶지 않음
    • 결국 지금으로선 삭제 요청을 반복하는 것밖에 방법이 없음. 삭제돼도 언젠가 다시 데이터베이스에 들어갈 가능성이 큼

  • 이번 달에만 얼굴인식 오인 체포 사례를 여러 번 봤음. 이제는 빈번하게 일어나는 수준임
    미국 인구 3억 5천만 명 중 닮은 사람이 많기 때문에, “누가 이 영상 속 인물과 닮았는가”를 AI가 묻는 순간, ‘닮았다’는 이유만으로 체포되는 구조가 생김
    ‘닮았다’는 건 합리적 의심 수준일 수는 있지만, 체포의 근거(Probable Cause) 로는 부족함. 다른 증거와 결합돼야 함
    문제는 AI 자체가 아니라, 닮았다는 이유로 동일인이라 단정하는 사고방식임

  • 가장 충격적인 건, 판사가 Clearview 매칭 결과만으로 영장을 승인했다는 점임
    판사와 영장 절차는 원래 경찰의 오남용을 막기 위한 장치인데, 그마저 작동하지 않음

  • 이전 논의는 여기에 있음

  • 이 사건은 AI에 대한 과장된 보도임
    사용된 시스템은 2014년부터 존재한 FaceSketchID로, 최신 AI와는 별개임. 시스템은 단지 후보를 제시할 뿐, 수사와 기소는 인간의 몫임
    진짜 의문은 왜 그녀가 4개월이나 구금되었는가임. 통상 30일 내 송환이 원칙인데, 혹시 가석방 중이라서 그랬던 걸까?

    • 미국에서는 권력자가 절차를 어겨도 실질적 처벌이 거의 없음. 나중에 세금으로 배상하는 게 전부임
    • 송환 절차를 다투면 구금 기간이 30일에서 최대 90일까지 연장될 수 있음. 게다가 오인 신원 문제는 송환 심리에서 다툴 수도 없음
    • 아마도 그녀는 가석방 위반으로 별도 구금된 것 같음
    • 수사는 인간이 해야 하지만, AI의 ‘자신감 있는 오류’ 가 사람 판단을 마비시키는 게 문제임. 사람들은 확신에 쉽게 속음

  • 기사 속 인용문 “이건 기술 문제가 아니라 기술과 사람의 문제다”라는 말이 인상적이었음

    • 요즘 “It’s not just X, it’s X and Y”라는 표현이 AI가 쓴 문장 패턴처럼 느껴짐. 만약 AI가 기사를 썼다면, 그 문장도 환각된 인용문일지도 모름

  • 체포영장 발부 기준이 이렇게 낮을 줄 몰랐음. 특히 타주에서 사람을 끌고 올 정도로

    • 이건 전형적인 기저율 오류(Base Rate Fallacy) 사례임
      99.999% 정확한 시스템이라도 3억 명을 검사하면 3,000명의 오탐이 생김. 그중 대부분은 무고한 사람임
      그래서 대규모 자동 감시는 위험함

  • 진짜 무서운 건 AI의 오류가 아니라, 아무도 그 결과를 검증하지 않았다는 점임
    익명의 제보는 조사하면서, AI 매칭은 그대로 믿음. 결국 조사를 생략하는 도구를 만든 셈임

답변달기