AI 여부를 떠나, 내가 묻고 싶은 건 단 하나임 — 누가 실제로 조사했는가 하는 점임
그녀의 IP, 목격자, 혹은 AI 플래그 여부를 확인한 사람은 아무도 없었음. 그냥 데이터만 보고 “잡았다”라고 한 셈임
더 끔찍한 건, 그녀가 “다시는 North Dakota로 돌아가지 않겠다”고 말한 부분임. 교훈이 ‘그 주에 가지 말자’가 아니라, 시스템 전체를 문제 삼아야 함
예전에도 Apple의 오인 체포 사건이나 가족 앞에서 끌려간 남성 사건 같은 사례가 있었음. 우리가 싸우지 않으면, 모두가 ‘유죄로 간주된 뒤 무죄를 증명해야 하는’ 세상이 됨
법 시스템의 문제는 진실을 찾을 인센티브가 없다는 것임
나도 예전에 911에 신고했다가 오히려 허위 신고자로 몰린 적이 있음. 바디캠 영상이 명백히 반박했지만, 관계자들은 오직 ‘기소’에만 관심이 있었음. 다행히 배심원단이 옳은 판단을 내림
물론 조사는 필요했음. 하지만 더 큰 문제는 사람들이 AI가 무오류라는 허상을 믿는다는 점임
“결과를 검증해야 한다”고 말해도, 심지어 HN에서도 “그럴 필요 없다”고 주장하는 사람들이 있음
DNA나 지문에서도 이미 배운 교훈이 있음. ‘컴퓨터가 일치한다’는 이유로 사람을 구속하는 건 위험한 일임
이런 시스템은 단서 제공용으로만 써야 함. 하지만 지금은 마치 드라마처럼 ‘AI가 진실을 말한다’는 식으로 쓰이고 있음
사람들은 “다시는 North Dakota에 가지 말자”는 단순한 교훈만 받아들이려 함. 하지만 진짜 문제는 오탐률과 법 시스템의 구조적 한계임
네가 놓친 부분이 있음. 변호사들이 “트라우마, 자유의 상실, 명예 훼손은 쉽게 회복되지 않는다”고 말했음
이건 명백히 손해배상 소송 준비 발언임. 그녀는 단지 평범한 삶으로 돌아가고 싶을 뿐일 것임. “시스템에 맞서 싸워라”는 말은 현실적으로 너무 어려움
법률 비전문가지만, 미국에서는 구금 상태의 심문은 Miranda 권리가 적용됨
차라리 Musk나 Altman의 소프트웨어로 문제를 피하는 게 나을지도 모름
사용된 벤더는 Clearview AI였음. 공식 정책에 따르면, 법으로 강제하는 몇몇 주를 제외하면 데이터 삭제 요청이 불가능함
그래서 나는 갑자기 New York의 S1422 Biometric Privacy Act에 관심이 생김
Illinois 주민의 경우, 정책상 생체정보 수집 및 보관이 의무화되어 있음. 다만 법 집행기관은 행정 영장 등으로 예외가 적용될 가능성이 큼
삭제를 요청하려면 본인 사진을 제출해야 함, 그런데 Peter Thiel과 연관된 회사를 믿고 싶지 않음
결국 지금으로선 삭제 요청을 반복하는 것밖에 방법이 없음. 삭제돼도 언젠가 다시 데이터베이스에 들어갈 가능성이 큼
이번 달에만 얼굴인식 오인 체포 사례를 여러 번 봤음. 이제는 빈번하게 일어나는 수준임
미국 인구 3억 5천만 명 중 닮은 사람이 많기 때문에, “누가 이 영상 속 인물과 닮았는가”를 AI가 묻는 순간, ‘닮았다’는 이유만으로 체포되는 구조가 생김
‘닮았다’는 건 합리적 의심 수준일 수는 있지만, 체포의 근거(Probable Cause) 로는 부족함. 다른 증거와 결합돼야 함
문제는 AI 자체가 아니라, 닮았다는 이유로 동일인이라 단정하는 사고방식임
가장 충격적인 건, 판사가 Clearview 매칭 결과만으로 영장을 승인했다는 점임
판사와 영장 절차는 원래 경찰의 오남용을 막기 위한 장치인데, 그마저 작동하지 않음
이 사건은 AI에 대한 과장된 보도임
사용된 시스템은 2014년부터 존재한 FaceSketchID로, 최신 AI와는 별개임. 시스템은 단지 후보를 제시할 뿐, 수사와 기소는 인간의 몫임
진짜 의문은 왜 그녀가 4개월이나 구금되었는가임. 통상 30일 내 송환이 원칙인데, 혹시 가석방 중이라서 그랬던 걸까?
미국에서는 권력자가 절차를 어겨도 실질적 처벌이 거의 없음. 나중에 세금으로 배상하는 게 전부임
송환 절차를 다투면 구금 기간이 30일에서 최대 90일까지 연장될 수 있음. 게다가 오인 신원 문제는 송환 심리에서 다툴 수도 없음
아마도 그녀는 가석방 위반으로 별도 구금된 것 같음
수사는 인간이 해야 하지만, AI의 ‘자신감 있는 오류’ 가 사람 판단을 마비시키는 게 문제임. 사람들은 확신에 쉽게 속음
기사 속 인용문 “이건 기술 문제가 아니라 기술과 사람의 문제다”라는 말이 인상적이었음
요즘 “It’s not just X, it’s X and Y”라는 표현이 AI가 쓴 문장 패턴처럼 느껴짐. 만약 AI가 기사를 썼다면, 그 문장도 환각된 인용문일지도 모름
체포영장 발부 기준이 이렇게 낮을 줄 몰랐음. 특히 타주에서 사람을 끌고 올 정도로
이건 전형적인 기저율 오류(Base Rate Fallacy) 사례임
99.999% 정확한 시스템이라도 3억 명을 검사하면 3,000명의 오탐이 생김. 그중 대부분은 무고한 사람임
그래서 대규모 자동 감시는 위험함
진짜 무서운 건 AI의 오류가 아니라, 아무도 그 결과를 검증하지 않았다는 점임
익명의 제보는 조사하면서, AI 매칭은 그대로 믿음. 결국 조사를 생략하는 도구를 만든 셈임
Hacker News 의견들
AI 여부를 떠나, 내가 묻고 싶은 건 단 하나임 — 누가 실제로 조사했는가 하는 점임
그녀의 IP, 목격자, 혹은 AI 플래그 여부를 확인한 사람은 아무도 없었음. 그냥 데이터만 보고 “잡았다”라고 한 셈임
더 끔찍한 건, 그녀가 “다시는 North Dakota로 돌아가지 않겠다”고 말한 부분임. 교훈이 ‘그 주에 가지 말자’가 아니라, 시스템 전체를 문제 삼아야 함
예전에도 Apple의 오인 체포 사건이나 가족 앞에서 끌려간 남성 사건 같은 사례가 있었음. 우리가 싸우지 않으면, 모두가 ‘유죄로 간주된 뒤 무죄를 증명해야 하는’ 세상이 됨
나도 예전에 911에 신고했다가 오히려 허위 신고자로 몰린 적이 있음. 바디캠 영상이 명백히 반박했지만, 관계자들은 오직 ‘기소’에만 관심이 있었음. 다행히 배심원단이 옳은 판단을 내림
“결과를 검증해야 한다”고 말해도, 심지어 HN에서도 “그럴 필요 없다”고 주장하는 사람들이 있음
이런 시스템은 단서 제공용으로만 써야 함. 하지만 지금은 마치 드라마처럼 ‘AI가 진실을 말한다’는 식으로 쓰이고 있음
사람들은 “다시는 North Dakota에 가지 말자”는 단순한 교훈만 받아들이려 함. 하지만 진짜 문제는 오탐률과 법 시스템의 구조적 한계임
이건 명백히 손해배상 소송 준비 발언임. 그녀는 단지 평범한 삶으로 돌아가고 싶을 뿐일 것임. “시스템에 맞서 싸워라”는 말은 현실적으로 너무 어려움
차라리 Musk나 Altman의 소프트웨어로 문제를 피하는 게 나을지도 모름
사용된 벤더는 Clearview AI였음. 공식 정책에 따르면, 법으로 강제하는 몇몇 주를 제외하면 데이터 삭제 요청이 불가능함
그래서 나는 갑자기 New York의 S1422 Biometric Privacy Act에 관심이 생김
이번 달에만 얼굴인식 오인 체포 사례를 여러 번 봤음. 이제는 빈번하게 일어나는 수준임
미국 인구 3억 5천만 명 중 닮은 사람이 많기 때문에, “누가 이 영상 속 인물과 닮았는가”를 AI가 묻는 순간, ‘닮았다’는 이유만으로 체포되는 구조가 생김
‘닮았다’는 건 합리적 의심 수준일 수는 있지만, 체포의 근거(Probable Cause) 로는 부족함. 다른 증거와 결합돼야 함
문제는 AI 자체가 아니라, 닮았다는 이유로 동일인이라 단정하는 사고방식임
가장 충격적인 건, 판사가 Clearview 매칭 결과만으로 영장을 승인했다는 점임
판사와 영장 절차는 원래 경찰의 오남용을 막기 위한 장치인데, 그마저 작동하지 않음
이전 논의는 여기에 있음
이 사건은 AI에 대한 과장된 보도임
사용된 시스템은 2014년부터 존재한 FaceSketchID로, 최신 AI와는 별개임. 시스템은 단지 후보를 제시할 뿐, 수사와 기소는 인간의 몫임
진짜 의문은 왜 그녀가 4개월이나 구금되었는가임. 통상 30일 내 송환이 원칙인데, 혹시 가석방 중이라서 그랬던 걸까?
기사 속 인용문 “이건 기술 문제가 아니라 기술과 사람의 문제다”라는 말이 인상적이었음
체포영장 발부 기준이 이렇게 낮을 줄 몰랐음. 특히 타주에서 사람을 끌고 올 정도로
99.999% 정확한 시스템이라도 3억 명을 검사하면 3,000명의 오탐이 생김. 그중 대부분은 무고한 사람임
그래서 대규모 자동 감시는 위험함
진짜 무서운 건 AI의 오류가 아니라, 아무도 그 결과를 검증하지 않았다는 점임
익명의 제보는 조사하면서, AI 매칭은 그대로 믿음. 결국 조사를 생략하는 도구를 만든 셈임