1P by GN⁺ | ★ favorite | 댓글 1개
  • +972 Magazine과 Local Call 조사에 따르면 이스라엘군은 가자 전쟁 초기 Lavender를 이용해 팔레스타인인 수만 명을 암살 표적으로 표시했고, 정보 장교들은 그 결과를 사실상 인간 판단처럼 취급함
  • Lavender는 Hamas와 Palestinian Islamic Jihad 군사조직 구성원으로 의심되는 사람을 점수화했으며, 전쟁 첫 몇 주 동안 약 37,000명이 의심 무장대원으로 표시됐다는 증언이 나옴
  • 여러 정보 소식통은 장교들이 표적을 독립 검증하지 않고 남성 여부 확인에 보통 20초만 썼으며, 내부적으로 약 10% 오류를 알고도 “무오류” 정책을 두지 않았다고 밝힘
  • 표적 추적에는 Where’s Daddy? 같은 자동화 시스템이 쓰였고, 표적이 가족 주거지에 들어오면 폭격 대상으로 삼았으며, 하급 표적에는 정밀유도탄보다 비유도 폭탄(dumb bomb) 을 선호했다는 증언이 있음
  • 이스라엘군은 AI가 표적을 “기소”했다는 주장을 부인하고 독립적 정보 분석과 국제법 준수를 내세웠지만, 소식통들은 민간인 피해 허용치와 자동화된 부수 피해 계산, 실시간 검증 부재가 대규모 민간인 사망으로 이어졌다고 봄

Lavender가 맡은 표적 생성

  • 2021년 영어로 출간된 The Human-Machine Team은 전쟁 중 방대한 데이터를 빠르게 처리해 수천 개의 군사 표적 후보를 만드는 “기계”를 구상함
    • 저자는 필명 “Brigadier General Y.S.”를 사용했고, +972와 Local Call은 그가 이스라엘 정보부대 Unit 8200의 현 지휘관이라고 확인했다고 밝힘
    • 책은 새 표적을 찾고 표적 승인 결정을 내리는 과정의 인간 병목을 해결하기 위해 AI와 인간의 결합을 주장함
  • 조사에 따르면 이스라엘군은 실제로 Lavender라는 AI 기반 프로그램을 개발했으며, 가자 전쟁 중 AI를 이용한 암살 표적 생성에 직접 관여한 이스라엘 정보 장교 6명이 이를 증언함
  • 이 시스템은 공식적으로 Hamas와 Palestinian Islamic Jihad 군사조직의 의심 구성원, 특히 하급 구성원까지 잠재 폭격 표적으로 표시하도록 설계됨
  • 소식통들은 전쟁 첫 몇 주 동안 군이 Lavender에 거의 전적으로 의존했고, 약 37,000명의 팔레스타인인과 그들의 주거지가 공습 후보로 표시됐다고 전함
  • 이스라엘군 대변인은 +972와 Local Call에 보낸 답변에서 그런 kill list의 존재를 부인함

“인간 표적” 범위의 확대

  • 이스라엘군에서 과거 “human target”은 군 국제법 부서의 규칙상 민간인이 주변에 있어도 사적 주거지에서 살해할 수 있는 고위 군사 요원을 뜻했음
  • 10월 7일 Hamas 주도 무장세력이 이스라엘 남부 지역을 공격해 약 1,200명을 살해하고 240명을 납치한 뒤, 이스라엘군은 “Operation Iron Swords”에서 Hamas 군사조직 구성원 전체를 계급과 군사적 중요도와 무관하게 human target으로 지정했다고 소식통들이 말함
  • 과거에는 단일 human target 암살을 승인하려면 장교가 복잡하고 긴 기소(incrimination) 절차를 거쳐야 했음
    • 대상이 Hamas 군사조직의 고위 구성원인지 증거를 교차 확인함
    • 거주지와 연락처를 파악함
    • 대상이 집에 있는 시점을 실시간으로 알아야 했음
  • 표적 목록이 수십 명의 고위 요원에서 수만 명의 하급 요원으로 확대되자, 정보 업무는 자동화 소프트웨어와 AI에 크게 의존하게 됐다고 소식통들은 설명함
  • 한 고위 장교는 하급 요원을 자동으로 공격할 수 있게 하는 것이 “Holy Grail”이었고, 자동화로 전환하면 표적 생성이 폭증한다고 말함

Lavender의 작동 방식과 데이터

  • Lavender는 가자지구 주민 230만 명 대부분에 대해 대규모 감시 체계로 수집한 정보를 분석하고, 각 개인이 Hamas 또는 PIJ 군사조직에서 활동할 가능성을 1~100점으로 평가함
  • 시스템은 알려진 Hamas와 PIJ 구성원의 정보를 훈련 데이터로 받아 그들의 특성, 즉 features를 학습하고, 일반 인구에서 유사한 특성을 찾음
  • The Human-Machine Team에는 AI 기반 “target machine”을 구축하는 짧은 안내가 들어 있으며, 개인의 점수를 높일 수 있는 특징 예시가 포함됨
    • 알려진 무장대원과 같은 Whatsapp 그룹에 있음
    • 몇 달마다 휴대전화를 바꿈
    • 주소를 자주 바꿈
  • Unit 8200의 Data Science and AI 센터 지휘관 “Col. Yoav”는 2023년 Tel Aviv University AI week 비공개 강연에서 기존 무장대원 목록과의 유사성을 기반으로 “위험한 사람”을 탐지하는 표적 기계를 설명함
    • 그는 2021년 5월 가자 군사작전에서 이 시스템으로 Hamas 미사일 부대 지휘관을 식별했다고 말함
    • 강연 슬라이드는 기존 Hamas 요원 데이터를 입력하고, 특징을 학습한 뒤, 다른 팔레스타인인을 유사도에 따라 점수화하는 구조를 보여줌
  • “Col. Yoav”는 최종 결정은 사람이 내린다고 강조했지만, 최근 Lavender를 사용한 소식통들은 실제로 인간의 정밀 판단이 대량 표적 생성과 치명성으로 대체됐다고 말함

승인 절차와 오류 허용

  • 소식통들에 따르면 Lavender 표적 목록의 자동 채택은 전쟁 약 2주 뒤 승인됨
    • 정보 인력이 AI가 선택한 수백 개 표본을 수작업으로 확인함
    • 해당 표본에서 Lavender가 Hamas 관련성을 식별하는 정확도가 90% 에 이르렀다고 평가됨
    • 이후 Lavender가 어떤 개인을 Hamas 무장대원으로 판단하면, 장교들은 원자료나 판단 이유를 독립적으로 확인할 필요 없이 이를 사실상 명령처럼 다뤘다고 말함
  • 한 고위 장교는 내부 점검상 Lavender 계산이 90%만 정확한 것으로 여겨졌고, 이는 암살 표적의 10%가 Hamas 군사조직 구성원이 아닐 수 있음을 뜻한다고 말함
  • Lavender는 통신 패턴이 알려진 Hamas 또는 PIJ 구성원과 비슷한 사람을 잘못 표시할 수 있었다고 소식통들은 설명함
    • 경찰과 민방위 인력
    • 무장대원의 친척
    • 실제 요원과 이름이나 별명이 같은 주민
    • 과거 Hamas 요원이 쓰던 기기를 사용한 가자 주민
  • 한 소식통은 “무오류 정책”이 없었고, 오류가 통계적으로 취급됐다고 말함
  • 다른 정보 소식통은 하급 무장대원 표적에서는 정보 장교의 시간을 들여 검증할 가치가 낮다며, AI 사용의 오류 범위와 민간인 사망 위험을 감수했다고 설명함

인간 검증은 남성 여부 확인에 그침

  • 이스라엘군은 AI를 이용해 표적을 기소했다는 주장을 부인하고, 이런 도구는 기소 과정을 돕는 보조 도구일 뿐이라고 답함
  • 군 답변은 어떤 경우에도 정보 분석관의 독립 검토가 필요하며, 식별된 표적이 군 지침과 국제법에 맞는 합법 표적인지 검증한다고 밝힘
  • 그러나 소식통들은 Lavender가 표시한 하급 의심 무장대원의 집을 폭격하기 전 실제 인간 감독 절차가 한 가지 확인에 가까웠다고 말함
    • AI가 선택한 표적이 여성인지 남성인지 확인함
    • 군 내부에는 Hamas와 PIJ 군사조직에 여성이 없으므로, 표적이 여성이면 기계 오류일 가능성이 크다는 가정이 있었다고 함
  • 한 고위 장교는 표적 하나당 보통 20초를 쓰며, 남성 음성인지 확인하는 정도가 자신의 유일한 인간적 부가가치였다고 말함
  • 이 방식에서는 Lavender가 민간 남성을 잘못 표시했을 때 오류를 잡아낼 감독 장치가 없었다고 소식통들은 지적함

Where’s Daddy?와 가족 주거지 추적

  • 다음 단계는 Lavender가 만든 표적을 어디에서 공격할지 정하는 일이었음
  • 이스라엘군은 Hamas가 민간 인구 중심부에 요원과 군사 자산을 배치하고, 병원·모스크·학교·UN 시설 같은 민간 구조물 안에서 전투를 수행한다고 주장함
  • 여섯 소식통도 Hamas의 터널 체계가 병원과 학교 아래를 지나고, 무장대원이 구급차를 이용하며, 군사 자산이 민간 건물 근처에 배치됐다는 점을 어느 정도 인정함
  • 동시에 소식통들은 현재 폭격에서 사망자가 전례 없이 늘어난 주요 이유 중 하나가 군이 표적을 사적 주거지에서 가족과 함께 있을 때 체계적으로 공격했기 때문이라고 말함
  • 자동 추적 소프트웨어는 수천 명을 동시에 추적하고, 표적이 집에 들어오면 표적 담당 장교에게 자동 알림을 보냈다고 함
    • 이 가운데 하나가 처음 공개된 Where’s Daddy?
    • 한 소식통은 이를 “broad hunting”이라고 부르며, 표적 시스템이 만든 목록을 복사해 넣고 누가 살해 가능한지 기다리는 방식이라고 설명함
  • UN 수치에 따르면 전쟁 첫 달 사망자의 절반 이상인 6,120명1,340가족에 속했고, 많은 가족이 집 안에서 완전히 몰살됨
  • Lavender 목록에 있는 이름을 Where’s Daddy?에 넣으면 해당 인물이 지속 감시되고, 집에 들어가는 순간 집 전체를 무너뜨리는 공격 대상이 될 수 있었다는 증언이 나옴

무기 선택과 비유도 폭탄

  • Lavender가 암살 표적을 표시하고, 군 인력이 남성 여부를 확인하며, 추적 소프트웨어가 주거지 안 위치를 포착하면 다음 단계는 폭탄 선택이었음
  • CNN은 2023년 12월 미국 정보 추정치를 인용해 이스라엘 공군이 가자에서 사용한 탄약의 약 45% 가 유도되지 않는 비유도 폭탄(dumb bomb) 이라고 보도함
  • 세 명의 정보 소식통은 Lavender가 표시한 하급 요원 암살에는 더 비싼 정밀 무장을 아끼기 위해 비유도 폭탄만 사용됐다고 말함
  • 한 소식통은 하급 표적이 고층 건물에 살면 더 정밀하고 비싼 “floor bomb”을 쓰고 싶지 않아 공격하지 않았지만, 몇 층짜리 건물에 살면 비유도 폭탄으로 건물 안 사람들까지 함께 죽이는 공격이 승인됐다고 설명함
  • 다른 소식통은 시스템 때문에 표적이 끝나지 않았고, 한 공격이 취소되면 바로 다음 표적으로 넘어갔다고 말함

민간인 사망 허용치

  • 소식통들에 따르면 전쟁 초기 몇 주 동안 AI 시스템이 표시한 하급 무장대원 1명당 허용 가능한 민간인 사망자는 15명 또는 20명으로 고정됐음
  • 이 “collateral damage degree”는 계급, 군사적 중요도, 나이와 무관하게 의심 하급 무장대원 전체에 폭넓게 적용됐고, 개별 사건별로 군사적 이익과 예상 민간 피해를 비교하지 않았다고 함
  • 한 표적 작전실 장교는 군 국제법 부서가 과거에 이런 수준의 부수 피해를 포괄 승인한 적이 없었다고 말함
  • 그는 Hamas 군복을 지난 1~2년 사이 착용한 사람은 특별 허가 없이 민간인 20명 부수 피해와 함께 폭격될 수 있었고, 실제로 비례성 원칙이 존재하지 않았다고 말함
  • 다른 고위 소식통은 전쟁 첫 주에는 부수 피해를 거의 고려하지 않았고, 이후 제한이 내려갔다가 다시 올라갔다고 설명함

고위 지휘관 표적과 더 큰 민간 피해

  • 소식통들은 현재 군이 민간 주거지 내 하급 human target을 대량 생성해 폭격하는 방식은 더 이상 사용하지 않는다고 말함
    • 일부는 미국의 압력이 영향을 미쳤다고 함
    • 가자지구의 많은 주택이 이미 파괴되거나 손상되고 거의 전체 인구가 이주하면서, 정보 데이터베이스와 자동 주거지 추적 프로그램에 의존하기 어려워졌다고 함
  • 하급 요원 대량 폭격은 전쟁 첫 1~2주에 주로 이뤄졌고, 이후 폭탄을 아끼기 위해 중단됐다는 소식통도 있음
  • 그러나 고위 Hamas 지휘관을 겨냥한 공습은 계속됐고, 이 경우 표적 1명당 수백 명의 민간인 사망을 군이 승인하고 있다고 소식통들은 말함
  • 12월 2일 Shuja’iya Battalion 지휘관 Wisam Farhat을 겨냥한 폭격에 대해 한 소식통은 민간인 100명 이상이 사망할 것을 알고 있었다고 회상함
  • 10월 17일 Al-Bureij 난민캠프에서 Hamas Central Gaza Brigade 지휘관 Ayman Nofal을 암살하기 위해 약 300명의 민간인 사망이 승인됐고, 여러 건물이 파괴됐다는 증언도 나옴
  • General Peter Gersten은 2021년 미국 방위 매체에 ISIS 대응 작전에서 민간인 15명 부수 피해 공격은 절차를 벗어나며, 당시 미 중부사령부 사령관 Lloyd Austin의 특별 허가가 필요했다고 말한 바 있음

10월 7일 이후의 군 내부 분위기

  • 모든 소식통은 10월 7일 Hamas의 학살과 인질 납치가 이스라엘군의 화력 정책과 부수 피해 허용치에 큰 영향을 줬다고 말함
  • 한 소식통은 초기 분위기가 고통스럽고 보복적이었으며, 규칙이 매우 느슨했다고 설명함
  • 다른 소식통은 전문 조직 내부에 “히스테리”가 있었고, 군이 어떻게 대응해야 할지 몰라 Hamas 역량을 해체하려고 맹렬히 폭격하기 시작했다고 말함
  • 한 정보 소식통은 명시적으로 “복수”가 목표라는 지시는 없었지만, Hamas와 연결된 모든 표적이 합법화되고 거의 모든 부수 피해가 승인되면 수천 명이 죽을 것이 분명했다고 말함
  • 이스라엘군은 각 표적이 개별적으로 검토되고, 공격의 군사적 이익과 예상 부수 피해가 평가되며, 예상 부수 피해가 군사적 이익에 비해 과도하면 공격하지 않는다고 답함

부수 피해 계산의 자동화

  • 소식통들에 따르면 각 집에서 표적과 함께 사망할 것으로 예상되는 민간인 수 계산도 자동화되고 부정확한 도구로 수행됨
  • 과거 전쟁에서는 정보 인력이 폭격 예정 주택 안에 몇 명이 있는지 확인하는 데 많은 시간을 썼고, 그 숫자는 “target file”에 기록됐음
  • 10월 7일 이후에는 이런 철저한 검증이 대체로 중단되고 자동화로 바뀌었다고 함
  • 소식통들이 설명한 방식은 전쟁 전 각 주택의 거주자 수를 건물 규모와 거주자 목록으로 추산한 뒤, 해당 동네에서 대피한 주민 비율만큼 숫자를 줄이는 모델임
    • 예를 들어 동네 주민 절반이 떠났다고 추정하면, 평소 10명이 사는 집은 5명이 있는 것으로 계산함
    • 군은 시간을 아끼기 위해 과거 작전처럼 실제 주택 감시로 현재 거주 인원을 확인하지 않았다고 함
  • 한 소식통은 이 모델이 현실과 연결되지 않았고, 전쟁 전 등록 거주자와 전쟁 중 실제로 집 안에 있는 사람이 일치하지 않았다고 말함
  • 같은 소식통은 군이 이런 오류 가능성을 알았지만, 더 빠르다는 이유로 부정확한 모델을 채택했다고 설명함

실시간 검증 부재와 폭격 이후 확인 축소

  • Where’s Daddy? 같은 추적 시스템이 표적의 귀가를 알린 시점과 실제 폭격 사이에는 상당한 시간 차가 날 수 있었고, 이 때문에 표적 없이 가족 전체가 사망하는 경우가 있었다고 소식통들은 말함
  • 세 명의 정보 소식통은 이스라엘군이 가족 주거지를 폭격했지만, 나중에 암살 대상이 집 안에 없었다는 사실이 확인된 사례를 목격했다고 말함
  • 한 소식통은 표적이 몇 시간 전 집에 있었기 때문에 그대로 폭격하는 경우가 있었고, 때로는 위치를 재확인하지만 때로는 재확인하지 않았다고 설명함
  • 다른 소식통은 오후 8시에 표적이 집에 있다고 파악했으나 공군이 오전 3시에 폭격했고, 그 사이 표적이 가족과 함께 다른 집으로 이동했으며 폭격된 건물에는 아이들이 있는 다른 두 가족이 있었다고 말함
  • 과거 가자 전쟁에서는 human target 암살 뒤 폭격 피해 평가인 BDA 절차가 수행됐지만, 현재 전쟁에서 AI가 표시한 하급 무장대원 관련 공격에서는 시간을 아끼기 위해 이 절차가 폐지됐다고 소식통들은 말함
  • 소식통들은 하급 Hamas·PIJ 의심 표적 공격에서 실제 민간인 사망자 수를 알지 못했고, 표적 본인이 사망했는지도 알지 못했다고 말함

댓글과 토론

Hacker News 의견들
  • 오래전부터 Didier Bigo 같은 학자들이 “테러리스트”나 “범죄자”와의 간접적 연관성만으로 개인을 표적으로 삼는 일에 우려를 제기해 왔음
    원래는 Snowden 폭로에서 드러난 감시 맥락에서 쓰였고, 식별된 인물로부터 예컨대 3단계 이내에 있는 사람까지 표적으로 삼아 적법 절차나 표적 감시의 의미를 무너뜨렸음
    이제는 그런 AI 시스템이 단순 감시가 아니라 실제로 사람을 죽이는 데 쓰이고 있음
    국제인도법은 전투원이나 무장단체의 “전투원”이 아닌 사람을 살해하는 것을 금지함. 적대행위에 “직접 참여”하는 “지속적 기능”을 가진 사람만 언제든 공격 대상이 될 수 있음
    즉 Hamas의 무장조직 구성원만 공격 대상이 될 수 있고, 모집책·무기 제조자·선전 담당자·자금 담당자 등은 체포하거나 재판해야 함. 그렇지 않으면 정규전에서도 군에 대출을 제공한 은행 직원처럼 거의 모든 민간인이 표적이 될 수 있음
    Lavender가 무서운 이유는 국제법상 공격으로부터 보호받는 사람들을 이스라엘이 대량 표적화할 수 있게 해 주고, 테러리스트와의 연관성이라는 얄팍한 정치적 정당화만 제공하기 때문임
    https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...

    • 항상 주어진 기준에 맞는 표적 목록을 만드는 것에서 시작함. 목록이 생기면 용도는 분류에서 악마화, 감시, 권리 박탈, 추방, 살해로 바뀜
      2차대전 당시 독일이 컴퓨터를 초기에 사용한 사례도 강제수용소로 보낼 사람들의 목록을 만들고 처리하는 일이었음. 오늘날의 차이는 더 많은 데이터를 더 빠르게 대규모로 수집·처리할 수 있다는 것뿐임
    • 누군가가 표적이 되어 살해되는 순간, 민간인이 곧바로 “협력자”, “테러리스트”, “무장대원” 등으로 변하는 놀라운 마술이 자주 벌어짐
      물론 누가 캐묻고 질문하지 못하게 모든 것은 기밀로 분류되고 접근이 제한됨
    • 이런 도구가 “누구를 표적으로 삼을지 결정할 때 참고하는 정보 입력”에서 “컴퓨터가 이 사람들을 죽이라고 하니 실행하자”로 얼마나 빠르고 쉽게 바뀌는지가 흥미롭고, 소프트웨어 최종 사용자에게서 흔히 보이는 모습이기도 함
      Guardian 기사에서 IDF 대변인은 이 시스템이 존재하지만 전자 용도로만 쓰인다고 말했고, 원래 의도나 상층부의 인식은 그럴 수 있음. 하지만 실제로는 후자로 변했을 것 같음
    • 기사에서 논의된 기준대로라면 이스라엘에 원한이 있는 누구든 이스라엘 건물 상당수를 표적으로 삼는 일을 정당화할 수 있음
      결국 인구 대부분이 IDF 복무 의무를 지고 있기 때문임
    • 여기서 빠져나갈 구멍은 무기 제조 시설이 거의 확실히 군사 전략 표적이라는 점임
      국제법은 얻는 군사적 이익이 민간인 사망에 비례한다면 그런 기반시설을 표적으로 삼는 것을 허용함
      그래서 개인을 표적으로 삼을 수는 없지만, 국제법상으로는 그 사람들이 안에 있는 동안 그 건물을 공격하는 것이 군사적으로 가치가 있으면 괜찮다는 결론이 나옴
  • 이런 생각까지 하게 될 줄은 몰랐지만, 이 소프트웨어를 제작·개발한 사람들이 살인이나 반인도범죄로 재판받아야 하는 사안인지 고민하게 됨
    현재 형태의 AI는 이런 용도 근처에 있어서는 안 되는 기술이라고 이해하고 있음
    추론 모델은 원하는 특정 결과에 대해 정확히 평가할 수 있다는 면에서 본질적으로 상당히 비결정적이고, 낮은 정확도라도 내려면 대규모 학습 데이터가 필요함. 그런데 그런 학습 데이터는 존재하지 않을 가능성이 크고, 전체가 거대한 환각 위에 세워졌을 것 같음
    이 AI 모델이 10%라도 정확하면 놀랄 것 같고, 1% 미만이어도 놀랍지 않음. 읽은 바로는 정확도가 핵심도 아닌 듯함
    Guardian 기사 https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...를 보고 AI 개발 자체를 허용해야 하는지까지 생각하게 됨
    이 특정 응용과 그 명분은 공개적으로 드러난 기술의 고의적 악용 중 가장 노골적인 사례에 가깝게 느껴짐. 순진한 판단일까

    • 여기서 “AI”가 무엇을 뜻하느냐에 따라 다름. “데이터베이스에 데이터가 많고 사람이 질의를 손으로 조정한다”부터 “XYZ를 예측하는 딥러닝 신경망을 만들었다”까지 스펙트럼이 있음
      그 중간에는 설명 가능한 결과를 제공하는 결정 트리 같은 것도 있음
    • 순진한 판단이 전혀 아님. 그런 시스템의 한계를 충분히 알고, 그 결과까지 알면서도 개발이나 유지보수에 참여했다면 내 기준에서는 손을 깨끗이 유지했다고 볼 여지가 사라짐
    • 보도만 봐도 IDF에는 현장에서 공식적인 교전수칙이 없는 것이 분명해 보임. 하급 지휘관들이 아무 감독 없이 누구든 언제든 죽일 완전한 자율권을 가진 상태임
      “AI”는 특정한 집단학살 행위를 나중에 정당화하기 위한 장치이고, 실제로는 분노와 인종주의가 이끄는 구식의 무분별한 학살에 가까움
    • 총이나 AI가 사람을 죽이는 게 아니라 사람이 죽임. 책임을 물어야 한다면 공격 명령을 내린 사람들이어야 함
    • 누군가는 더 나아가 AI 제어 드론, 전차 같은 식으로 처형 단계까지 AI를 넣을 것임
      그런 다음 책임이 없다고 주장하며 기계 속 유령 탓을 하겠지
  • 이 이야기가 이스라엘을 얼마나 나쁘게 보이게 하든, 그래도 최소한 무장대원을 죽이려 했다는 식으로 책임 회피를 하려는 내용처럼 읽힘
    처음부터 기자, 의료진, 구호 배급에 관여한 사람들을 표적으로 삼아 Gaza에서 삶을 불가능하게 만드는 것이 목표였다는 점은 분명했음

    • 실제로 그랬다고 보기는 매우 의심스러움. “조금이라도 의심되면 먼저 쏘고 나중에 묻는다”는 정책에 더 가까워 보임
      기자, 구호활동가, 의료진을 의도적으로 죽이는 정책이 있었다면 사망자가 훨씬 더 많았을 것임
      Hamas가 그런 역할을 작전의 위장으로 사용한다는 점을 깨닫지 못한다면 극도로 순진하거나 한쪽으로 치우친 것임
      이스라엘의 행동을 정당화하려는 건 아니고, 그 행동들은 엉망이지만 지금까지의 증거로 보면 원래 주장은 명백히 틀렸다고 봄
    • 이건 이스라엘인을 향한 선전 무기에 더 가까워 보임. 정말 숨기고 싶었다면 우리가 아마 알지 못했을 것임
      우리가 이걸 이야기하고 있다는 사실 자체가 우연이 아닐 가능성이 크고, 군이 기술적으로 앞서 있으며 뭘 하는지 알고 있으니 의심하지 말라고 이스라엘인을 설득하려는 전략처럼 보임
      AI가 있든 없든 집단학살을 저지르고 모든 국제인도법을 위반했겠지만, 그 집단학살이 정당하다고 아직 믿는 사람들에게는 이게 이미지 개선 효과를 줄 수 있음
  • AI가 누군가를 선제적으로 죽일 수 있는 결정을 내리는 데 쓰일 수 있다는 생각이 불편함
    예컨대 자율주행차 내비게이션처럼 컴퓨터가 이미 수동적으로 사람을 죽이는 결정은 하고 있을 수 있음. 이번 경우에는 인간의 승인 절차가 있었다고 하지만, 인간 개입 없이 로봇이 사람을 죽이는 상황까지 한 걸음이고, 그건 Terminator 줄거리와도 한 걸음 차이임
    이런 경우 대안이 무엇인지 궁금함. 군사 전략은 거의 모르지만, AI가 없었다면 이스라엘이 표적을 더 적게 골랐을지, 아니면 더 되는대로 골랐을지 모르겠음
    이 기사를 읽고 이스라엘이 AI를 쓰지 않았다면 폭탄을 전혀 떨어뜨리지 않았을 거라고 상상하는 오독도 있는 것 같은데, 전쟁 중이라는 점을 보면 그건 분명 가능성이 낮음. 전쟁에서는 무고한 사람을 포함해 사람들이 죽고, 그래서 모두가 전쟁을 혐오하며 지금 전쟁이 최대한 빨리 끝나길 바라는 것임

    • “현재 전쟁에서 장교들은 시간을 절약하고 방해 없이 인간 표적의 대량 생산을 가능하게 하기 위해 Lavender의 평가를 독립적으로 검토할 필요가 없었다”는 대목이 있음
      내부 점검에서 Lavender의 계산 정확도가 90%에 불과하다고 여겨졌는데도 그런 감독 부재가 허용됐고, 달리 말하면 암살 대상으로 지정된 인간 표적의 10%는 Hamas 군사조직원이 아니라는 사실을 사전에 알고 있었다는 뜻임
      그래서 인간 승인 절차는 없었음. 정책 자체는 누군가가 명령했겠지만, 계속 생성되는 암살 표적은 AI 시스템의 예측만으로 승인된 셈임
      “시간을 절약하고 방해 없이 인간 표적의 대량 생산을 가능하게 하기 위해”라는 문장은 끔찍하게 디스토피아적임
    • 대안은 분명해 보임. 표적 선정 절차를 더 느리게 만들고, 전체 표적 수를 줄이며, 그 과정에 인간의 양심이 관여하도록 보장하는 것임
    • 진부하게 들리겠지만, 해야 할 일은 애초에 공격적 비대칭 전쟁을 벌이지 않고 무고한 사람이 가득한 고밀도 도시 지역을 별 이유 없이 폭격하지 않는 것임
      그러면 작은 AI도 필요 없었을 것임
    • 정말 불편한 일임. AI에 대한 반발이 올까 걱정했는데, 이런 이야기는 전환점이 될 수 있고 확실히 숙고의 기간을 정당화할 수 있음
      대안이 더 나쁠 수도 있다는 말도 아마 맞을 수 있음. Lavender를 만든 사람들은 데이터로 그것까지 증명할지도 모름
      그래도 어떤 경우에도 인간을 절차 안에 둬야 한다는 도덕적 압박은 있어야 함. 그런 정당화 시도는 Gaza 민간인 머리 위에서 벌어지는 SkyNet식 종말 장면만큼 대중의 관심을 끌지 못할 것임
    • 이런 경우 대안이 궁금하다면, Torment Nexus를 만들지 말라는 답이 있음
      Torment Nexus를 만들지 않겠다는 관점에서 출발하면, Torment Nexus를 만들지 않기가 훨씬 쉬워짐
  • 많은 사람들이 제목만 보고 넘어가겠지만, 제발 본문을 읽어 봤으면 함
    두 번째 문단은 이렇다: “정보원들은 Lavender라는 AI 시스템 사용에 대해 말하는 것과 더불어, 이스라엘 군 관계자들이 특히 분쟁 초기 몇 주와 몇 달 동안 많은 수의 팔레스타인 민간인이 살해되는 것을 허용했다고 주장했다”

    • 맞음. AI는 아마 이 작전에서 가장 윤리적인 부분일지도 모름. 인간 지휘부가 어떤 규모의 부수적 피해도 과하지 않다고 결정한 것임
    • 그들은 이스라엘인 1명 손실마다 팔레스타인인 10명의 목숨을 취한다는 암묵적 10대 1 규칙을 갖고 있음
    • 민간인 사이에 숨어 있으면서 강간하고 살해하고, 아기와 엄마를 지하 감옥으로 끌고 가고, 그런 일을 자랑한 테러리스트 야만인들을 추적하는 과정에서 더 많은 민간인 사망을 허용한 것임
  • Serial 팟캐스트의 이번 시즌을 모두 들어보길 권함
    “대량의 데이터를 처리해 표적으로 삼을 잠재적 ‘하급’ 요원을 빠르게 식별했다. 네 명의 정보원은 전쟁 초기 어느 시점에 Lavender가 AI 시스템에 의해 Hamas 또는 PIJ와 연결된 팔레스타인 남성을 최대 37,000명까지 목록화했다고 말했다”
    이건 2001년에 Guantanamo나 더 비밀스러운 감옥으로 보낼 사람을 고르고, 그 위치를 폭격하던 방식과 크게 다르지 않음
    무엇보다도 기업 세계에서처럼 군대의 엔지니어들이 AI 유행어를 과장해, AI가 있기 전에도 하던 일을 그대로 하고 있는 느낌임
    PayPal 계정으로 ISIS로 식별된 계정에 돈을 보내면 미국의 3문자 기관이 금방 찾아올 것임. 사용자 증언을 보면 이것도 정확히 그런 식으로 들림. 어느 장소를 폭격할지 말지는 AI가 아니라 인간이 결정했음

    • “2001년에 세상이 돌아가던 방식”이라고 했지만, 여기서 세상은 미국을 뜻함. 그래도 맞는 말임
      “NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’”
      https://www.computerworld.com/article/2475921/whistleblower-...
    • “Gitmo”는 2002년에야 열렸음
  • “우리는 [Hamas] 요원이 군사 건물 안에 있거나 군사 활동에 관여할 때만 죽이는 데 관심이 있었던 것이 아니다”라고 한 정보 장교 A.가 +972와 Local Call에 말했음
    “오히려 IDF는 그들을 집에서 주저 없이 폭격했고, 그것이 첫 번째 선택지였다. 가족의 집을 폭격하는 편이 훨씬 쉽다. 시스템은 그런 상황에서 그들을 찾도록 만들어져 있다”

    • i24 뉴스를 보면 꽤 불안해짐. 심문관들이 고문이 얼마나 생산적이었는지 알리는 코너를 내보내고, 레몬이 짜이지 않고도 즙을 내주면 훨씬 쉬울 텐데 하는 농담까지 함
    • “가족의 집을 폭격하는 편이 훨씬 쉽다”니, 이게 어떻게 전쟁범죄가 아닐 수 있음
      Gaza에는 약 200만 명의 민간인이 살고 있고, 그중 많은 사람은 식량·물·의약품·안전한 피난처에 접근하지 못함. 그 불운한 사람들 중 일부는 Hamas 요원과 그 가족의 위나 아래에 살고 있음
      “아, 미안 ㅋㅋ”, “의도한 건 아니었음 ㅋㅋ 진짜임”, “우리 교리는 적대 요원 1명당 민간인 X명을 죽일 수 있다고 하니 걱정 마” 같은 식임
      Gaza 전쟁은 우크라이나와 다름. 우크라이나와 러시아의 마을 주민들은 전선에서 러시아 쪽이나 서쪽 Galicia 쪽으로 이동할 수 있고, 주요 인구 중심지를 완전히 평탄화하지도 않음
      Gaza에서는 누구든 언제든, 어떤 이유로든 혹은 이유 없이 죽을 수 있는 것처럼 보임. 이스라엘의 “전략”은 우크라이나와 러시아조차 절제와 문명의 모범처럼 보이게 만듦
    • 전시에 군인은 합법적 표적 아닌가? 맞다고 봄. 쟁점은 부수적 피해
      다만 이번 전쟁은 Hamas도 규칙을 따르지 않고 민간인에게 너무 가까이 붙는다는 점을 보여줌
  • 이 기술이 실제로 얼마나 정확한지, 아니면 결과에는 거의 관심이 없고 첨단처럼 보이는 이미지에 더 관심이 있는지 궁금함
    한편으로 이런 기술이 존재한다고 생각하면 무섭지만, 다른 한편으로는 출력이 너무 편향되어 그저 쓰레기 더미일 수도 있음
    더 무서운 건 권력자들이 “정확함”에는 관심이 없고, 자기 편견을 확인해 줄 정당화에 관심이 있다는 증거라는 점임. 늘 그래 왔지만, 이게 AI로 확장된다는 점이 더 치명적임
    예전에는 거짓말할 수 있는 인간의 수가 한계였지만, 이제는 마법의 블랙박스가 얼마나 빨리 도는지가 한계임

    • 최근 이스라엘 폭격으로 사망한 식량 자선단체 직원들의 경우 누가 승인했는지는 확인되지 않았지만, 그 팀에는 보안 담당자가 있었음
      이 사람은 무장은 하지 않았고, 업무상 자선팀이 어디로 갈지 이스라엘 당국에 알려 길을 트는 역할을 했으며, 영국의 가족이 사망을 확인했음. 그래서 자연스럽게 이런 상황에서 표적 살해를 누가 승인했는지 묻게 됨
      사후 사진을 보면 미사일이 차량 지붕을 관통했고, 아이러니하게도 차량 위에 선명히 보이는 식량 자선단체 로고 바로 옆이었음
      이스라엘 국방장관은 이제 실수였다고 주장하지만, 조사에 따르면 실제 표적을 맞힌 경우였다면 교전수칙상 관계없는 부수적 사망 15~100명도 허용됐을 수 있음
    • 첨단으로 보이는 이미지는 핵심 목표가 아니라고 봄. 아무리 허술하더라도 일종의 정당화가 목표임
      특히 “AI”가 어떻게 결론에 이르렀는지 감사하기 어렵다면 더 그렇음. 이제 누구나 표적이 될 수 있음
      미국 경찰이 “대마 냄새가 났다”고 하거나 탐지견이 “신호를 보냈다”고 하는 것과 비슷함. 어떤 수색이든, 여기서는 어떤 살해든 정당화할 수단을 제공함. 기계는 계속 갈려 나감
  • 2018년에 Google CEO Sundar Pichai, SVP Diane Greene, SVP Urs Hölzle, 최고 엔지니어 Jeff Dean이 미군을 위해 Lavender 같은 시스템을 만들었음. Project Maven
    미군은 이 시스템을 대량 감시 드론 영상을 분석해 Pakistan에서 암살할 용의자를 고르는 데 쓰려 했음. 이미 수백 채의 집과 차량에 폭탄을 떨어뜨려 수천 명의 용의자와 그 가족·친구들을 살해한 뒤였음 [0]
    당시 나는 Urs의 Google Technical Infrastructure 부서에서 일하고 있었음. 그 프로젝트를 뉴스로 읽었고, Urs는 관련 회의에서 계약 규모가 900만 달러뿐이라고 우리에게 거짓말했음. 이미 1,800만 달러로 확대됐고 2억 7,000만 달러로 가는 중이었음
    Urs와 Jeff Dean은 자기들이 한 일의 영향을 축소하려 했음. Jeff Dean은 영향을 축소해서 말할 때 계속 눈을 깜빡였고, 기술적 측면을 말하기 시작하자 갑자기 깜빡임을 멈췄음. 그 순간 그와 회사 리더십에 대한 모든 존경을 잃었음
    공학과 사업 능력이 뛰어나다고 해서 성숙한 도덕성이 따라오는 것은 아님. 안타깝게도 우리 사회는 리더가 필요한 도덕 교육을 받도록 보장하거나, 도덕적 판단에 완전히 실패했을 때 그들을 제거하도록 구조화되어 있지 않음
    [0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan

  • Guardian도 이 이야기를 첫 페이지에 실었고, 발행 전에 세부 내용을 전달받았음
    https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
    개인적으로 이런 이야기는 공익적 사안이라고 봄. 직접 요구하지는 않겠지만, 플래그가 풀리고 토론이 진행되길 바람

    • Guardian 버전의 HN 스레드는 이제 플래그를 많이 받아 사실상 묻혔음 [0]
      플래그가 풀리고 병합되면 좋겠음. 기술의 새로운 사용 방식에 관한 중요한 이야기로 보임
      [0] https://news.ycombinator.com/item?id=39917727
    • Guardian은 972를 보도의 출처로 참조함. 그러니 이건 그냥 “Guardian 기사”라고 볼 일은 아님
    • Guardian 기사도 HN에 올라온 뒤 빠르게 플래그된 건 꽤 실망스러움