1P by GN⁺ | ★ favorite | 댓글 1개
  • 극비로 유지되던 이스라엘 군 정보부대 Unit 8200 지휘관의 신원이 2021년 Amazon 전자책에 남은 디지털 흔적으로 드러남
  • 필명 Brigadier General YS로 출간한 책에 익명 이메일 주소가 포함됐고, 이 주소가 Yossi Sariel 명의의 Google 계정과 Maps·Calendar 프로필로 이어짐
  • The Human Machine Team은 군 인력과 AI의 결합을 다루며, 가자 전쟁 6개월 동안 IDF가 의존한 AI 기반 표적 추천 시스템의 청사진과 연결됨
  • IDF는 해당 이메일이 개인 계정이 아니라 책 관련 전용 계정이라고 했지만, 이후 Sariel 개인 정보 노출을 “실수”로 인정하고 재발 방지 검토를 예고함
  • 이번 노출은 2023년 10월 7일 하마스 공격을 막지 못한 Unit 8200을 둘러싼 책임론과 기술 편향 비판 속에서 Sariel에게 추가 부담이 됨

Unit 8200 지휘관 신원 노출

  • 이스라엘 Unit 8200 지휘관의 신원은 군 내부에서도 가장 민감한 비밀 중 하나로 취급됨
    • Unit 8200은 미국 NSA와 비교될 정도의 강력한 감시 기관으로 알려짐
    • 지휘관은 20년 넘게 공개되지 않은 채 활동해 온 Yossi Sariel로 확인됨
  • Sariel의 신원은 Amazon에 출간한 책과 연결된 디지털 흔적을 통해 노출됨
    • 전자책에 포함된 익명 이메일 주소가 Sariel 이름으로 생성된 Google 계정으로 이어짐
    • 해당 계정에는 고유 ID와 Google Maps·Calendar 프로필 링크가 연결돼 있었음
  • IDF 대변인은 그 이메일이 Sariel의 개인 이메일이 아니라 책 관련 사안 전용 계정이라고 설명함
  • 이후 IDF는 이스라엘 언론에 개인 정보 노출을 “실수”라고 인정하고, 유사 사례 재발을 막기 위해 사안을 검토하겠다고 밝힘

The Human Machine Team과 AI 군사 전략

  • Sariel은 Brigadier General YS라는 필명으로 2021년 The Human Machine Team을 출간함
    • 필명은 그의 이니셜로 구성됨
    • 여러 출처 확인에 따르면 Sariel이 해당 책의 비공개 저자임
  • 책은 군 인력과 기계 사이의 관계를 AI가 어떻게 바꿀 수 있는지에 대한 구상을 담고 있음
  • Sariel은 현대전에서 머신러닝이 주변부가 아니라 중심 무대로 이동해야 한다고 봄
  • 핵심 방향은 완전 자율 시스템보다 인간과 AI의 시너지를 추구하는 human-machine teaming
    • 대상 독자는 고위 군 지휘관과 안보 당국자임
    • Sariel은 미국 Washington DC의 National Defense University에서 방문 연구원으로 1년을 보낸 뒤 IDF 허가를 받아 책을 쓴 것으로 파악됨

AI 표적 기계 구상

  • 책의 한 부분은 AI 기반 “targets machine” 개념을 다룸
    • 이 개념은 IDF가 가자 폭격에서 사용한 것으로 알려진 표적 추천 시스템 설명과 유사함
  • Sariel은 효과적인 표적 기계를 만들려면 인간 두뇌가 처리할 수 없는 빅데이터가 필요하다고 봄
    • 전장 데이터, 인구 정보, 시각 정보, 휴대전화 데이터, 소셜미디어 연결, 사진, 휴대전화 연락처 등이 예시로 제시됨
    • 데이터가 더 많고 다양할수록 더 좋다는 입장임
  • 표적 기계는 작은 특징을 대량으로 조합해 예측하는 복잡한 모델을 사용함
    • 예시에는 Hezbollah 구성원과 같은 WhatsApp 그룹에 있는 사람, 몇 달마다 새 휴대전화를 받는 사람, 주소를 자주 바꾸는 사람이 포함됨
  • AI는 잠재적 군사 표적을 만드는 과정에서 인간 정보요원이나 병사 때문에 생기는 병목을 줄이는 수단으로 다뤄짐
    • 새 표적 탐색과 승인 의사결정
    • 대량 데이터 처리
    • 정보와 화력의 연결

가자 전쟁에서의 AI 시스템

  • IDF는 Sariel 지휘 아래 Unit 8200이 빠르게 개발·개선한 여러 AI 기반 의사결정 지원 시스템을 가자 전쟁 6개월 동안 배치함
  • 공개된 시스템에는 the GospelLavender가 포함됨
    • 두 시스템은 이스라엘-팔레스타인 매체 +972 magazine, 히브리어 매체 Local Call, Guardian을 통해 알려짐
  • IDF는 AI 시스템이 인간 정보장교를 보조하기 위한 것이라고 설명함
    • 인간 정보장교는 군사 용의자가 국제법상 합법적 표적인지 확인해야 함
    • 대변인은 군이 다양한 도구와 방법을 사용하며, AI 기반으로 정보 연구자를 돕는 도구도 존재한다고 밝힘

10월 7일 이후 Unit 8200 논란

  • Sariel의 보안 실수는 Unit 8200이 2023년 10월 7일 하마스 공격을 예측·저지하지 못했다는 비판 속에서 공개됨
    • 해당 공격으로 팔레스타인 무장세력이 약 1,200명의 이스라엘인을 살해하고 약 240명을 납치함
  • Unit 8200은 한때 영국 GCHQ에 맞먹는 정보 역량으로 이스라엘 안팎에서 높게 평가받았음
    • 팔레스타인 지역을 면밀히 감시하는 대규모 감시 장치를 구축한 것으로 여겨짐
  • 공격 이후 Unit 8200의 기술적 자만이 전통적 정보 수집 기법을 희생시켰다는 비판이 나옴
  • 이스라엘 신문 Maariv는 2024년 2월 10월 7일 이후 Unit 8200 내부 책임 공방을 다룸
    • Sariel은 이름 대신 Unit 8200 지휘관 “Y”로 지칭됨
    • 비판자들은 Sariel 지휘 아래 부대가 “중독적이고 흥미로운” 기술을 우선시해 참사로 이어졌다고 봄
  • Sariel은 동료들에게 10월 7일이 마지막 날까지 자신을 괴롭힐 것이라며, 가장 깊은 의미에서 책임을 받아들이고 “우리는 패배했다. 나는 패배했다”고 말한 것으로 인용됨

댓글과 토론

Hacker News 의견들
  • 인용문에 나온 보안 실수가 정확히 어떤 성격인지 더 궁금함
    Amazon에 자가 출판자가 계정 이메일 주소를 노출하는 버그가 있는 건지, 아니면 책 안에서 Google Maps나 Google Calendar 콘텐츠를 공유하면서 그 기능들이 실제 이메일을 드러낸다는 걸 몰랐던 건지 궁금함

    • 그 문장과 기사 다른 부분을 보면 Amazon은 거의 관련 없어 보임
      피드백, 정정, 리뷰, 언론 연락을 받으려고 만든 Gmail 계정이 있었고, 익명에 가까워야 했지만 실제 이름으로 등록돼 있었던 듯함
      최소한 답장을 받은 사람에게는 이름이 보였을 테고, 다른 계정 연결을 통해서도 드러났을 가능성이 있음
    • 책은 계급과 이니셜로 만든 필명으로 출간됐고, Amazon 소개 문구는 이렇게 되어 있음:

      [pseudonym], an expert analyst, technology director, commander of an elite intelligence unit, and winner of the prestigious Israel Defense Prize for his artificial intelligence based anti-terrorism project
      국방상 수상 프로젝트와 그 프로젝트를 수행한 부대는 The Times of Israel에 공개돼 있음
      그 사람의 계급과 이름도 과거 기사들에서 공개적으로 알려져 있었음
      이런 맥락에서는 Google 계정이나 Amazon이 그 장군을 해당 부대와 연결하는 데 크게 중요하지 않았음

    • “고유 ID가 포함된 이메일 ID 유출”에서 고유 ID가 뭔지 궁금함
      주민등록번호 같은 것인지, 군번인지, 다른 식별자인지 모르겠음
  • 여기엔 보안 실패가 없어 보임
    어떤 사람은 진짜 신원을 숨기려고 필명을 쓰지만, 어떤 사람은 공적 persona와 사적 삶을 분리하려고 필명을 씀
    이 경우는 명백히 후자에 가까움
    그는 자기 이니셜과 직업을 암시하는 힌트를 조합해 책을 냈고, 이메일을 진지하게 숨기려 하지 않은 것도 그 흐름상 자연스러움
    이건 JJ Lehto의 본명을 알아냈다고 보도하는 것만큼이나 별일 아님
    다시 생각해보니 동시에 전투명이자 필명이기도 함

  • 작전 보안은 어렵다
    그리고 AI의 가능성을 아무리 낙관하더라도, 누구를 죽일지 결정하는 데 AI를 쓰는 건 끔찍하고 명백히 비윤리적임
    책임 소재 없는 잔혹 행위가 가능해짐
    애초에 이 사람이 익명이었다는 사실도 책임성을 목표로 한 게 아니라는 신호로 보임

    • The Guardian이 며칠 전 IDF의 AI 사용에 대해 더 보도했는데, 암울함:
      https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
      다만 그 기사에서는 공포스러운 부분 대부분이 인간 운용자에게서 나옴
      기계를 불신할 이유를 찾는 데 꽤 강한 무관심이 있어 보임
    • 절대적인 표현은 어렵다
      “AI를 이용해 누구를 죽일지 결정하는 건 비윤리적”이라는 감정에는 동의하지만, 그렇게 강한 명제까지는 받아들이기 힘듦
      예를 들어 10명이 표적 결정을 하는 집단이 있고, AI로 업무량을 줄여 그 10명이 더 오래 재검토할 수 있다면 그것도 “AI를 이용해 누구를 죽일지 결정”하는 셈이지만 결과는 오히려 개선될 수 있음
      문제는 현실에서는 사람들이 책임을 기계에 떠넘기고 어깨를 으쓱할 가능성이 높다는 데 있음
    • 안타깝고 역겹지만, 책임 소재 없음은 어떤 정부들에게는 판매 포인트가 됨
    • 물리적 공격 결정 과정에 기술을 얼마나 넣는 것이 윤리적인가?
      이 질문에 제대로 답하면서도 쉬운 답을 내기는 어렵다고 봄
    • 그건 결코 책임을 없애지 않음
      오히려 이런 식의 댓글과 사고가 책임 회피를 가능하게 함
      AI를 쓰기로 결정한 인간이 있고, 그 인간이 책임져야 함
      그 책임을 감당할 수 없다면 AI를 쓰지 말아야 함
  • 신원이 유출되더라도 크게 중요하지 않음
    국장급 인물이면 무엇을 하든 더 눈에 띄게 되고, 숨을 수 없음
    군사 영역에서 고위 장교들은 군을 대표하기 때문에 신원을 보호하지 않음
    물론 하급·중간급 병사와 인력은 명령을 수행하고 실제 위험을 감수하는 사람들이라 항상 신원을 보호해야 함
    그가 여행할 때 암살 위험에 노출될 수 있으니 신원이 공개되지 않는 편이 더 좋았겠지만, 솔직히 이건 큰 이야깃거리가 아님
    반이스라엘 성향 집단에서 혐오 댓글만 만들어낼 듯함

    • 2021년에 “Brigadier General YS”라는 이니셜 기반 필명으로 출간했다면, 애초에 진짜로 신원을 숨기려던 것 같지는 않음
    • 마지막 문단은 이상한 해석임
      표면상으로는 신원을 숨기려 했고, 꽤 처참하게 실패했기 때문에 기사거리가 된 것임
  • 책은 여기 있음:
    https://www.amazon.com/Human-Machine-Team-Artificial-Intelli...

    • 저자가 “Brigadier General Y.S”로 되어 있는데, Yossi Sariel이라고 추측하기가 딱히 어렵지 않음
  • 개인적으로 그의 신원에는 관심 없지만, 이 기사는 그가 출간한 책의 내용도 다루고 있어서 그쪽이 훨씬 더 흥미로움

  • Yossi Sariel의 영리한 4차원 체스 수임
    실수를 가장해 공식 사임 없이 자리에서 나가려는 것 같음
    이 “실수”가 상관들에게 그를 내보낼 명분을 주면서도 10월 7일 사건은 피하게 해줌

    • 어떤 실수든, 망치지 않았고 우리가 판을 못 보는 거라고 우기면 “영리한 4차원 체스 수”로 포장될 수 있음
      10월 7일 이후 벌어진 일들을 보면 양측 모두 어떤 형태의 전략 수립에도 능해 보이지 않음
      “영리한 4차원 체스”는 더더욱 아님
    • 그런데 책은 3년 전에 나왔음
      3년 뒤 사임하지 않고 빠져나갈 방법을 만들려고 일부러 그때 실수했다는 건가?
    • 특히 책 자체가 처음부터 공개적으로 YS 이니셜을 사용해 출간되도록 되어 있었음
      정말 비밀로 유지하려 했던 것 같지는 않음
    • 진짜 4차원 체스는 지금 벌어지는 컴퓨터화된 대량 살상을 위한 사상 리더십 매뉴얼을 써놓고, 그냥 사임하는 것만으로 모든 책임에서 빠져나갈 수 있게 되는 데 있음
    • 그냥 사임하고 민간인이 되면 되는데, 왜 일부러 바보처럼 보이고 싶어 하겠음?
      원한다면 Snowden처럼 폭로자가 될 수도 있었음
  • 이런 일이 전문가에게도 어렵다는 걸 알게 되어 묘하게 위안이 됨

  • “Sariel의 비판자들은 Unit 8200이 더 구식의 정보 수집 방식보다 ‘중독적이고 흥미로운’ 기술을 우선시한 것이 참사로 이어졌다고 본다”라니
    그들도 Kubernetes와 최신 프론트엔드 프레임워크를 쓰나?

    • Mt. Sinai 깊은 곳의 비밀 IDF 벙커에는 끔찍한 비밀이 있음
      모든 살인 로봇을 하드코딩된 이름으로 개별 제어하는 거대한 useEffect() 루프
      아직 메모이제이션을 연구할 예산이 없어서 좀 느리지만, 충분히 강한 하드웨어에서는 괜찮았음
      탄도 계산은 전부 WebGL로 해서 지난 몇 년간 전 세계 GPU 부족을 일으켰음
      가끔 뷰포트 크기를 잘못 잡아서 부수 피해가 생기기도 했음 :(
      교훈을 얻은 이스라엘의 다음 AI 프로젝트는 검증된 방식을 따르기로 하고, 전부 CSS로 작성될 예정임
    • Kubernetes는 이제 낡고 투박한 기술임
      더 그럴듯한 비유는 시니어 개발자를 해고하고 ChatGPT 구독권을 가진 주니어들을 뽑은 뒤 개발 속도가 크게 좋아지길 기대하는 쪽임
    • 아님, 그들은 서버리스로 옮겼음
      지하실에 있는 무작위 컴퓨터들을 침해해서 작은 함수들을 분산 처리하도록 보냄
      데이터가 너무 작아서 뭘 하는지 재구성하기가 불가능함
      소련식 SETI@HOME임
      당신도 모르게 그들의 데이터를 처리하게 됨
      할 수 있는 유일한 일은 백도어를 없애기 위해 시스템을 포맷하는 것뿐임, 잘되길 바라야겠지만
  • 작전 보안은 어렵다
    99,999번은 전부 제대로 해도, 한 번 실수하면 끝임

    • Amazon 자가 출판 책에 자기 이니셜을 올려놓는 걸 정말 작전 보안이라고 부를 수 있나?