책임 추궁을 흡수하는 조직의 ‘책임 싱크’

• Dan Davies의 The Unaccountability Machine는 조직이 결정의 결과를 흡수하거나 흐려 누구도 직접 책임지지 않게 하는 책임 싱크를 만든다고 봄
• 이런 구조는 결정의 영향을 받는 사람들의 피드백이 시스템 운영으로 돌아가지 못하게 연결 고리를 끊을 때 작동함
• 호텔 청소 인력 감축, 보험사의 시술 거절, 항공편 취소, 정부 혜택 부적격 판정, 앱에 AI를 넣으라는 투자자 요구는 결정권자와 피해자 사이의 연결이 끊긴 사례임
• Dominion Systems vs Fox News처럼 명시적 결정 없이 청중 지표가 최우선이라는 암묵적 이해가 후속 결정을 밀어붙이면, 결정의 출처가 흐려져 책임 추궁이 어려워짐
• 알고리듬에 결정을 위임하면 책임 싱크를 만들기 쉬워지지만, 기업과 정부 같은 대규모 조직은 이미 그런 구조에 익숙해 AI는 책임 세탁을 확대하는 수단에 가까움

---

책임 싱크가 작동하는 방식

• 책임 싱크는 결정의 결과를 흡수하거나 가려서 누구도 직접 책임질 수 없게 만드는 조직 구조임
• 호텔 회사의 상급자가 청소 인력을 줄이면 장부상 숫자는 좋아질 수 있지만, 객실이 준비되지 않아 체크인하지 못하는 고객은 그 결정권자에게 항의하거나 영향을 되돌릴 방법이 없음
  • 프런트 직원은 바우처를 제공할 수 있지만, 고객에게 필요한 것은 객실임
  • 결정권자와 영향을 받는 사람 사이의 피드백 경로가 사라짐
• Davies의 기준에서 책임 싱크가 기능하려면 영향을 받은 사람의 피드백이 시스템 운영에 반영되지 못하도록 연결을 끊어야 함
• 같은 구조는 여러 상황에서 반복됨
  • 건강보험이 시술을 거절할 때
  • 항공사가 항공편을 취소할 때
  • 정부 기관이 혜택 부적격을 선언할 때
  • 투자자가 포트폴리오 회사들에 이른바 AI를 앱에 밀어 넣으라고 할 때

책임을 가능하게 하는 권한과 설명

• 책임은 어떤 결정을 바꿀 수 있는 능력의 범위와 맞닿아 있음
  • Davies는 결정을 바꿀 수 있는 정도가 곧 그 결정에 대해 책임질 수 있는 정도라고 봄
  • Sidney Dekker의 accountability 정의는 책임을 “말할 수 있는 설명”과 연결함
• 어떤 일이 어떻게 일어났는지, 어떤 조건이 있었는지, 당시 왜 좋은 결정처럼 보였는지, 누가 관여했는지를 이해해야 이후 더 나은 결정을 배울 수 있음
• 두 틀을 합치면 책임지려면 바꿀 권한과 그 권한이 어떻게 쓰였는지에 대한 이야기가 모두 필요함
• 알고리듬에 결정을 맡기면 책임 싱크를 만들기 편리함
  • 하지만 기업, 정부, 그 사이의 조직들은 이미 책임 싱크를 만드는 데 능숙함
  • AI가 제공하는 책임 세탁은 완전히 새로운 것이 아니라 확대되고 강화된 형태임
• 기업을 책임지게 하려다 실패한 방식은 알고리듬을 상대로 더 성공하기 어렵고, 다른 접근이 필요함

[GN⁺]

Hacker News 의견들

• 독일 공항/항공사에서 비슷한 일을 겪으며 같은 생각을 했음
  완전 자동화된 공항이라 체크인은 셀프서비스였고 컴퓨터와만 상호작용했는데, 탑승권을 넣자 통로석이 가운데 좌석으로 바뀌었다는 종이만 출력됨. 끝까지 사람을 찾아 항의하려 했지만 컴퓨터는 UI가 설계한 방식으로만 응답했고, 프로그래머도 내 상황을 고려하지 않은 듯했음. 지상 직원도 자기 업무 범위가 아니라 아무것도 못 했고, 나중에 온 설문은 다른 구간에 대한 것이라 제대로 불만을 제기하기도 애매했음

  • 독일은 이런 면에서 꽤 엉망이라고 느낌. 6시간 기차를 타고 밤에 역에 도착했는데 Deutsche Bahn 앱에는 45분 뒤 마지막 연결 열차가 있다고 떠서 추위 속에서 기다렸지만, 출발 5분 전 플랫폼 전광판에는 열차가 없었고 결국 헛기다림이었음
    대체 버스 위치도 앱이나 역 어디에도 안내가 없고, 버스 기사는 연결 열차를 탈 수 있느냐는 노인에게 자기 일이 아니라며 짜증을 냄. 버스는 어둡고 창문은 습기로 불투명한데 정류장 안내도 표시도 없었고, 한 시간 동안 난방도 안 됐음. 그 주에는 SIM 카드가 삭제되고 택배도 사라졌는데, 고객지원 핫라인에서 만난 “남의 일”의 양을 기록하는 것조차 지금은 내게 남의 일이 됨
  • 1년 전 독일에서 비슷한 일을 겪었음. 기차역이 거의 셀프서비스가 됐는데, 티켓 발매기가 €50을 먹고 바로 재부팅했으며 영수증도 안 나왔음
    찾을 수 있던 유일한 사람은 보안요원이었고, 기계에 붙은 번호로 전화하라고만 했음. 받은 사람은 영어를 못 했고, 내 €50은 어딘가에 있지만 되찾는 비용이 그보다 더 클 듯함
  • 많은 기업이 이런 식으로 자기 주변에 벽을 세움. 고객센터 번호는 숨기고, 자주 나오지만 시간이 오래 걸리는 질문은 FAQ에서 빠뜨리고, 사람 대신 챗봇을 둠
    예전에 Amazon이 배송 완료라고 표시한 소포가 어디에도 없었는데 도움받을 방법이 없었고, FAQ에는 수풀을 확인하라는 말만 있었음. 검색 자동완성에는 “배송 완료라는데 소포가 없음”류 문구가 여러 개 떠서 더 짜증났고, 지금은 조금 나아졌지만 여전히 비슷함
  • 이제는 모두 소액재판을 쓰는 습관을 들여야 함. 요즘은 몇 분 만에 온라인으로도 가능한 경우가 많음
    먼저 선의로 문제 해결을 시도하고 그 기록을 남겨 심리까지 가면 증거로 쓰면 됨. 그다음 청구를 넣으면 대개 바로 물러서고, 기업이 이해하는 유일한 언어로 실제 고객 서비스를 유도할 수 있음
  • 이건 영화 Brazil 같은 상황을 완전 자동화하는 방식임. [https://en.m.wikipedia.org/wiki/Brazil_(1985_film)]
    그 영화의 관료제에는 그래도 죄책감을 느낄 수 있는 인간이 있었지만, 여기서는 인간이 직접 관여할 필요가 없어 훨씬 더 큰 규모로 디스토피아적이 될 수 있음

• 기업의 주요 기능 중 하나가 책임을 흐리는 것이라고 오래 생각해 왔음. 유한책임이라는 이름에는 이유가 있고, 회사를 마음대로 만들어낼 수 있기 때문에 책임을 어두운 구석으로 밀어 넣기 쉬움
  그래서 기업을 사람으로 봐서는 안 된다는 강한 이유가 있음. 사람은 오래 지속되고 책임을 지는 존재이며, 마음대로 만들거나 없앨 수 없음

  • 더 기본적으로는 돈이 사회적 의무를 없앰. 상호성이나 존중을 기대하지 않고, 돈을 내면 제품이 전달되고 끝임
    기업은 내부 경제나 협력사와의 관계에서도 이렇게 작동함. 비용 센터가 돈을 지불하고 책임을 위임함
  • 그 감정에는 동의하지만, 국가 조직은 사실상 영속적인데도 여러 희생양에게 책임을 분산하는 데 아주 능함
  • Ambrose Bierce가 1911년에 이미 핵심을 찔렀음: “Corporation, n. An ingenious device for obtaining individual profit without individual responsibility.”
    이 얘기가 더 많이 나오지 않는 게 오래전부터 이상했음. 모두 너무 익숙해진 듯함. 내 생각에는 회사에 벌금을 매기는 개념 자체를 없애고, 불법을 저지른 사람을 형사처벌하는 방식으로 바꿔야 함
  • 정확히 말하면 LLC는 재정적 책임의 제한을 뜻해야지 형사책임의 제한을 뜻하는 게 아님. 그런데 그 과정에서 그 점을 잊어버린 듯함
  • 책임은 어딘가에서 멈춰야 하고, 결국 인간이 책임져야 함

• Cathy O'Neil의 Weapons of Math Destruction(2016, Penguin Random House)은 이 개념을 시스템을 만들거나 감독하는 쪽에서 본 좋은 동반 텍스트임
  Cathy는 어떤 맥락에서 알고리즘 사용이 해롭고 책임지지 않는 시스템을 새로운 규모로 가능하게 만들며, 이를 통제해야 한다고 주장함
  https://www.penguinrandomhouse.com/books/241363/weapons-of-m...

  • 오래된 지혜가 떠오름: “컴퓨터는 결코 책임질 수 없으므로, 컴퓨터가 관리 의사결정을 내려서는 안 된다.” IBM 발표, 1979
  • EU에서는 이런 방식이 불법임. 알고리즘으로, 정확히는 AI로 의사결정을 하는 회사는 사람이 검토하도록 올릴 수 있는 방법을 제공해야 하고, 왜 그런 결정이 내려졌는지도 사용자에게 설명할 수 있어야 함
  • 알고리즘은 인간 조직보다 책임지게 만들기 훨씬 쉬움. 알고리즘은 다시 프로그래밍할 수 있지만, 조직을 바꾸게 만드는 건 훨씬 어렵다
  • 알고리즘은 사람이 사용함. 알고리즘이 “해롭고 책임지지 않는 시스템”을 가능하게 하는 건, 책임을 부과해야 할 사람들이 알고리즘을 썼다는 이유로 그 뒤의 사람들에게 책임을 묻지 않기로 선택할 때뿐임
    알고리즘 대신 의식용 홀을 넣거나, 경찰관이라는 지위가 민사책임과 형사기소에서 실질적 면책을 주는 상황을 넣어도 똑같이 작동함. 해롭고 책임 없는 시스템을 가능하게 하는 건 결국 인간이 어떤 근거로든 다른 인간에게 책임을 묻지 않는 선택임

• 이 예시는 사실이 아니라서 나쁜 예임. Fox News와 Dominion 사건에서 Rupert Murdoch는 선서하에 “Fox가 도난당한 선거라는 거짓 개념을 때때로 지지했다”고 인정했고, 그 주장이 거짓임을 알면서도 방송사가 다르게 말하도록 지시하지 않기로 했음
  Fox 내부 진행자들의 커뮤니케이션도 자신들이 말하는 내용이 거짓임을 알고 있었다는 점을 보여줌. 이는 명백히 거짓말의 정의에 들어맞고, Wikipedia의 “External Links”에는 누가 언제 무엇을 알고 말했는지 자세히 담은 실제 법원 문서가 있음
  [1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
  [2] https://www.nbcnews.com/politics/elections/dominion-releases...
  [3] https://www.dictionary.com/browse/lie
  [4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...

  • 인용의 핵심은 처음부터 거짓말하기로 한 원래의 결정이 없었다는 데 있는 것 같음. 조율 없이 벌어졌고, 이후 경영진도 멈추지 않았음. 위까지 계속 “2번”이 이어진 셈임
  • 투표기는 매년 DEFCON의 Voting Village에서 해킹됨. 굉장히 불안전하고 아무도 신뢰해서는 안 됨. 솔직히 말해 투표기 조작 주장은 최악의 경우에도 그럴듯한 가능성은 있음

• 자동화, 특히 앱화가 경영진과 C레벨에게 매력적인 큰 이유 중 하나는 책임 연결고리를 끊을 수 있기 때문이라고 의심함
  요즘 많은 기업은 제품 관리자, 개발자, 운영 담당자가 사내 IT 인프라인 “소프트웨어 계층”을 유지·개선하는 “관리 계층”, 일상 업무를 실제로 굴리는 거대한 자동화 인프라인 “소프트웨어 계층”, Uber 기사·배달 기사·Amazon 창고 노동자처럼 낮은 임금과 높은 이직률로 물리적 일을 수행하는 “노동자 계층”으로 나뉘는 구조를 가짐. 노동자들은 거의 모든 지시를 앱과 장치를 통해 받고, 경영진과는 접촉하지 못하며, 회사는 이들이 애초에 직원인지도 자주 부인함. 중요한 점은 소프트웨어 계층이 두 계층 사이의 책임 방화벽처럼 작동해, 노동자의 불만은 소프트웨어를 넘어 올라가지 못하고 착취적 행동은 불운한 소프트웨어 오류로 치부될 수 있다는 것임

  • 더 복잡하게도 “관리 계층”도 이런 전술을 자기 자신에게 씀. “iPhone을 써야 한다”, “회사 카드로 이 출장을 비용 처리할 수 없다”, “클라우드에서 XYZ 권한 요청이 자동 거절됐다”, “이 도구는 Google Chrome에서만 동작한다” 같은 식임
    이유는 “규칙이 그렇다”거나 “시스템이 그렇다”임. 누가 규칙을 정했고 시스템을 만들었는지는 아무도 모르는 듯하고, 직접 파헤치는 일은 헤라클레스의 과업에 가까우며 대개 시간 낭비로 끝남
  • 자동화가 덜하던 시절을 떠올리면, 경영 자체가 프로그래밍이었음. 조직을 확장하고 최종 제품을 개선하기 위한 지시와 절차를 만든 것임
    달라진 건 이제 지시와 절차를 인간이 아니라 소프트웨어와 하드웨어가 실행하는 경우가 많아졌다는 점임. 고객이 받는 최종 결과는 생각보다 크게 바뀌지 않았음. 여전히 같은 커피나 택시를 받되 더 빠르고 싸거나 약간 나아졌을 뿐이고, 이런 점진적 개선은 IT 이전에도 내부 제품 관리와 조직 절차 개선으로 가능했음
  • @vgr가 예전에 관찰한 것처럼, 사람은 AI 위와 AI 아래로 갈라지고 AI는 스택을 서서히 위로 올라감

• 생각할 거리를 많이 주는 글임. 이 문제는 정부의 소비자 보호기관과 법이 왜 중요한지를 보여줌
  유럽을 경유하거나 유럽 항공사를 이용하면, 항공편이 3시간 넘게 지연되거나 취소됐을 때 약 600유로 보상을 주는 EU 법이 있음. 공항에서 회사가 어떤 헛소리를 하든 보상을 받을 수 있다는 좋은 보험이고, 돈을 받는 절차도 꽤 단순함. 항공사 시스템을 우회해 보상으로 바로 이어지는 길을 제공하며, 항공사가 제대로 운영하지 않으면 벌금을 너무 많이 내게 되므로 실제 동기도 될 수 있음. 챗봇 장벽으로 기업이 고객을 막아서는 상황을 피하려면 이런 보호법이 정말 필요함

  • 돈 받는 절차가 항상 단순한 건 아님. 항공사들은 자주 거짓말을 함

• 새로 나온 자동화된 정부 전자신고 시스템에서 이런 일을 꽤 자주 겪음. 화면낭독기를 쓰고 펜과 종이는 도움 없이 쓰기 어려운 입장이라 처음엔 이런 시스템을 꽤 좋아했지만, 생각이 조금 바뀌었음
  종이는 무엇이든 적을 수 있고, 그 내용이 말이 되는지는 사람이 검증함. 컴퓨터는 그렇지 않아서, 신청서의 숫자가 서로 맞아야 한다고 하면 실제로는 약간 어긋나는 특수한 경우라도 정부에 거짓말을 해서 숫자를 맞춰야 함. 담당 지방정부 사무소에 전화했더니 사실상 정부에 거짓말하라고 에둘러 말했음. 시스템은 중앙 관리라 지역 사무소는 수정 권한이 없고, 고치고 싶어도 그들조차 권한이 없음

• STS 대학원생일 때 소프트웨어가 행위 주체성 조정기처럼 작동하는 방식에 관한 프로젝트를 해볼까 생각했음
  개인이 어떤 위험, 대체로 경제적 거래의 위험을 떠안고, 이익의 대부분은 소프트웨어 소유자가 가져가는 구조임. Uber와 관련 서비스는 여러 면에서 개인이 낮은 확률이지만 충격이 큰 하방 위험을 작은 수수료를 받고 떠안게 만드는 장치임

  • 이런 분석은 아주 일반적인 의미에서 타당하고 생산적임. 소프트웨어는 책임 전가, 책임 분산, 행위 주체성 변경이라는 오랜 전통에 최근 도입된 수단임
  • FOSS에 적용해 봐도 흥미로울 수 있음. 이익이나 보상보다 책임의 흐름, 혹은 책임의 원천과 흡수 지점을 생각하는 편이 더 유용할 듯함

• 의사결정을 알고리즘에 위임하는 건 책임 흡수 지점을 만들기 편한 방식이라는 AI와의 비교가 분명함. 내 LinkedIn 계정에는 프로필에 “follow-me” 링크를 못 붙이게 막는 플래그가 있음
  지원팀 중 누구도 이유를 모르고, 언제부터인지도 모르며, 언제 바뀔지도 모름. 우리는 이미 이런 세계에 살고 있음

• 조직은 도덕적 책임을 제거하기 위해 존재함
  판사, 배심원, 사형집행인, 총살대, 유한책임 조직 모두가 깔끔한 상자 속에 들어가 사람들이 밤에 잠잘 수 있게 해줌. 판사는 배심원이 판단했고, 배심원은 판사가 공정한 형을 내릴 것이라 믿고, 집행자는 앞선 두 집단이 할 일을 했다고 믿음. 이런 시스템은 한 사람이 행동하지 못하게 한다기보다 일련의 인계 과정을 만들고, 간수가 문을 닫을 때쯤에는 결과의 도덕성에 대한 관여가 사라지게 함. 총살대에서 여러 총 중 하나만 실탄인 것도 같은 구조임. 큰 제도와 조직, 규모의 사물은 완전히 비인간적이며, 판결을 내리는 사람이 처벌도 직접 집행한다면 결과는 달라질 것이라 봄

  • 배심재판권은 원래 판사의 개인적 편향이 재판 결과에 영향을 주지 못하게 하려는 장치였음
    배심원이 처형을 집행하고 판사가 수감을 책임지게 하면 가학적인 사람에게 엄청난 역유인이 생김. 판사나 배심원이 이런 무게를 직접 지면 더 공감할 것이라고 잘못 가정하고 있음. 실제로는 이런 일을 맡기고 싶지 않은 사람들이 그 일을 하게 될 가능성이 큼. 처형 때 공포탄을 쓰는 방식만 빼면, 나머지 제도는 내부 사람들을 보호하기보다 유죄판결을 받은 사람을 보호함
  • 묘사에는 동의하지만 그 도덕성에 판단을 내리거나 더 나은 시스템이 있다고 가장하지는 않겠음. 그런 데에는 겸손이 조금도 없음
    권력분립이 잘못된 방향이었다고 주장하는 정당을 만들어도 되고, 더 낫게는 초독재자가 있는 수십 개 나라 중 한 곳을 방문해 보면 됨
  • “First Men의 피가 아직 Stark 가문의 혈관에 흐르고, 우리는 판결을 내린 사람이 칼을 휘둘러야 한다고 믿는다. 누군가의 목숨을 빼앗으려 한다면, 그의 눈을 보고 마지막 말을 들을 의무가 있다. 그걸 견딜 수 없다면, 어쩌면 그 사람은 죽을 죄를 지은 것이 아닐지도 모른다.”
  • 고기는 정육점에서 사서 요리사에게 전달되고, 우리에게는 동물이 아니라 맛있는 요리의 일부로 옴. 고기를 먹는다면 직접 죽여야 함
  • “죽은 사람이 당연히 죽어 마땅했든 아니든 각자가 밤에 잘 수 있다”는 논리는 전지적 판단, 즉 아브라함계 신 같은 존재가 있어야 말이 되는 듯함. 그렇지 않다면 모든 사수는 실질적 책임을 져야 한다고 가정해야 함