책임 회피 기계에서 Dan Davies는 조직이 "책임 회피 구조"를 형성한다고 주장함. 이는 결정의 결과를 흡수하거나 모호하게 만들어 아무도 직접적으로 책임을 질 수 없게 만드는 구조임.
예를 들어, 한 호텔 회사의 고위 관리자가 청소 인력을 줄이기로 결정하면, 이는 재무제표 상의 숫자를 개선할 수 있음. 그러나 고객이 체크인하려고 할 때 방이 준비되지 않았고, 직원은 언제 준비될지 알 수 없다고 함. 불만을 제기할 사람도 없고, 그 결정이 고객의 계획을 망쳤다는 것을 알릴 방법도 없음. 책임은 사라지고, 영원히 잃어버리게 됨.
책임 회피 구조의 작동 방식
책임 회피 구조가 작동하려면, 피드백을 차단해야 함. 즉, 결정의 영향을 받는 사람의 피드백이 시스템의 운영에 영향을 미치지 않도록 해야 함.
건강 보험이 절차를 거부할 때, 항공사가 비행을 취소할 때, 정부 기관이 혜택을 받을 자격이 없다고 선언할 때, 투자자가 모든 회사에 AI를 앱에 통합하라고 지시할 때 등, 책임 회피 구조는 어디에나 존재함.
이는 결정이 실제로 내려졌다는 가정 하에 성립됨. 또 다른 책임 회피 구조의 메커니즘은 결정 자체가 연쇄적으로 이어져 그 기원이 사라지는 방식임.
책임의 의미
"책임"이란 무엇인지 잠시 생각해볼 필요가 있음. Davies는 "책임의 근본 법칙"을 제시함. 즉, 결정을 변경할 수 있는 정도가 바로 그 결정에 대한 책임을 질 수 있는 정도임.
Sidney Dekker의 책임 정의에 따르면, 책임은 "어떤 일이 어떻게 발생했는지, 그 일이 발생하게 된 조건은 무엇인지, 당시 그 결정이 왜 좋은 것으로 보였는지"에 대한 설명임. 이는 더 나은 결정을 내리기 위한 학습의 전제 조건임.
AI와의 비교
AI에 결정을 위임하는 것은 책임 회피 구조를 만드는 편리한 방법임. 그러나 기업이나 정부 등 어떤 규모의 조직도 이미 이러한 구조를 잘 형성하고 있음.
AI가 제공하는 책임 회피는 새로운 서비스가 아니라 확장된 것임. 이는 두려움을 덜어주지는 않지만, 유용한 단서를 제공할 수 있음. 기업을 책임지게 하려는 노력이 실패했다면, 알고리듬에 대해서도 성공할 가능성은 낮음. 새로운 방법이 필요함.
GN⁺의 정리
이 글은 조직이 책임을 회피하는 구조를 어떻게 형성하는지에 대한 통찰을 제공함. 이는 특히 AI와 같은 기술이 책임 회피를 어떻게 확장할 수 있는지를 이해하는 데 유용함.
책임 회피 구조는 결정을 내리는 사람과 그 결정의 영향을 받는 사람 간의 연결을 끊는 방식으로 작동함.
AI가 책임 회피를 더욱 용이하게 만들 수 있지만, 이는 새로운 현상이 아니라 기존의 문제를 확장한 것임.
이 주제는 조직 내 책임 구조를 개선하고, 더 나은 결정을 내리기 위한 방법을 찾는 데 흥미로울 수 있음.