- 결론
- 많은 AI 의사결정지원(DSS)이 현장에서 실패하는 이유는 모델 성능이 아니라 ‘신뢰를 설계하지 않았기 때문’이다.
- 이 글은 신뢰를 감정이나 UX 문제가 아닌, 리스크 상황에서의 예측 장치이자 ‘계약’으로 재정의하고, 왜 “신뢰를 높이자”라는 접근이 오히려 미사용·오남용을 낳는지 설명한다.
- 근거
- 신뢰 문제의 핵심은 trust(사용자 태도) 와 trustworthiness(실제 능력) 의 혼동
- 사용자는 AI를 막연히 믿지 않고, 정확성·공정성·책임성 등 특정 계약을 믿는다
- 계약과 경계를 명시하지 않으면, UI·권위·설명 톤이 부당한 신뢰를 만들어 사고로 이어진다
- 설명가능성(XAI)의 역할 역시 신뢰 “증폭”이 아니라 의존/의심을 보정하는 데 있다
- 실행(개선법)
- AI-DSS를 만들거나 도입하는 사람이라면, “신뢰를 어떻게 올릴까?”가 아니라
“무엇을 믿게 하고, 언제 의심·유보하게 할 것인가?” 라는 질문으로 관점을 전환하게 된다.
- 한 줄 요지
- AI-DSS 실패의 원인은 성능이 아니라 신뢰 설계이며, 해법은 계약·취약성·보정 중심의 설계다.