신뢰도 100%라는 수치 자체가 문제가 아니라, 모델 구조가 explainable하지 않다는 것이 쟁점 아닌가요?
모델의 추론 결과에 대해 현재의 딥러닝, 특히 신경망 모델 베이스들은 내부 구조 제시만으로는 설명이 어려운 것들이 많다가 핵심인 듯 합니다.

최근에야 여러 연구와 anthropic 사 등에서 black box를 해결하는 방법을 제시하고 있긴해서 조만간 또 해결될 문제일 것 같긴 하네요

100%든 설명가능하는것이든 환상이라고 생각합니다.
"중국어 방" 논증처럼 중요한건, 결과적으로 테슬라 자율주행이 통계적으로 사람이 운전하는것보다 안전하다는것입니다. 그리고 인공지능은 더 확장하며 100%에 가까운 "거의" 모든 경우에 잘 동작할것입니다.
많은 그루들은(일론머스크, 에릭슈미츠등) 인공지능은 설명 불가능하다는것을 알기 때문에 인공지능에 안전막이 필요하다고 말하는거에요.

아래 Hacker News 의견에 있는 것입니다.

• "Tesla의 자율주행은 극단적인 예로, 사고에 대한 책임을 지지 않음."
• "LLM이 재정 관리나 스마트 홈 제어를 맡길 수 있는지 의문임"

모델의 설명가능함을 따지지 않고 결과의 정확도만 따지면 우리가 어떻게 제품을 신뢰하고 사용하나요

너무 모호하게만 말씀하셔서 잘 이해가 되지 않는데, 모델 내부 동작도 "설명가능해야" 어느정도 수준의 검증이 가능하다는 것이 중요한 것 아닌가요?
kandik님 의견에 따르면 Functional Safety 존재 의의가 없어집니다.

사람의 마음은 설명 가능할까요? 사람의 마음을 설명 불가능한데, 신입사원은 어떻게 뽑는걸까요?
양자역학은 100%통계 모델이고, 그리고 그것은 세상을 잘 설명하고 있습니다.
"신뢰"라는것도 기술의 발전에 의해 개념이 달라질 수 있을거에요.

이래나 저래나 개발자들 입장에서는 피곤한 상황이 아닐수가 없습니다. 기껏 편하게 할려고 AI를 쓰는건데, 신뢰성을 위해서 테스트를 얼마나 더 엄격하게 해야하는지 모르니까요

제품을 만드는데 있어서 설명 가능한게 좋죠. 결국, 사람은 제품이 아니기 때문에 어떤 문제에 있어서 사람 자체에 책임을 물릴 수 있지만 제품은 하자가 있으면 만든 사람에게 책임을 물리니까요.

그래서 더더욱 테스트 환경을 현실에 가깝게 해서 할 필요성도 있는거기도 하죠. 원리를 모르니까 최대한 예외적인 상황이 없게끔 학습을 시키는 방법밖에 없으니까요