현재 AI의 한계와 문제점
AI를 심각한 용도로 사용하기 어려운 이유
- 소프트웨어 공학 관점에서 현재 AI 시스템은 복잡성과 규모를 효과적으로 관리하기 어렵기 때문에 신뢰성이 부족함
- 영향력 있는 소프트웨어는 투명성, 관리 가능성, 책임성을 갖춰야 하지만 현재 AI는 이를 충족하지 못함
- 데이터의 출처에 대한 책임이 부족하고, AI 알고리즘의 결과에 대한 책임도 애매함
- '설명 가능한 AI'와 편향 완화 시도가 있었으나 근본적인 데이터 책임 문제와 엔지니어링 난이도는 여전히 해결되지 않음
신경망 기반 AI의 작동 방식
- 현재 AI는 대규모 신경망(LLM, Generative AI 등)에 기반하며, 수백만 개의 뉴런이 상호 연결됨
- 학습은 주로 비지도 학습 또는 자가 지도 학습 방식으로 이루어지며, 인적 개입은 최소화됨
- 시스템의 기능은 주어진 데이터를 학습하여 출력 목표를 충족하도록 훈련하는 과정에서 결정됨
- 방대한 연산 자원이 필요하며, 이는 비용 및 에너지 소모가 매우 큼
신경망의 비구조적 특성과 '발현적 행동'
- 현재 AI 시스템은 발현적 행동을 보이며, 개별 뉴런의 수학적 정의로는 전체 시스템의 작동을 설명하기 어려움
- 시스템 내부 구조는 기능과 의미 있는 연관성을 가지지 않아 재사용이나 모듈화 개발이 불가능함
- 중간 모델이나 단계적 개발 방식이 없으며, 시스템의 이유와 논리를 설명하기 어려움
- '사람이 중재하는 방식'도 시스템 결과를 설명하는 데 실질적인 도움이 되지 않음
소프트웨어 공학에서의 구성적 접근과 AI의 문제
- 구성적 접근(compositionality)은 개별 부품의 의미와 결합 방식을 이해하여 시스템 전체를 설명하는 방식임
- 현재 AI는 이러한 접근 방식을 지원하지 않으며, 다음과 같은 문제를 초래함:
- 내부 구조가 의미를 갖지 않아 기능적 재사용 불가
- 단계적 개발이나 검증이 불가능
- 명시적 지식 모델이 없어 시스템이 '이유'를 설명할 수 없음
검증의 한계
- 현재 AI 시스템은 입력 및 상태 공간이 지나치게 커서 포괄적 테스트가 불가능함
- 확률적 시스템의 올바른 출력은 해당 입력에 대한 가능성을 보여줄 뿐, 항상 신뢰할 수 있는 결과를 보장하지 않음
- 유닛 테스트나 통합 테스트와 같은 부분 검증이 불가능하며, 시스템 전체 검증만 가능
- 시스템 전체를 테스트해도 커버리지가 부족하여 신뢰성을 확보하기 어려움
오류와 수정의 문제
- 훈련 데이터의 부족이나 입력 데이터의 불완전성으로 인해 오류 발생 가능
- 오류 수정을 위해 재훈련을 하더라도 국소화된 수정이 불가능하며, 회귀 테스트도 어려움
- 새로운 오류가 도입될 가능성이 크며, 이를 발견하기 어려움
결론과 제안
- 현재 AI 시스템은 신뢰성과 안전성이 부족하여 심각한 응용에 사용하기에는 부적합함
- 현재 기술은 훈련 데이터와 연산 자원의 증가로 제한적인 개선만 가능하며, 근본적인 신뢰성 향상은 이루어지지 않음
- 제안:
- 신경망과 상징적 AI를 결합한 하이브리드 시스템 개발
- 명시적 지식 모델과 신뢰도 수준을 생성하거나 기존 데이터 검색 및 증명 기법과 결합
- 오류를 신뢰성 있게 관리할 수 있는 제한된 영역에서 사용
- 확률적 예측이 적합한 날씨 예측 등 특정 분야에서 활용