GN⁺: 현재 AI는 막다른 길인가?

현재 AI의 한계와 문제점

AI를 심각한 용도로 사용하기 어려운 이유

• 소프트웨어 공학 관점에서 현재 AI 시스템은 복잡성과 규모를 효과적으로 관리하기 어렵기 때문에 신뢰성이 부족함
• 영향력 있는 소프트웨어는 투명성, 관리 가능성, 책임성을 갖춰야 하지만 현재 AI는 이를 충족하지 못함
• 데이터의 출처에 대한 책임이 부족하고, AI 알고리즘의 결과에 대한 책임도 애매함
• '설명 가능한 AI'와 편향 완화 시도가 있었으나 근본적인 데이터 책임 문제와 엔지니어링 난이도는 여전히 해결되지 않음

신경망 기반 AI의 작동 방식

• 현재 AI는 대규모 신경망(LLM, Generative AI 등)에 기반하며, 수백만 개의 뉴런이 상호 연결됨
• 학습은 주로 비지도 학습 또는 자가 지도 학습 방식으로 이루어지며, 인적 개입은 최소화됨
• 시스템의 기능은 주어진 데이터를 학습하여 출력 목표를 충족하도록 훈련하는 과정에서 결정됨
• 방대한 연산 자원이 필요하며, 이는 비용 및 에너지 소모가 매우 큼

신경망의 비구조적 특성과 '발현적 행동'

• 현재 AI 시스템은 발현적 행동을 보이며, 개별 뉴런의 수학적 정의로는 전체 시스템의 작동을 설명하기 어려움
• 시스템 내부 구조는 기능과 의미 있는 연관성을 가지지 않아 재사용이나 모듈화 개발이 불가능함
• 중간 모델이나 단계적 개발 방식이 없으며, 시스템의 이유와 논리를 설명하기 어려움
• '사람이 중재하는 방식'도 시스템 결과를 설명하는 데 실질적인 도움이 되지 않음

소프트웨어 공학에서의 구성적 접근과 AI의 문제

• 구성적 접근(compositionality)은 개별 부품의 의미와 결합 방식을 이해하여 시스템 전체를 설명하는 방식임
• 현재 AI는 이러한 접근 방식을 지원하지 않으며, 다음과 같은 문제를 초래함:
  • 내부 구조가 의미를 갖지 않아 기능적 재사용 불가
  • 단계적 개발이나 검증이 불가능
  • 명시적 지식 모델이 없어 시스템이 '이유'를 설명할 수 없음

검증의 한계

• 현재 AI 시스템은 입력 및 상태 공간이 지나치게 커서 포괄적 테스트가 불가능함
• 확률적 시스템의 올바른 출력은 해당 입력에 대한 가능성을 보여줄 뿐, 항상 신뢰할 수 있는 결과를 보장하지 않음
• 유닛 테스트나 통합 테스트와 같은 부분 검증이 불가능하며, 시스템 전체 검증만 가능
• 시스템 전체를 테스트해도 커버리지가 부족하여 신뢰성을 확보하기 어려움

오류와 수정의 문제

• 훈련 데이터의 부족이나 입력 데이터의 불완전성으로 인해 오류 발생 가능
• 오류 수정을 위해 재훈련을 하더라도 국소화된 수정이 불가능하며, 회귀 테스트도 어려움
• 새로운 오류가 도입될 가능성이 크며, 이를 발견하기 어려움

결론과 제안

• 현재 AI 시스템은 신뢰성과 안전성이 부족하여 심각한 응용에 사용하기에는 부적합함
• 현재 기술은 훈련 데이터와 연산 자원의 증가로 제한적인 개선만 가능하며, 근본적인 신뢰성 향상은 이루어지지 않음
• 제안:
  • 신경망과 상징적 AI를 결합한 하이브리드 시스템 개발
  • 명시적 지식 모델과 신뢰도 수준을 생성하거나 기존 데이터 검색 및 증명 기법과 결합
  • 오류를 신뢰성 있게 관리할 수 있는 제한된 영역에서 사용
  • 확률적 예측이 적합한 날씨 예측 등 특정 분야에서 활용

[jjw9512151]

핵심은 현재의 ai가 아무런 연역적 검증없이 어제까지 안전했고 오늘도 안전하니 내일도 안전할거야라는 귀납적인 검증에 의존한다는거죠.

흑조이론처럼 어느날 치명적 이상현상이 발생할 가능성은 여전히 존재하고 어찌보면 아전은 운에 의존하고있는것입니다.

기존의 소프트웨어 공학에서는 이러한문제를 개별요소를 식별 분석하고 시나리오와 테스트수립을 통해서 단위별로 연역적으로 검증하는것이 가능했는데 ai에서는 아직 완전히 불가능하니깐요.

[kandk]

이미 테슬라 자율주행에서 해결하고 있는 문제..

[joon14]

모델이 시스템 검증이 불가능해 신뢰도가 100%에 도달할 수 없는게 큰 문제처럼 읽히는데, 자율주행에서 어떤 식으로 해결을 하고 있나요?

[kandk]

테슬라가 AI를 진짜 현실 세계에 적용하는 표본을 보여주고 있습니다.

[kandk]

뭐든 100%는 불가능하죠. 100%는 사기 혹은 환상입니다.
여느 스타트업처럼 step by step, agile하게 진행합니다.
문제상황에 remote control할 수도 있고, 현재는 supervised로 돌리고 있죠.

[ytuniverse]

신뢰도 100%라는 수치 자체가 문제가 아니라, 모델 구조가 explainable하지 않다는 것이 쟁점 아닌가요?
모델의 추론 결과에 대해 현재의 딥러닝, 특히 신경망 모델 베이스들은 내부 구조 제시만으로는 설명이 어려운 것들이 많다가 핵심인 듯 합니다.

최근에야 여러 연구와 anthropic 사 등에서 black box를 해결하는 방법을 제시하고 있긴해서 조만간 또 해결될 문제일 것 같긴 하네요

[kandk]

100%든 설명가능하는것이든 환상이라고 생각합니다.
"중국어 방" 논증처럼 중요한건, 결과적으로 테슬라 자율주행이 통계적으로 사람이 운전하는것보다 안전하다는것입니다. 그리고 인공지능은 더 확장하며 100%에 가까운 "거의" 모든 경우에 잘 동작할것입니다.
많은 그루들은(일론머스크, 에릭슈미츠등) 인공지능은 설명 불가능하다는것을 알기 때문에 인공지능에 안전막이 필요하다고 말하는거에요.

[ytuniverse]

아래 Hacker News 의견에 있는 것입니다.

• "Tesla의 자율주행은 극단적인 예로, 사고에 대한 책임을 지지 않음."
• "LLM이 재정 관리나 스마트 홈 제어를 맡길 수 있는지 의문임"

모델의 설명가능함을 따지지 않고 결과의 정확도만 따지면 우리가 어떻게 제품을 신뢰하고 사용하나요

[ytuniverse]

너무 모호하게만 말씀하셔서 잘 이해가 되지 않는데, 모델 내부 동작도 "설명가능해야" 어느정도 수준의 검증이 가능하다는 것이 중요한 것 아닌가요?
kandik님 의견에 따르면 Functional Safety 존재 의의가 없어집니다.

[kandk]

사람의 마음은 설명 가능할까요? 사람의 마음을 설명 불가능한데, 신입사원은 어떻게 뽑는걸까요?
양자역학은 100%통계 모델이고, 그리고 그것은 세상을 잘 설명하고 있습니다.
"신뢰"라는것도 기술의 발전에 의해 개념이 달라질 수 있을거에요.

[taeunlee99]

이래나 저래나 개발자들 입장에서는 피곤한 상황이 아닐수가 없습니다. 기껏 편하게 할려고 AI를 쓰는건데, 신뢰성을 위해서 테스트를 얼마나 더 엄격하게 해야하는지 모르니까요

[taeunlee99]

제품을 만드는데 있어서 설명 가능한게 좋죠. 결국, 사람은 제품이 아니기 때문에 어떤 문제에 있어서 사람 자체에 책임을 물릴 수 있지만 제품은 하자가 있으면 만든 사람에게 책임을 물리니까요.

그래서 더더욱 테스트 환경을 현실에 가깝게 해서 할 필요성도 있는거기도 하죠. 원리를 모르니까 최대한 예외적인 상황이 없게끔 학습을 시키는 방법밖에 없으니까요

[neo]

Hacker News 의견

• 1990년대 중반부터 신경망의 발전을 지켜보았으며, 신경망의 각 단계가 막다른 길에 도달했다고 관찰함. 이는 수학적 접근 방식이 직관적 이해를 방해하기 때문임. LLM이 의미 검색을 쉽게 만들어 흥미로움.

  • AI 시스템의 기능과 의미가 연결되지 않음. 이는 책임 있는 사용을 방해함.
  • 대기업들은 LLM을 내부 업무에 제한적으로 사용하며, 고객 서비스에 활용함.
  • LLM의 오류는 고객에게 전가되며, AI 산업에서 책임 회피가 만연함.
  • Tesla의 자율주행은 극단적인 예로, 사고에 대한 책임을 지지 않음.
  • AI 산업은 법적, 정치적으로 책임을 회피하기 위해 노력 중임.

• 현재 AI 시스템의 확장 가능성을 예측할 수 없음. 인간 뇌와 비교할 때 신경 연결 수가 매우 적음.

  • 오늘날의 AI 시스템은 갈색 쥐의 뇌와 비슷한 신경 연결 수를 가짐.
  • 현재 AI 시스템은 신뢰할 수 없음.

• LLM 기반 AI는 소프트웨어 개발 관점에서 결함이 있으며, 중요한 응용 프로그램에 적합하지 않음.

  • LLM이 재정 관리나 스마트 홈 제어를 맡길 수 있는지 의문임.
  • 인간과 자율 시스템에 대한 기대가 다름.

• 인간은 중요한 작업에서도 실수를 하며, AI 시스템도 마찬가지임.

  • 인간 전문가의 의견 일치가 낮은 경우도 있음.
  • LLM이 비용 대비 효율적이라면 사용하지 않을 이유가 없음.

• AI를 적극적으로 사용 중이며, 개인 프로젝트에서 큰 도움을 받음.

  • Wikipedia와 유사하게 AI의 유용성을 부정하는 심리가 존재함.

• 데이터 확장이 더 이상 큰 보상을 주지 않음. LLM은 AGI로 가는 길이 아님.

  • LLM은 API 호출 생성 등에서 유용하지만, 대규모 프로젝트에 사용하기에는 위험함.
  • 자유로운 브레인스토밍에서는 더 유용할 수 있음.

• AI가 지능을 대표하는지에 대한 논의가 많음. 인간의 뇌도 신뢰할 수 없으며, 사이버 보안에서 LLM의 적합성을 논의함.