▲

GN⁺: 현재 AI는 막다른 길인가?

 (bcs.org)
5P by neo 2일전 | favorite | 댓글 1개

현재 AI의 한계와 문제점

AI를 심각한 용도로 사용하기 어려운 이유

  • 소프트웨어 공학 관점에서 현재 AI 시스템은 복잡성과 규모를 효과적으로 관리하기 어렵기 때문에 신뢰성이 부족함
  • 영향력 있는 소프트웨어는 투명성, 관리 가능성, 책임성을 갖춰야 하지만 현재 AI는 이를 충족하지 못함
  • 데이터의 출처에 대한 책임이 부족하고, AI 알고리즘의 결과에 대한 책임도 애매함
  • '설명 가능한 AI'와 편향 완화 시도가 있었으나 근본적인 데이터 책임 문제와 엔지니어링 난이도는 여전히 해결되지 않음

신경망 기반 AI의 작동 방식

  • 현재 AI는 대규모 신경망(LLM, Generative AI 등)에 기반하며, 수백만 개의 뉴런이 상호 연결됨
  • 학습은 주로 비지도 학습 또는 자가 지도 학습 방식으로 이루어지며, 인적 개입은 최소화됨
  • 시스템의 기능은 주어진 데이터를 학습하여 출력 목표를 충족하도록 훈련하는 과정에서 결정됨
  • 방대한 연산 자원이 필요하며, 이는 비용 및 에너지 소모가 매우 큼

신경망의 비구조적 특성과 '발현적 행동'

  • 현재 AI 시스템은 발현적 행동을 보이며, 개별 뉴런의 수학적 정의로는 전체 시스템의 작동을 설명하기 어려움
  • 시스템 내부 구조는 기능과 의미 있는 연관성을 가지지 않아 재사용이나 모듈화 개발이 불가능함
  • 중간 모델이나 단계적 개발 방식이 없으며, 시스템의 이유와 논리를 설명하기 어려움
  • '사람이 중재하는 방식'도 시스템 결과를 설명하는 데 실질적인 도움이 되지 않음

소프트웨어 공학에서의 구성적 접근과 AI의 문제

  • 구성적 접근(compositionality)은 개별 부품의 의미와 결합 방식을 이해하여 시스템 전체를 설명하는 방식임
  • 현재 AI는 이러한 접근 방식을 지원하지 않으며, 다음과 같은 문제를 초래함:
    • 내부 구조가 의미를 갖지 않아 기능적 재사용 불가
    • 단계적 개발이나 검증이 불가능
    • 명시적 지식 모델이 없어 시스템이 '이유'를 설명할 수 없음

검증의 한계

  • 현재 AI 시스템은 입력 및 상태 공간이 지나치게 커서 포괄적 테스트가 불가능함
  • 확률적 시스템의 올바른 출력은 해당 입력에 대한 가능성을 보여줄 뿐, 항상 신뢰할 수 있는 결과를 보장하지 않음
  • 유닛 테스트나 통합 테스트와 같은 부분 검증이 불가능하며, 시스템 전체 검증만 가능
  • 시스템 전체를 테스트해도 커버리지가 부족하여 신뢰성을 확보하기 어려움

오류와 수정의 문제

  • 훈련 데이터의 부족이나 입력 데이터의 불완전성으로 인해 오류 발생 가능
  • 오류 수정을 위해 재훈련을 하더라도 국소화된 수정이 불가능하며, 회귀 테스트도 어려움
  • 새로운 오류가 도입될 가능성이 크며, 이를 발견하기 어려움

결론과 제안

  • 현재 AI 시스템은 신뢰성과 안전성이 부족하여 심각한 응용에 사용하기에는 부적합함
  • 현재 기술은 훈련 데이터와 연산 자원의 증가로 제한적인 개선만 가능하며, 근본적인 신뢰성 향상은 이루어지지 않음
  • 제안:
    • 신경망과 상징적 AI를 결합한 하이브리드 시스템 개발
    • 명시적 지식 모델과 신뢰도 수준을 생성하거나 기존 데이터 검색 및 증명 기법과 결합
    • 오류를 신뢰성 있게 관리할 수 있는 제한된 영역에서 사용
    • 확률적 예측이 적합한 날씨 예측 등 특정 분야에서 활용
▲
neo 2일전  [-]
Hacker News 의견

  • 1990년대 중반부터 신경망의 발전을 지켜보았으며, 신경망의 각 단계가 막다른 길에 도달했다고 관찰함. 이는 수학적 접근 방식이 직관적 이해를 방해하기 때문임. LLM이 의미 검색을 쉽게 만들어 흥미로움.

    • AI 시스템의 기능과 의미가 연결되지 않음. 이는 책임 있는 사용을 방해함.
    • 대기업들은 LLM을 내부 업무에 제한적으로 사용하며, 고객 서비스에 활용함.
    • LLM의 오류는 고객에게 전가되며, AI 산업에서 책임 회피가 만연함.
    • Tesla의 자율주행은 극단적인 예로, 사고에 대한 책임을 지지 않음.
    • AI 산업은 법적, 정치적으로 책임을 회피하기 위해 노력 중임.

  • 현재 AI 시스템의 확장 가능성을 예측할 수 없음. 인간 뇌와 비교할 때 신경 연결 수가 매우 적음.

    • 오늘날의 AI 시스템은 갈색 쥐의 뇌와 비슷한 신경 연결 수를 가짐.
    • 현재 AI 시스템은 신뢰할 수 없음.

  • LLM 기반 AI는 소프트웨어 개발 관점에서 결함이 있으며, 중요한 응용 프로그램에 적합하지 않음.

    • LLM이 재정 관리나 스마트 홈 제어를 맡길 수 있는지 의문임.
    • 인간과 자율 시스템에 대한 기대가 다름.

  • 인간은 중요한 작업에서도 실수를 하며, AI 시스템도 마찬가지임.

    • 인간 전문가의 의견 일치가 낮은 경우도 있음.
    • LLM이 비용 대비 효율적이라면 사용하지 않을 이유가 없음.

  • AI를 적극적으로 사용 중이며, 개인 프로젝트에서 큰 도움을 받음.

    • Wikipedia와 유사하게 AI의 유용성을 부정하는 심리가 존재함.

  • 데이터 확장이 더 이상 큰 보상을 주지 않음. LLM은 AGI로 가는 길이 아님.

    • LLM은 API 호출 생성 등에서 유용하지만, 대규모 프로젝트에 사용하기에는 위험함.
    • 자유로운 브레인스토밍에서는 더 유용할 수 있음.

  • AI가 지능을 대표하는지에 대한 논의가 많음. 인간의 뇌도 신뢰할 수 없으며, 사이버 보안에서 LLM의 적합성을 논의함.

답변달기