- 대규모 언어 모델(LLM) 이 단순한 단어 예측을 넘어 실제 이해와 사고의 형태를 보인다는 논의가 확산되고 있음
- 신경과학자 도리스 차오(Doris Tsao) 는 머신러닝이 지난 100년간의 신경과학보다 지능의 본질을 더 많이 밝혀냈다고 평가
- 딥러닝과 신경망 구조가 인간의 뇌 작동 원리를 모방하며, ‘이해=압축’ 이라는 개념으로 설명됨
- 더글러스 호프스태터(Douglas Hofstadter) 와 펜티 카네르바(Pentti Kanerva) 의 연구가 LLM의 ‘seeing as’ 인지 구조와 연결됨
- 인간과 유사한 학습 효율, 경험, 의식의 부재 등 AI의 한계와 윤리적 위험이 여전히 핵심 과제로 남음
AI 성능의 양극화 현상
- Anthropic CEO Dario Amodei는 2027년까지 생물학, 수학, 공학, 글쓰기 분야에서 노벨상 수상자보다 똑똑한 AI 등장을 예측
- 데이터센터 안에 "천재들의 나라"처럼 수백만 개의 모델 복사본이 각자 연구를 수행하는 비전 제시
- OpenAI의 Sam Altman은 업계가 "디지털 초지능" 구축 직전이며, 2030년대는 이전과 완전히 다른 시대가 될 것이라고 주장
- 현재 대부분의 사람들이 일상에서 사용하는 AI 도구는 과거 Microsoft Office의 Clippy처럼 제한적
- Zoom AI는 "회의 아이스브레이커는?" 같은 단순 제안만 제공
- Siri는 알림 설정 외 기능이 부족
- Gmail의 AI는 사용자가 가본 적 없는 터키 여행 이야기를 지어냄
- 급하고 불균등한 AI 출시로 과대광고일 뿐이라는 안개가 형성되었지만, 실제로는 상당한 진전이 있음
프로그래밍 분야에서의 AI 혁신
- 처음에는 AI가 진짜 지능이나 이해와 관계없다고 생각했지만, 프로그래머로 일하며 AI를 사용하게 되면서 관점이 바뀜
- 코드 작성은 AI가 가장 잘하는 작업으로, 산문보다 구조가 명확하고 자동 검증 가능
- 처음에는 정보 검색 대신 AI를 참조하다가, 점차 작고 독립적인 문제를 맡기고, 결국 평생 훈련받은 실제 업무를 AI에게 맡김
- AI 모델이 수천 줄 코드의 복잡한 세부사항을 몇 초 만에 소화
- 미묘한 버그를 발견하고 복잡한 새 기능을 조율
- AI 도구를 더 잘 활용하기 위한 빠르게 성장하는 팀으로 이동
- AI 에이전트가 휴가 예약이나 세금 신고는 실패하지만, 동료들은 대부분의 코드를 AI로 작성하고 때로는 여러 코딩 에이전트를 동시 실행
- 효과적 사용법을 익히면서 이제 한 달 걸리던 작업을 저녁 시간에 완료함
- iOS 앱 만드는 법을 모르면서 iOS 앱 두 개를 제작
대형 언어 모델의 강점과 약점
- 내 보스가 "면접은 약점의 부재가 아닌 강점을 탐색해야 한다"고 말한 것처럼, LLM도 많은 약점 존재
- 그럴듯한 허위 정보를 생성하는 환각 현상
- 사용자가 틀렸을 때도 복종적
- 단순한 퍼즐에 속음
- 과거 유창함, 유동성, 대화 내용 파악 능력은 성배로 여겨졌던 강점
- 이러한 강점을 직접 경험하면 "이해의 환상이 얼마나 설득력 있어야 환상이라고 부르지 않을까?" 의문 제기
- Max의 사례: 놀이터 스프링클러 수리
- 빨개진 얼굴의 아이들 앞에서 유틸리티 창고에서 복잡한 파이프와 밸브 미로 발견
- ChatGPT-4o에 사진과 문제 설명 입력
- AI가 관개 시스템의 역류 방지 시스템이라고 판단하고 아래쪽 노란 볼 밸브를 조작하라고 제안
- 성공적으로 물이 나오자 놀이터에서 환호성
신경과학과 AI의 수렴
- UC Berkeley 신경과학 교수 Doris Tsao: "기계학습의 발전이 지난 100년간 신경과학이 발견한 것보다 지능의 본질에 대해 더 많이 가르쳐줌"
- 원숭이가 얼굴을 인식하는 방식을 해독한 연구로 유명
- 원숭이가 특정 얼굴을 볼 때 어떤 뉴런이 발화할지 예측
- 발화하는 뉴런 패턴만으로 얼굴 렌더링 가능
- AI 모델 내부에서 얼굴이 표현되는 방식 연구에 기반
- Tsao의 질문: "ChatGPT에서 얻은 가장 깊은 통찰은?"
- 자신의 답: "사고를 근본적으로 탈신비화한다고 생각"
딥러닝의 역사와 발전
- 1980년대 인지심리학자와 컴퓨터과학자 팀(David Rumelhart, Geoffrey Hinton, James McClelland)이 기계에서 사고 시뮬레이션 시도
- UC San Diego에서 연구 그룹 형성
- 뇌를 뉴런이 패턴으로 발화하여 다른 뉴런 집합을 발화시키는 거대한 네트워크로 봄
- 이 패턴의 춤이 곧 사고
- 뉴런 간 연결 강도 변화를 통해 학습
- 인공 신경망 생성과 경사하강법(gradient descent) 알고리듬 적용으로 예측 정확도 향상
- 산꼭대기에서 계곡으로 내려가는 등산객에 비유: 매 걸음마다 내리막으로 가면 결국 도달
- 다른 AI 연구자들은 신경망이 실제 작업에 충분히 정교하지 않다고 회의적이었으나, 네트워크가 커지면서 이전에 해결 불가능했던 문제들 해결
- 손글씨 숫자 구분, 이미지 얼굴 인식에 전체 논문 투입했던 문제들을 딥러닝 알고리듬이 해결
- 딥러닝은 음성 인식, 번역, 이미지 캡션, 보드게임, 단백질 접힘 예측 문제까지 정복
Next-Token 예측과 학습 메커니즘
- 현재 주요 AI 모델은 인터넷의 상당 부분을 학습하며 next-token 예측 기법 사용
- 모델은 다음에 읽을 내용 추측 후 실제 나타나는 내용과 비교하며 학습
- 잘못된 추측은 뉴런 간 연결 강도 변화를 유발(경사하강법)
- 결국 모델이 텍스트 예측에 매우 능숙해져 지식을 가지고 있고 이해하는 것처럼 보임
- 생각해볼 점: 뇌 작동 원리의 비밀을 찾던 사람들이 모델을 뇌 크기로 키웠더니 뇌 같은 지능이 필요한 일을 시작
- 찾던 것을 발견한 게 아닐까?
AI 회의론에 대한 반박
- Ted Chiang는 2023년 New Yorker 기사 "ChatGPT Is a Blurry JPEG of the Web"에서 회의적 주장 제시
- ChatGPT는 그저 인터넷 전체를 프로그램에 입력하고 불완전하게 역류시키는 것
- 복사의 복사처럼 흐릿하지만, 지능적인 것처럼 속이기에 충분한 능력
- Emily M. Bender(언어학자)와 Alex Hanna(사회학자)의 책 "The AI Con"도 유사 주장
- Bender는 LLM을 "확률적 앵무새(stochastic parrots)"로 묘사
- The Atlantic의 Tyler Austin Harper: "대형 언어 모델은 어떤 것도 이해하지 못하고, 할 수 없고, 하지 않을 것"
- 모델은 "사고가 아닌 통계적으로 정보에 입각한 추측으로 글 생성"
- 이러한 기술적 논쟁과 함께 도덕적 논쟁도 제기
- AI는 권력자를 부유하게 만들고, 기후변화를 가속화할 만큼 에너지를 소비하며, 노동자를 소외시킴
- Harper 결론: "AI 산업의 기반은 사기"
신경과학자들의 재평가
- Harvard 인지과학자 Samuel J. Gershman: "'확률적 앵무새' 주장은 어느 시점에 끝나야 함"
- "가장 완고한 회의론자만이 이 시스템들이 우리 대부분이 달성될 것이라 생각하지 않았던 일을 하고 있다는 것을 부정할 수 있음"
- Princeton 인지신경과학자 Jonathan Cohen은 AI의 한계를 강조하면서도, LLM이 인간 뇌의 가장 크고 중요한 부분을 반영한다고 주장
- "1차 근사치로, 신피질이 딥러닝 메커니즘"
- 인간은 다른 동물에 비해 체구 대비 훨씬 큰 신피질 보유
- 가장 큰 신피질을 가진 종(코끼리, 돌고래, 고릴라, 침팬지, 개)이 가장 지능적
이해는 압축이고 압축은 이해
- 기계학습 연구자 Eric B. Baum의 2003년 책 "What Is Thought?" 핵심 주장
- 이해는 압축이고, 압축은 이해
- 통계학의 선형 회귀: 그래프의 점들에 "최적선(line of best fit)" 그리기
- 데이터에 근본적 규칙성이 있으면(신발 사이즈와 키), 최적선이 효율적으로 표현하고 새 점 예측
- 신피질은 원시 경험의 바다(소리, 시각, 기타 감각)를 "최적선"으로 증류하여 예측에 사용
- 아기가 장난감 맛이나 음식이 바닥에 떨어졌을 때 어디로 갈지 추측
- 예측이 틀리면 뉴런 간 연결 조정
- 시간이 지나면서 연결이 데이터의 규칙성 포착
- 세상의 압축된 모델 형성
AI 모델의 압축과 지능
- 인공 신경망도 실제 신경망처럼 경험을 압축
- 최고의 오픈소스 AI 모델 DeepSeek
- 소설 쓰기, 의학 진단 제안, 수십 개 언어로 원어민처럼 말하기 가능
- 여러 테라바이트 데이터로 next-token 예측 훈련
- 다운로드하면 원본의 600분의 1 크기
- 인터넷의 증류물, 노트북에 맞게 압축
- Ted Chiang가 초기 ChatGPT를 웹의 흐릿한 JPEG라고 부른 것이 맞지만, 저자는 이것이 모델을 점점 더 지능적으로 만든 이유라고 봄
- Chiang 자신도 지적: 수백만 개의 산술 예제가 담긴 텍스트 파일을 압축하려면 zip 파일이 아닌 계산기 프로그램을 작성해야 함
- "최고의 압축은 텍스트를 이해함으로써 달성 가능"
- LLM이 이것을 시작했을 가능성이 있음
사고의 다양한 종류
- 컴퓨터 프로그램이 실제로 이해하고 사고한다고 상상하는 것은 부자연스럽고 혐오스러울 수 있음
- 사고를 보통 의식적인 것으로 개념화
- Joyce식 내적 독백
- Proust식 몽상의 감각 기억 흐름
- 추론: 문제를 단계별로 해결
- AI 대화에서 이런 다양한 종류의 사고를 혼동하여 판단이 피상적이 됨
- ChatGPT는 Proust식 몽상을 하지 않으니 명백히 사고하지 않는다는 주장
- ChatGPT가 논리 퍼즐을 더 잘 풀 수 있으니 명백히 사고한다는 주장
- 더 미묘한 것이 진행 중: ChatGPT에 내면의 삶이 있다고 믿지 않지만 무슨 말을 하는지 아는 것처럼 보임
Douglas Hofstadter의 인식 이론
- Indiana University 인지과학 및 비교문학 교수
- "인지는 인식(cognition is recognition)"
- 1980년 Pulitzer Prize를 받은 "Gödel, Escher, Bach: An Eternal Golden Braid"로 유명
- 수십 년 연구를 통해 발전시킨 이론: "~로 보기(seeing as) 가 사고의 본질"
- 한 색깔 패치를 자동차로, 다른 것을 열쇠고리로 인식
- 어떤 폰트나 나쁜 필기체로 쓰여도 문자 "A" 인식
- 동일한 과정이 더 추상적인 인식의 기초
- 체스 마스터가 체스판 검토 시 수년간의 연습이 보는 방식으로 집약: 백의 비숍이 약함, 엔드게임은 아마 무승부
- 강의 소용돌이를 건너기 위험하다는 신호로 인식
- 참석한 회의에서 "벌거벗은 임금님" 상황으로 인식
- 저자의 2살 아들은 늦은 오전 유모차 산책이 크루아상 기회일 수 있다고 인식하고 요구
- Hofstadter에게 이것이 지능의 핵심
Pentti Kanerva의 고차원 공간 이론
- Hofstadter는 원래 AI 평가절하론자 중 한 명
- 대부분의 AI 연구가 실제 사고와 관계없다고 썼고, 2000년대 대학 시절 저자도 동의
- 예외: UC San Diego 그룹에 관심, 덜 알려진 핀란드계 미국인 인지과학자 Pentti Kanerva의 작업 존경
- Kanerva는 고차원 공간의 수학에서 특이한 속성 발견
- 고차원 공간에서 임의의 두 점은 매우 멀리 떨어져 있을 수 있음
- 역설적으로 각 점은 주변에 큰 이웃 구름을 가지므로 "충분히 가까이" 가면 쉽게 찾을 수 있음
- 이것이 기억 작동 방식을 연상시킴
- 1988년 책 "Sparse Distributed Memory"에서 생각, 감각, 회상이 고차원 공간의 좌표로 표현될 수 있다고 주장
- 뇌는 이런 것들을 저장하는 완벽한 하드웨어
- 모든 기억에는 일종의 주소가 있으며, 회상할 때 활성화되는 뉴런으로 정의
- 새 경험은 새 뉴런 집합을 발화시켜 새 주소 표현
- 두 주소는 여러 면에서 다를 수 있지만 다른 면에서 유사
- 하나의 지각이나 기억이 근처의 다른 기억들을 촉발
- 예시: 건초 냄새가 여름 캠프 기억 회상, 베토벤 5번 처음 세 음이 네 번째 음 예상, 본 적 없는 체스 포지션이 오래된 게임들 연상
Hofstadter의 전향
- Hofstadter는 Kanerva가 "seeing as 기계"를 묘사하고 있다고 깨달음
- Kanerva 책 서문: "Pentti Kanerva의 기억 모델은 나에게 계시였음. 뇌가 전체로서 어떻게 작동하는지 이해하는 먼 목표를 엿볼 수 있게 한 최초의 연구"
- 모든 종류의 사고(Joyce식, Proust식, 논리적)는 적절한 것이 적절한 시점에 떠오르는 것에 의존
- 우리가 어떤 상황에 있는지 파악하는 방법
- Kanerva의 책은 시야에서 사라지고, Hofstadter 자신의 명성도 퇴색
- 가끔 새 AI 시스템 비판으로만 등장
- 2018년 Google Translate 등에 대해: "이해(understanding) 라는 단어로 전달되는, 접근법에 여전히 깊이 결여된 것이 있음"
- GPT-4가 2023년 출시되자 Hofstadter의 전향 순간
- "시스템들이 하는 일 중 일부에 당황. 10년 전만 해도 상상할 수 없었을 것"
- 가장 완고한 평가절하론자도 더 이상 평가절하할 수 없음
- 전문가만큼 번역하고, 유추하고, 즉흥 연주하고, 일반화할 수 있는 프로그램
- 이해하지 못한다고 말할 수 없음
- "매우 사고와 유사한 일을 함. 다소 이질적인 방식이지만 사고한다고 말할 수 있음"
LLM의 고차원 벡터 공간
- LLM은 핵심에 "seeing as 기계" 보유
- 각 단어를 고차원 공간의 좌표(벡터)를 나타내는 일련의 숫자로 표현
- GPT-4에서 단어 벡터는 수천 개의 차원을 가지며, 다른 모든 단어와의 유사성 및 차이의 음영 묘사
- 훈련 중 모델은 예측 오류 발생 시 단어 좌표 조정
- 텍스트에서 함께 나타나는 단어들은 공간에서 더 가까이 이동
- 사용법과 의미의 놀랍도록 밀집된 표현 생성, 유추가 기하학의 문제가 됨
- 고전적 예시: "Paris" 단어 벡터에서 "France"를 빼고 "Italy"를 더하면 가장 가까운 다른 벡터는 "Rome"
- LLM은 이미지를 "벡터화"하여 내용, 분위기, 얼굴 표정까지 인코딩
- 특정 스타일로 다시 그리거나 문단 작성에 충분한 세부 사항
- Max가 놀이터 스프링클러 도움을 요청했을 때, 모델은 단순히 텍스트 토해내는 게 아님
- 배관 사진이 Max의 프롬프트와 함께 가장 중요한 특징을 포착하는 벡터로 압축
- 벡터가 근처 단어와 개념 호출을 위한 주소 역할
- 아이디어들이 차례로 다른 것들을 호출하며 모델이 상황 감각 구축
- 그 아이디어들을 "염두에 두고" 응답 작성
Anthropic의 내부 탐색 연구
- 저자가 Anthropic 연구원 Trenton Bricken의 인터뷰 읽음
- 동료들과 함께 Claude(Anthropic의 AI 모델 시리즈) 내부 탐색 작업
- 연구는 동료 검토나 과학 저널 출판되지 않음
- 팀이 Claude가 특정 내용을 말하려 할 때 활성화되는 인공 뉴런 앙상블 또는 "특징(features)" 식별
- 특징은 개념의 볼륨 노브처럼 작동
- 높이면 모델이 그것만 이야기
- 사고 통제 실험: Golden Gate Bridge 나타내는 특징 증폭 시 초콜릿 케이크 레시피 요청에 "1/4컵 마른 안개", "1컵 따뜻한 바닷물" 같은 재료 제안
- Bricken이 Google의 Transformer 아키텍처 언급
- 주요 AI 모델의 기초가 되는 신경망 구성 레시피
- ChatGPT의 "T"가 "Transformer" 의미
- Bricken 주장: Transformer 아키텍처 핵심의 수학이 수십 년 전 Pentti Kanerva가 "Sparse Distributed Memory"에서 제안한 모델과 매우 근사
신경과학과 AI의 상호 영향
- AI와 인간 뇌의 대응에 놀라야 할까?
- LLM은 심리학자와 신경과학자가 개발을 도운 인공 신경망
- 더 놀라운 것: 모델이 단순한 것(단어 예측) 연습했을 때 뇌와 유사한 방식으로 행동하기 시작
- 요즘 신경과학과 AI 분야가 얽히고 있음
- 뇌 전문가들이 AI를 일종의 모델 유기체로 사용
- MIT 신경과학자 Evelina Fedorenko: LLM을 사용해 뇌가 언어를 처리하는 방식 연구
- "평생 이런 종류의 것들에 대해 생각할 수 있을 거라고 생각하지 못했음. 충분히 좋은 모델을 갖게 될 거라고 생각하지 못했음"
- AI는 블랙박스라는 말이 흔하지만, 반대가 사실일 수 있음
- 과학자가 개별 인공 뉴런의 활동을 탐색하고 심지어 변경 가능
- Princeton 신경과학자 Kenneth Norman: "인간 지능 이론을 구현하는 작동 시스템 보유는 인지신경과학의 꿈"
- 해마(일화 기억 저장 뇌 영역)의 컴퓨터 모델 생성했지만 과거에는 너무 단순해 인간 마음에 들어올 수 있는 것의 조잡한 근사치만 입력 가능
- "이제 사람에게 주는 정확한 자극을 기억 모델에 줄 수 있음"
Wright 형제의 비유
- Wright 형제는 초기 비행기 제작 노력 중 새들 연구
- 새들이 바람을 향해 이륙한다는 점 발견(합리적 사람이라면 등 뒤에 바람을 원할 것으로 가정했을 것)
- 균형을 위해 날개 끝을 휘어뜨림
- 이 발견들이 초보적 글라이더 설계에 영향
- 이후 6피트 길이의 풍동 제작으로 정밀하게 통제된 조건에서 인공 날개 세트 테스트
- 다음 글라이더 비행은 훨씬 더 성공적
- 이상하게도, 작동하는 비행 기계를 만든 후에야 새들이 정확히 어떻게 하는지 이해 가능해짐
사고 자체의 풍동 실험
- AI는 과학자들이 사고 자체를 풍동에 놓을 수 있게 함
- Anthropic 연구원들의 논문 "On the Biology of a Large Language Model"(도발적 제목)
- Claude가 쿼리에 응답하는 것을 관찰하고 복잡한 계산을 함께 수행하는 특징의 연쇄인 "회로" 묘사
- 올바른 기억 호출이 사고를 향한 한 단계
- 회로에서 기억을 결합하고 조작하는 것은 또 다른 단계
- LLM에 대한 오래된 비판: 응답의 한 토큰씩 생성해야 하므로 계획하거나 추론할 수 없음
- Claude가 시에서 운율 맞는 연구절 완성 요청받으면, 회로가 새 줄의 마지막 단어를 먼저 고려하여 운율 보장
- 그런 다음 역방향으로 작업하여 전체 줄 작성
- Anthropic 연구원들은 이를 모델이 실제로 계획에 참여한다는 증거로 간주
- 조금만 눈을 가늘게 뜨면 마음의 내부 작동이 처음으로 시야에 들어온 것처럼 느껴질 수 있음
중간 회의론의 필요성
- Princeton 신경과학자 Norman: "내 걱정은 사람들이 '이것에 정말 회의적'에서 방어막을 완전히 내리는 것으로 비트를 뒤집은 것"
- "많은 것들이 여전히 해결되어야 함"
- 저자는 Norman이 말하는 사람들 중 한 명(Sparse Distributed Memory와 Anthropic 모델의 수렴에 너무 쉽게 감동받았을 수 있음)
- 지난 1~2년 동안 Geoffrey Hinton의 말을 믿기 시작: "딥러닝은 모든 것을 할 수 있을 것"(Hinton은 최근 AI 연구로 노벨상 수상)
- 그러나 더 큰 모델이 항상 더 나은 모델은 아님
- 크기 대비 모델 성능을 그린 곡선이 평평해지기 시작
- 모델이 아직 소화하지 않은 고품질 데이터 찾기 어려워지고, 컴퓨팅 파워가 점점 비싸짐
- GPT-5가 8월 출시되었을 때 단지 점진적 개선
- AI 투자 버블을 터뜨릴 위협이 될 만큼 심각한 실망
- 현재 순간은 중간 종류의 회의론 요구
- 오늘날의 AI 모델을 진지하게 받아들이되 어려운 문제가 남아있지 않다고 믿지 않는 것
인간처럼 효율적으로 학습하는 모델 설계
- 가장 중요한 문제: 인간만큼 효율적으로 학습하는 모델 설계 방법
- GPT-4는 훈련 중 수조 개의 단어에 노출된 것으로 추정
- 어린이는 유창해지는 데 수백만 개만 필요
- 인지과학자: 신생아의 뇌에는 학습을 가속화하는 특정 "귀납적 편향(inductive biases)" 있음
- 물론 뇌는 수백만 년 진화의 결과(그 자체가 일종의 훈련 데이터)
- 인간 아기는 세상이 물체로 구성되어 있고, 다른 존재가 믿음과 의도를 가진다는 기대 보유
- 엄마가 "바나나"라고 말하면, 유아는 그 단어를 끝이나 껍질이 아닌 그녀가 보고 있는 전체 노란 물체에 연결
- 유아는 작은 실험 수행: 이것을 먹을 수 있을까? 저것을 얼마나 멀리 던질 수 있을까?
- 욕망, 호기심, 좌절 같은 감정에 의해 동기 부여
- 어린이는 항상 능력을 조금 넘어선 것을 하려고 시도
- 학습이 효율적인 이유: 구현되고(embodied), 적응적이고, 의도적이며, 지속적
- 세상을 진정으로 이해하려면 그 안에 참여해야 할 수도
AI의 빈약한 경험
- AI의 경험은 너무 빈약해서 실제로 "경험"이라고 부를 수 없음
- 대형 언어 모델은 이미 엄청나게 정제된 데이터로 훈련
- UC Berkeley 신경과학자 Tsao: "작동하는 이유는 언어에 편승(piggybacking) 하고 있기 때문"
- 언어는 사전 씹힌 경험 같음
- 다른 종류의 데이터는 의미 밀도가 낮음
- Harvard 인지과학자 Gershman: "비디오 데이터에 대한 추론 측면에서 비슷한 혁명이 없었던 이유는?"
- 우리가 가진 종류의 비전 모델은 물리학에 대한 상식 추론에 여전히 어려움
- DeepMind의 최근 모델: 페인트가 올바르게 혼합되고 미로가 해결되는 비디오 생성 가능
- 그러나 유리가 깨지는 대신 튀어오르고, 밧줄이 물리학을 무시하고 매듭으로 으스러지는 모습도 묘사
- Microsoft Research의 인지신경과학자 Ida Momennejad: LLM에게 건물의 가상 안내를 제공한 후 경로와 지름길에 대한 질문을 하는 실험
- 인간에게 쉬운 공간적 추론
- 가장 기본적인 설정을 제외하고 AI는 실패하거나 존재하지 않는 경로를 환각하는 경향
- "정말 계획을 하는가? 그다지 그렇지 않음"
AI 산업의 사려 없는 질주
- 신경과학자들과의 대화에서 저자는 AI 산업이 다소 사려 없이 질주하고 있다는 우려 감지
- Princeton 인지과학자 Brenden M. Lake: 목표가 인간 마음만큼 유능한 인공 마음을 만드는 것이라면 "우리는 올바른 방식으로 시스템을 훈련하지 않고 있음"
- AI가 훈련을 마치면 신경망의 "뇌"가 동결
- 모델에 자신에 대한 사실을 말하면 뉴런을 다시 연결하지 않음
- 대신 조잡한 대체물 사용: 약간의 텍스트를 적어둠("사용자는 유아가 있고 프랑스어를 공부 중")
- 다른 지시를 내리기 전에 이것을 고려
- 인간의 뇌는 지속적으로 자체 업데이트
- 그 방법 중 하나에 대한 아름다운 이론: 잠잘 때 일화 기억에서 선택된 스냅샷이 신피질을 훈련시키기 위해 재생
- 고차원 사고 공간이 재생된 기억으로 인해 움푹 들어감
- 약간 새로운 보는 방식으로 깨어남
AI 커뮤니티의 문제점
- AI 커뮤니티는 맹렬한 진보에 너무 중독되어 재정적으로 투자되어 있어 때때로 발전이 불가피하고 할 과학이 남아있지 않은 척함
- 과학에는 때때로 정체되는 불편한 속성 있음
- Silicon Valley가 AI 회사를 "랩(labs)"이라 부르고 일부 직원을 "연구원"이라 부르지만, 근본적으로는 작동하는 것은 무엇이든 하는 엔지니어링 문화
- Cohen: "기계학습 커뮤니티가 그 이전의 역사와 인지과학을 보거나 존중하는 데 얼마나 신경 쓰지 않는지 너무 놀라움"
뇌와의 근본적 차이
- 오늘날의 AI 모델은 수십 년 전 뇌에 대한 발견 덕분에 성공했지만 여전히 뇌와 깊이 다름
- 어떤 차이가 부수적이고 어떤 것이 근본적인가?
- 모든 신경과학자 그룹에 자신만의 이론 있음
- 이러한 이론들이 전에는 불가능했던 방식으로 테스트될 수 있음
- 그러나 쉬운 답변 기대하는 사람은 없음
- AI 모델을 계속 괴롭히는 문제들은 "모델이 우리가 원하는 만큼 지능적으로 행동하지 않는 방식을 신중하게 식별한 다음 해결함으로써 해결"됨
- "그것은 여전히 루프 안의 인간-과학자 과정"
Human Genome Project와의 비교
- 1990년대 수십억 달러가 Human Genome Project에 투입
- DNA 시퀀싱이 의학의 가장 골치 아픈 문제(암, 유전 질환, 심지어 노화) 해결할 수 있다는 가정
- 허세와 자신감의 시대
- 복제 양 Dolly와 "Jurassic Park" 시대
- 생명공학이 우세하고 평론가들이 인간이 신 역할을 해야 하는지 고민
- 생물학자들은 곧 현실이 더 복잡하다는 것을 발견
- 암을 치료하거나 알츠하이머나 자폐증의 원인을 발견하지 못함
- DNA가 생명 이야기의 한 부분만 말한다는 것을 배움
- 실제로 생물학이 일종의 유전자 열풍에 휩쓸렸다고 주장 가능
- DNA를 연구하고 이해할 수단이 있었기 때문에 DNA에 집착
- 그러나 1953년 Francis Crick이 DNA 구조 확인을 도운 날 Cambridge 펍에 들어가 "생명의 비밀을 발견했다"고 말한 것이 틀렸다고 주장할 사람은 없음
- 그와 동료들은 거의 누구보다도 생명을 탈신비화하는 데 더 많은 일을 함
- 그들의 발견 이후 수십 년은 과학 역사상 가장 생산적이고 흥미진진한 시기 중 하나
- DNA는 가정용어가 되었고, 모든 고등학생이 이중 나선에 대해 배움
AI 시대의 전망과 우려
- AI에서도 다시 허세와 자신감의 순간에 있음
- Sam Altman은 미국에 AI 데이터센터의 새 클러스터인 Stargate 구축을 위해 반 조 달러 모금을 이야기
- 사람들은 근거가 없고 심지어 우스꽝스러워 보일 수 있는 중대함과 긴급함으로 초지능 경쟁을 논의
- 저자의 의심: Amodei와 Altman 같은 사람들이 메시아적 선언을 하는 이유는 지능의 기본 그림이 해결되었다고 믿기 때문
- 나머지는 단지 세부 사항
신경과학자들의 엇갈린 반응
- 일부 신경과학자들도 중요한 임계점이 넘어섰다고 믿음
- Princeton의 Uri Hasson: "신경망이 인지의 올바른 모델일 수 있다고 정말 생각함"
- 이것이 그를 흥분시키는 만큼 화나게 함
- Hasson: "대부분 사람들과 반대 걱정이 있음"
- "내 걱정은 이 모델들이 우리와 유사하다는 것이 아님. 우리가 이 모델들과 유사하다는 것"
- 단순한 훈련 기술이 프로그램을 인간처럼 행동하게 할 수 있다면, 인간이 우리가 생각했던 것만큼 특별하지 않을 수도
- 이는 또한 AI가 지식뿐만 아니라 판단력, 독창성, 교활함에서도 우리를 능가하고 결과적으로 권력에서도 능가할 수 있다는 의미일 수 있음
- Hasson: "요즘 뇌가 어떻게 작동하는지 이해하는 데 성공할까 봐 걱정함"
- "이 질문을 추구하는 것이 인류에게 엄청난 실수였을 수 있음"
- AI 연구자들을 1930년대 핵 과학자들에 비유
- "이것은 이 사람들의 삶에서 가장 흥미로운 시기. 동시에 그들이 작업하고 있는 것이 인류에게 중대한 함의를 가진다는 것을 앎. 그러나 배우려는 호기심 때문에 멈출 수 없음"
Hofstadter의 복잡한 감정
- 저자가 좋아하는 Hofstadter의 책: "Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought"
- 대학 시절 저자를 전율시킴
- 전제: "사고란 무엇인가?" 같은 질문이 단순히 철학적일 뿐만 아니라 실제 답이 있음
- 1995년 출판 당시, Hofstadter와 연구 그룹은 답이 무엇일지만 암시할 수 있었음
- 저자는 AI 연구자들이 Hofstadter가 갈망했던 것, 즉 사고의 기초에 대한 기계적 설명을 달성했을 수 있다는 점에서 Hofstadter가 흥분할지 궁금했음
- 그러나 대화에서 Hofstadter는 깊이 실망하고 두려워하는 것처럼 들렸음
- 현재 AI 연구는 "내 많은 아이디어를 확인하지만, 인류가 무엇인지의 아름다움을 앗아감"
- "훨씬 더 젊었을 때, 창의성의 기초, 창의성의 메커니즘을 알고 싶었음. 그것이 나에게 성배였음. 하지만 이제는 그것이 미스터리로 남기를 원함"
- 사고의 비밀이 누구나 예상했던 것보다 더 단순할 수 있음
- 고등학생이나 심지어 기계도 이해할 수 있는 종류의 것일지도