▲

아인슈타인 AI 모델 - AI가 과학적 혁신을 이끌 수 있을까?

 (thomwolf.io)
22P by GN⁺ 23일전 | ★ favorite | 댓글 5개
  • HuggingFace의 공동창업자 Thomas Wolf는 AI가 과학에서의 급격한 발전, 즉 "압축된 21세기"를 가져오지 않을 것이라고 주장
  • "압축된 21세기"는 Dario Amodei의 "Machine of Loving Grace"에서 나온 개념으로, AI가 데이터 센터에서 수많은 아인슈타인과 같은 역할을 하며 5~10년 만에 21세기의 모든 과학적 발견을 이루어낼 것이라는 주장임
  • 처음에는 이 아이디어에 감명받았고 "AI가 과학의 모든 것을 5년 안에 바꿀 것이다!"라고 생각했지만, 재차 읽으면서 이는 많은 부분이 희망적 사고(wishful thinking)처럼 보였음

AI는 천재가 아니라 'Yes맨'

  • 실제로 우리가 얻게 될 것은 "서버에 있는 Yes맨의 나라"일 것이라고 생각함 (현재 추세가 이어진다면)
  • 이 차이를 설명하기 위해 개인적인 이야기를 소개함
    • 나는 항상 성적이 우수한 학생이었음
    • 작은 마을에서 자랐고, 프랑스 최고의 공과대학에 입학한 뒤 MIT에서 박사 과정에 합격함
    • 학교 공부는 항상 쉬웠음
      • 교수의 설명이 어디로 향하는지, 시험 출제자가 어떤 질문을 할지 미리 예측할 수 있었음
    • 결국 연구자(박사 과정 학생)가 되었을 때 나는 큰 충격을 받음
      • 나는 평균 이하의, 기대에 못 미치는, 평범한 연구자였음
      • 동료들은 흥미로운 아이디어를 많이 냈지만, 나는 항상 벽에 부딪히곤 했음
      • 책에 쓰여 있지 않은 것은 스스로 발명할 수 없었음 (그나마도 쓸모없는 기존 이론의 변형에 불과함)
      • 더 큰 문제는 배운 지식을 의심하고 현 상태를 도전하는 것이 매우 어려웠음
      • 나는 아인슈타인이 아니었고, 단지 학교 공부를 잘한 학생이었음
      • 어쩌면 내가 아인슈타인이 아니었던 이유는 학교에서 공부를 잘했기 때문일지도 모름
  • 역사 속 천재들은 학업에서 어려움을 겪은 경우가 많음
    • 에디슨은 교사에게 "멍청하다(addled)"는 평가를 받음
    • 바버라 맥클린톡은 "기이한 생각"을 한다고 비판받았지만 노벨상을 수상함
    • 아인슈타인은 취리히 공대 입학시험에서 첫 시도에 실패함
    • 이런 사례는 무수히 많음
  • 사람들이 흔히 저지르는 실수는 뉴턴이나 아인슈타인이 단순히 '확장된 우등생'이었다고 생각하는 것임
    • 즉, 상위 10% 학생을 선형적으로 확장하면 천재가 탄생한다고 잘못 추측함
  • 이 관점은 과학에서 가장 중요한 능력을 놓치고 있음
    • 올바른 질문을 던지고, 배운 지식조차 도전하는 능력이 진정한 과학적 돌파구의 핵심임
    • 실제 과학의 돌파구는 코페르니쿠스가 당시의 모든 지식을 거스르고 지구가 태양을 도는 것을 제안한 것에서 비롯됨
      • 머신러닝 용어로 표현하자면 "모든 훈련 데이터에도 불구하고" 기존 상식을 거스른 것임

아인슈타인을 만드는 방법

  • 데이터 센터에서 아인슈타인을 만들기 위해 필요한 것은 단순히 모든 답을 아는 시스템이 아님
    • 다른 사람이 생각조차 하지 못한 질문을 던지는 시스템이어야 함
    • 모든 교과서, 전문가, 상식이 반대할 때 "만약 이게 다 틀렸다면?"이라고 질문할 수 있어야 함
  • 특수상대성이론의 급진적 패러다임 전환을 생각해보자
    • "모든 기준틀에서 빛의 속도가 일정하다고 가정하자"라는 첫 번째 공리를 세울 때의 용기가 필요함
    • 이는 당시 상식(그리고 오늘날의 직관)조차 거스르는 일이었음
  • CRISPR은 1980년대부터 세균의 적응성 면역 체계로 알려져 있었음
    • 그러나 발견 후 25년이 지난 뒤 Jennifer Doudna와 Emmanuelle Charpentier가 이를 유전자 편집에 사용할 수 있다고 제안하면서 노벨상을 받음
    • "우리는 XX가 YY를 한다는 것을 수년간 알고 있었지만, 만약 우리가 잘못 알고 있었다면? 또는 이것을 완전히 다른 개념인 ZZ에 적용할 수 있다면?"
      • 이러한 깨달음이 바로 기존 지식을 벗어난 사고(outside-of-knowledge thinking) 이자 패러다임 전환(paradigm shift) 의 본질임
      • 이는 과학적 진보를 이루는 핵심 메커니즘임
  • 이런 패러다임 전환은 드물게 발생함 (연간 1~2회 정도)
    • 이런 돌파구는 영향이 확인된 후 보통 노벨상으로 이어짐
  • 드물지만, Dario의 주장에 동의함
    • 과학 발전에서 가장 큰 비중을 차지하는 것은 이런 패러다임 전환이며, 나머지는 대부분 잡음에 불과함

AI가 과학 혁신을 이루기 어려운 이유

  • 현재 AI의 성능은 이미 존재하는 지식을 학습하고 답변하는 능력에 초점이 맞춰져 있음
  • 현재 AI 모델의 지능 개선을 평가하는 방식은 제한적
    • 가장 최근의 AI 테스트로는 "Humanity's Last Exam"이나 "Frontier Math" 같은 것이 있음
      • 매우 어려운 질문들로 구성되어 있으며, 일반적으로 박사급 연구자들이 작성함
      • 그러나 명확하고 닫힌 형태의 정답이 존재함
  • 이런 시험은 내가 학창 시절에 잘했던 종류의 시험과 동일함
    • 이미 답이 알려진 문제에 대해 정확한 답을 찾는 능력을 테스트함
  • 하지만 진정한 과학적 돌파구는 이미 알려진 질문에 답하는 것이 아니라,
    • 새롭고 도전적인 질문을 던지고, 기존의 개념과 아이디어에 의문을 제기하는 데서 나옴
  • 더글러스 애덤스의 『은하수를 여행하는 히치하이커를 위한 안내서』를 떠올려 보자
    • 답은 "42"이지만, 정작 질문이 무엇인지는 아무도 모름
    • 이것이 바로 연구의 본질임
  • 현재 LLM은 인류의 모든 지식을 기억하고 있음에도 새로운 지식을 창출하지 못함
    • 주로 "manifold filling"을 수행하고 있음
      • 인간이 이미 알고 있는 지식 사이의 간극을 메우는 작업을 수행 중
      • 일종의 지식을 현실의 직물처럼 연결하고 있음
  • 현재 우리는 매우 순종적인 학생을 만들고 있음
    • 이는 현재 AI의 주된 목표인 뛰어난 도우미와 순응적인 헬퍼를 만들기에는 완벽함

AI가 진정한 과학적 혁신을 이루려면

  • 그러나 AI가 과학 혁신을 이루려면 다음과 같은 조건이 필요함
    • 자신이 가진 지식에 의문을 제기할 수 있어야 함
    • 과거 훈련 데이터와 모순되는 새로운 아이디어를 제안할 수 있어야 함
  • 그렇지 않으면 AI는 과학적 혁신을 가져오지 못할 것임
  • 과학적 돌파구를 원한다면 AI 모델 성능 측정 방식을 재검토해야 함
    • 현재는 지식의 양과 기존 질문에 대한 정확한 답변 능력을 측정함
    • 대신 지식과 추론 능력을 테스트할 수 있는 방식으로 전환해야 함
  • 과학적 AI 모델이 가져야 할 능력
    • 훈련 데이터에 대한 도전 : 자신이 학습한 데이터를 그대로 받아들이지 않고 의문을 제기할 수 있어야 함
    • 대담한 반사실적 접근 시도 : 기존의 상식을 거스르는 대담한 가정을 시도할 수 있어야 함
    • 작은 단서를 기반으로 일반화된 제안 도출 : 미세한 힌트에서 새로운 패턴을 찾아내고 일반화할 수 있어야 함
    • 비직관적인 질문을 던져 새로운 연구 경로를 열기 : 기존에 없던 질문을 던져 새로운 연구 방향을 개척할 수 있어야 함
  • 모든 질문에 답할 수 있는 A+ 학생이 필요하지 않음
    • 우리가 원하는 것은 다른 사람들이 놓친 것을 보고 질문할 수 있는 B 학생임

PS : AI 벤치마크 개선 방향

  • 어떤 벤치마크가 필요한지 궁금할 수 있음
    • 예를 들어, 모델이 최근의 새로운 발견에 대해 테스트받는 상황을 상정할 수 있음
      • 모델이 해당 발견에 대해 사전 지식이나 개념적 틀이 전혀 없는 상태에서
      • 올바른 질문을 시작하고 문제를 탐구할 수 있는지를 평가함
  • 이는 매우 어려운 문제임
    • 대부분의 AI 모델은 현재 인류가 알고 있는 거의 모든 지식을 학습한 상태임
    • 따라서 답이나 개념적 틀이 전혀 없는 상황에서 작동하도록 하는 것은 도전적임
  • 그러나 과학적 혁신을 원한다면 이런 행동을 평가할 수 있는 벤치마크가 필요함
  • 결국 이것은 열려 있는 문제이며, 이에 대한 통찰력 있는 의견을 듣고 싶음

PPS:

  • 많은 사람들이 (알파고의) "Move 37" 을 AI가 이미 아인슈타인 수준의 지능에 도달했다는 증거로 제시함
    • 이에 대해 구체적으로 설명하고자 함
  • Move 37은 인상적이지만, 결국 바둑 규칙이 정해진 상태에서 나온 우등생의 답임
    • 기존의 게임 규칙에 따라 문제를 풀었을 뿐임
  • 마찬가지로, AI 모델이 조만간
    • 가장 뛰어난 수학자가 만든 것보다 더 우아한 수학적 증명을 만들어낼 가능성이 큼
    • 그러나 이것이 진정한 패러다임 전환에 해당하지는 않음
  • 바둑에서 아인슈타인급 돌파구는 더 근본적인 것이어야 함
    • 바둑의 규칙 자체를 새로 정의하거나
    • 기존 게임보다 훨씬 더 흥미로운 새로운 게임 규칙을 창조하는 것에 가까워야 함
  • 수학에서의 더 적절한 비유는
    • 서로 다른 수학 분야를 연결해 새로운 연구 분야를 개척하는 것에 해당함
    • 이는 보통 필즈상(Fields Medal) 을 받게 하는 수준의 성취임
  • 아인슈타인 수준의 과학적 패러다임 전환은 여전히 매우 높은 기준을 요구함
▲
goehd4551 17일전  [-]

생각하지 못한 질문을 던질수 있는 AI 를 만들어냈다고 했을때 그 AI 가 사람은 왜 해치면 안되는가 같은 질문을 던지기 시작하면 아찔할 거 같네요

답변달기
▲
quest4i 18일전  [-]

AI와 창의성: 패러다임 전환과 영감의 관계

Hugh에게 보내는 생각 정리 <- ?

Thomas Wolf의 글은 AI가 진정한 과학적 혁신을 이끌어내기 어려울 것이라는 주장을 담고 있습니다. 그는 AI가 기존 지식을 재조합하는 "Yes맨"과 같다고 표현하며, 패러다임을 전환하는 아인슈타인 같은 천재성과는 거리가 있다고 말합니다.

그의 관점은 AI의 한계를 정확히 짚으면서도, 동시에 우리에게 AI와 인간 협력의 가능성을 생각해보게 합니다. < 이 글은 클로드에게 의견을 묻자 대답한 내용인데 굳이 요청도 안 한 아티팩트로 만들어주고, 이 문장은 다른 얘기하다 갑자기 별 언급도 없이 추가한 문장임. 희안하네...

영감과 AI의 역할

그러나 영감이란 무엇일까요? 인간의 창의성도 결국은 기존 아이디어들의 새로운 연결과 조합에서 비롯됩니다. 아인슈타인조차 뉴턴, 맥스웰, 로렌츠와 같은 선배 과학자들의 어깨 위에서 더 멀리 보았습니다.

AI가 제공하는 것은:

  1. 다양한 지식 영역의 연결: 인간이 미처 연결짓지 못했던 분야들을 연결하는 능력
  2. 패턴 인식: 방대한 데이터에서 인간이 놓칠 수 있는 패턴을 발견
  3. 아이디어 촉발: 때로는 AI의 "엉뚱한" 제안이 인간에게 새로운 관점을 제시

AI와 인간의 공생 관계

Thomas Wolf는 AI가 혼자서 패러다임 전환을 일으킬 수 없다고 말하지만, AI와 인간의 협력은 어떨까요? 인간이 질문을 던지고 AI가 다양한 가능성을 탐색하는 과정에서 새로운 아이디어가 탄생할 수 있습니다.

인간은 질문을 던지는 능력, 직관, 그리고 결과의 가치를 판단하는 능력을 가지고 있습니다. AI는 방대한 데이터를 바탕으로 연결점을 제시합니다. 이 두 지성의 결합은 어쩌면 각자가 따로 도달할 수 없는 곳으로 우리를 데려갈 수 있을 것입니다.

결론: 새로운 창의성의 가능성

AI는 "압축된 21세기"를 혼자 만들어내지는 못할 수 있습니다. 그러나 인간에게 영감을 주고, 새로운 생각의 경로를 열어주며, 인간 창의성의 동반자로 기능할 수 있습니다.

진정한 혁신은 인간과 AI가 각자의 강점을 발휘하는 공동 창작의 과정에서 나타날 가능성이 높습니다. 이것은 단순한 "Yes맨"의 역할을 넘어, 인간과 함께 새로운 패러다임을 모색하는 여정이 될 것입니다.

답변달기
▲
felizgeek 22일전  [-]

https://news.hada.io/topic?id=19168
AI는 절대 생각못했을거 같은 연구입니다
본문 요지에 공감해요.

답변달기
▲
codemasterkimc 23일전  [-]

"모든 질문에 답할 수 있는 A+ 학생이 필요하지 않음
우리가 원하는 것은 다른 사람들이 놓친 것을 보고 질문할 수 있는 B 학생"

을 보고 바로 내가 B학생인데 대기업은 A+ 학생만 보고 뽑는 다는 생각이 든다

답변달기
▲
GN⁺ 23일전  [-]
Hacker News 의견

  • AI에게 "아무것도 만들지 말고, 답이 없으면 모른다고 말하라"고 지시했을 때 운이 좋았음

    • AI가 "미국식"보다는 "네덜란드식"으로 조정되면 더 유용할 것 같음
    • "네덜란드식"은 직설적이고 솔직한 것으로 유명함
    • "미국식" AI는 고객이 항상 옳다는 식으로 조정되어 있음
    • 인간 상호작용에서 네덜란드식 직설성과 솔직함은 불쾌할 수 있지만 효율적이고 효과적임
    • 소프트웨어가 정중할 필요는 없고, 감정을 상하게 하지 않아도 됨

  • Feyerabend의 "Against Method"를 읽어보라 권장함

    • 반귀납적 사고의 필요성을 잘 재구성했음

  • BlueSky 버전 링크 제공됨

  • "올바른 질문을 묻는 것"에 대한 흥미로운 게시물임

    • 첫 원칙 기반의 인과적 추론이 부족하다고 느낌
    • 진정한 지능 시스템은 교과서 버전과 일치하지 않는 것을 알아차릴 것임
    • 현실이 기대와 다를 때 후속 질문을 하여 더 깊은 통찰과 올바른 질문과 답변으로 이어짐
    • MIT Lab & Harvard의 "Reasoning-Prior" 접근 방식이 흥미로움
    • 관련 논문: "General Reasoning Requires Learning to Reason from the Get-go"

  • 창의적인 B 학생과 AI A 학생이 함께 일하는 21세기 압축 가능성에 대한 의견

  • LLM의 진정한 참신한 응답과 환각을 구별할 수 없음

    • 문제의 결과가 어떻게 보여야 하는지 알고 더 나은 기능을 찾는 경우 일부 해결 가능
    • 복잡해질수록 1억 개의 잠재적 해결책을 테스트할 수 없음
    • 임상 시험을 1억 번 실행할 수 있는 물류가 없음

  • 현대의 Twitter/X보다 더 스마트한 곳에 있어야 할 좋은 게시물임

    • 벤치마크가 필요한 이유에 대한 설명
    • 천재(인간 또는 AI)는 새로운 통찰을 제공할 수 있음
    • 판매 브로셔 주장, 연구 논문 비교 차트, 개인 KPI/OKR, 승진 패킷이 필요 없음

  • 인간 엔지니어가 설계하지 않을 회로를 설계하는 알고리즘을 봄

    • 상자 밖의 사고가 더 쉽게 접근 가능할 수 있음

  • 저자는 추측을 만드는 것이 어려운 부분이라고 가정하는 것 같음

    • 강력한 도우미가 사람들에게 대담한 수학적 아이디어를 시도하게 하는 것이 큰 영향을 미칠 것임

  • 사실성에 엄격하게 고수하는 모델을 찾지 못했음

    • 이미 "사실"을 질문하고 새로운 것을 발명할 수 있는 모델이 있을 수 있음

  • 직관이 아닌 직설적인 사실만 원함

    • 양심 있는 AI를 원하지 않음
답변달기