과학용 AI 과장에 속고 배운 것

 (understandingai.org)
3P by GN⁺ | ★ favorite | 댓글 1개
  • Princeton에서 플라즈마 물리학을 연구하던 저자는 2018년 AI가 물리 연구를 가속할 수 있다고 보고 방향을 바꿨지만, 실제 PDE 풀이용 AI는 기대보다 훨씬 취약했음
  • PINN은 단순하고 일반적인 접근처럼 보였으나, 쉬운 예제를 조금만 바꿔도 정확한 해를 얻기 어려웠고 튜닝으로도 안정성을 확보하지 못함
  • 유체역학 PDE 관련 연구 76편을 검토하자, 표준 수치해석보다 낫다고 주장한 논문 중 60편, 79% 가 약한 기준선을 썼고 큰 속도 향상 사례는 불공정한 비교에 기대고 있었음
  • 과학 분야의 AI 사용은 2015년 2%에서 2022년 거의 8%로 늘었지만, 그 증가가 과학 자체보다 인용, 경력, 자금 유치 인센티브와 더 맞물려 있을 수 있음
  • AI는 단백질 접힘, 날씨 예측, 신약 발견에서 성과를 낼 수 있지만, 과학을 혁명적으로 가속한다는 일반론은 생존자 편향, 데이터 누출, 약한 기준선, 체리피킹 때문에 신중하게 봐야 함

플라즈마 물리학에서 AI로 방향을 바꾼 이유

  • 2018년 Princeton에서 플라즈마 물리학 박사과정 2년 차였던 저자는 연구 초점을 머신러닝으로 바꿈
    • 구체적인 프로젝트가 있었던 것은 아니지만, AI로 물리 연구를 가속하면 더 큰 영향을 낼 수 있다고 생각함
    • AI 분야의 높은 급여도 동기였다고 밝힘
  • 이후 Yann LeCun이 “pretty hot topic”이라고 부른 AI로 편미분방정식(PDE)을 푸는 문제를 연구 대상으로 삼음
  • PDE는 물리 시스템을 모델링하는 수학 방정식이며, 계산물리와 공학 시뮬레이션에서 중요함
    • 저자의 연구실은 핵융합로 내부와 성간 매질의 플라즈마 거동을 모델링하는 데 PDE를 사용함
  • PDE 풀이에 쓰인 AI 모델은 ChatGPT보다 AlphaFold에 가까운 맞춤형 딥러닝 모델임

PINN 실험에서 드러난 취약성

  • 처음 시도한 방법은 physics-informed neural network(PINN) 였음
    • PINN은 PDE 해를 픽셀 격자로 표현하는 대신, 해를 신경망으로 표현하고 방정식을 손실 함수에 넣음
    • 초기 PINN 논문은 유체, 양자역학, 반응-확산계, 비선형 얕은 물 파동 등 고전 문제에서 효과를 보였다고 주장했고 이미 수백 회 인용되고 있었음
  • 단순하고 우아한 일반 방법처럼 보였지만, 실제 실험은 기대와 달랐음
    • 영향력 있는 첫 논문의 예제 중 하나인 1D Burgers’ 를 다른 단순 PDE인 1D Vlasov로 바꾸자 정확해 보이는 해가 나오지 않음
    • 많은 튜닝 끝에 그럴듯한 결과를 얻었지만, 1D Vlasov-Poisson 같은 조금 더 복잡한 PDE에서는 괜찮은 해를 얻지 못함
    • 다른 대학 친구도 PINN으로 좋은 결과를 얻지 못했다고 전함
  • 원래 PINN 논문 저자들도 특정 설정이 한 방정식에서는 인상적 결과를 내지만 다른 방정식에서는 실패할 수 있음을 관찰한 것으로 보임
    • 그러나 논문에는 PINN 실패 사례가 나오지 않음
    • 저자 역시 실패 실험을 논문으로 내지 않고, 잘 알려지지 않은 학회 포스터로만 발표함

PINN이 남긴 교훈과 현재 평가

  • 첫 번째 교훈은 AI 연구 결과를 액면 그대로 받아들이면 안 된다는 점임
    • 대부분의 과학자가 누군가를 속이려는 것은 아니지만, 유리한 결과를 제시할 인센티브가 강해 독자가 오도될 수 있음
    • 인상적인 결과를 낸 고영향 논문일수록 더 회의적으로 봐야 한다고 판단함
  • 두 번째 교훈은 AI 방법이 실패한 경우가 거의 출판되지 않는다는 점임
    • PINN의 실패 모드를 다룬 논문이 나오기까지 2년이 걸렸고, 해당 논문은 현재 1,000회 이상 인용됨
    • 이는 많은 연구자들이 PINN에서 비슷한 문제를 겪었을 가능성을 시사함
  • 세 번째 결론은 PINN이 저자가 쓰고 싶은 접근이 아니었다는 점임
    • PINN은 단순하고 우아했지만 너무 불안정하고, 까다로우며, 느렸다고 평가함
  • 원래 PINN 논문은 6년 뒤인 현재 14,000회 인용을 기록함
    • 저자 기준으로 21세기 수치해석 논문 중 가장 많이 인용된 논문이며, 전체 수치해석 논문 중 두 번째로 많이 인용될 시점이 1~2년 남았다고 봄
  • PDE를 직접 푸는 문제에서는 PINN이 일반적으로 표준 수치해석 방법과 경쟁력이 없다는 점이 널리 받아들여졌지만, 역문제(inverse problems) 성능은 여전히 논쟁 중임
    • 옹호자들은 PINN이 역문제에 특히 효과적이라고 주장함
    • 일부 연구자는 이 생각에 강하게 반박함
    • 저자는 어느 쪽이 맞는지 모르며, 훗날 PINN이 거대한 인용 버블로 평가될 수도 있다고 봄

약한 기준선이 만든 과도한 낙관

  • 박사논문에서는 전통적 솔버처럼 PDE 해를 격자나 그래프 위의 픽셀 집합으로 다루는 딥러닝 모델에 집중함
    • 이 접근은 PINN보다 연구실이 관심 가진 복잡한 시간 의존 PDE에서 더 가능성이 있어 보였음
    • 여러 논문은 표준 수치해석 방법보다 몇 자릿수 빠르게 PDE를 풀 수 있다고 주장함
  • 특히 Navier-Stokes 방정식 같은 유체역학 PDE 사례가 저자와 지도교수를 고무함
    • 핵융합로 속 플라즈마를 설명하는 방정식도 유사한 수학 구조를 가져 비슷한 속도 향상을 기대함
    • 이론적으로 더 큰 시스템을 시뮬레이션하고, 설계를 더 빠르게 최적화하며, 연구 속도를 높일 수 있음
  • 그러나 AI 모델의 신뢰성과 견고성이 심각한 문제가 될 수 있었음
    • 더 빠른 시뮬레이션이 덜 신뢰할 만하다면 그 절충이 가치 있는지 확인해야 했음
    • 모델을 더 신뢰성 있게 만들려는 시도는 대부분 실패했고, AI가 PDE 가속에 보인 가능성 자체를 의심하게 됨
  • 고프로필 논문들은 AI가 Navier-Stokes 방정식을 표준 수치해석 방법보다 몇 자릿수 빠르게 풀었다고 했지만, 기준선은 가장 빠른 수치해석 방법이 아니었음
    • 더 발전된 수치해석 방법과 비교하자 AI는 더 빠르지 않거나, 많아야 약간 더 빠른 수준이었음

76편 검토 결과: 79%가 약한 기준선

  • 저자와 지도교수는 유체역학 PDE를 풀기 위해 AI를 사용한 연구를 체계적으로 검토해 논문을 발표함
  • 표준 수치해석 방법보다 뛰어나다고 주장한 논문 76편 중 60편, 79% 가 약한 기준선을 사용함
    • 더 발전된 수치해석 방법과 비교하지 않았거나
    • 동일한 조건에서 비교하지 않았음
  • 약한 기준선 비율: {p:79}
  • 큰 속도 향상을 보인 논문은 모두 약한 기준선과 비교함
    • 결과가 인상적일수록 불공정한 비교를 했을 가능성이 높아 보였음
  • 검토 결과는 보고 편향(reporting bias) 도 다시 확인함
    • 연구자들은 부정적 결과를 잘 보고하지 않는 경향이 있음
    • 약한 기준선은 지나치게 긍정적인 결과를 만들고, 보고 편향은 부정적 결과의 과소보고로 이어짐
  • 이 논문은 계산과학·공학에서 AI를 둘러싼 논쟁을 촉발함
    • Lorena Barba는 이 결과를 AI 과장과 비과학적 낙관에 대한 우려를 뒷받침하는 근거로 봄
    • Google Research의 Stephan Hoyer는 AI for PDEs에서 날씨 예측과 기후 모델링으로 옮긴 이유를 잘 요약한 논문이라고 평가함
    • Johannes Brandstetter는 더 복잡한 산업 응용에서 AI가 더 나은 결과를 낼 수 있고, 분야의 미래가 여전히 유망하다고 반박함

PDE 분야에서 필요한 검증 방식

  • AI가 PDE 풀이와 관련한 특정 응용에서 언젠가 유용해질 수는 있음
  • 현재로서는 낙관할 이유가 많지 않음
    • AI 방법은 표준 수치해석 방법이 가진 이론적 보장이 없음
    • 경험적으로 검증된 견고성도 부족함
  • 더 많은 노력이 필요한 방향은 두 가지임
    • 수치해석 방법 수준의 신뢰성을 맞추려는 연구
    • AI 방법을 공격적으로 검증하는 레드팀(red teaming)
  • 연구비 지원기관은 PDE를 위한 도전 문제를 만들도록 과학자에게 인센티브를 줄 필요가 있음
    • 단백질 접힘 분야에서 30년 동안 연구를 동기화하고 집중시킨 격년제 대회 CASP가 가능한 모델로 제시됨

AI가 과학을 가속한 실제 사례와 한계

  • 단백질 접힘은 AI 기반 과학 혁신의 대표 사례임
    • 2024년 노벨 화학상 보도자료와 연결되는 사례로 다뤄짐
  • 다른 성과 사례도 있음
    • 날씨 예측: AI 예보는 전통적 물리 기반 예보보다 정확도가 최대 20% 높았지만, 해상도는 여전히 낮음
    • 신약 발견: 예비 데이터는 AI가 발견한 약물이 임상 1상에서는 더 성공적이었지만, 임상 2상에서는 그렇지 않았음을 보임
    • 이 추세가 유지된다면 신약 승인까지의 전체 성공률이 거의 두 배가 될 수 있음
  • AI 기업, 학계, 정부기관, 언론은 AI를 유용한 과학 도구를 넘어 과학에 “transformational impact”를 줄 기술로 제시하는 일이 늘어남
  • 현재 LLM은 DeepMind 표현대로 인간 과학자가 의존하는 더 깊은 창의성과 추론에는 여전히 어려움을 겪음
  • 가상의 고도화된 AI 시스템이 언젠가 과학 과정을 완전히 자동화할 수 있다면 과학을 변화시키고 가속하겠지만, 저자는 그런 일이 곧 일어나거나 실제로 일어날 것으로 기대하지 않음

과학자들이 AI를 채택하는 이유

  • 과학 분야에서 AI 사용이 늘어나는 현상만으로 AI가 과학에 유용하다고 판단하기는 어려움
  • 과학자들이 AI로 이동하는 이유는 과학보다 과학자 자신에게 이익이 되기 때문일 수 있음
    • 저자도 2018년 AI가 플라즈마 물리학에 유용할 수 있다고 진심으로 생각했지만, 높은 급여, 좋은 일자리 전망, 학문적 명성이 큰 동기였음
    • 연구소 고위층은 기술적 고려보다 AI의 자금 유치 가능성에 더 관심을 보이는 경우가 많았다고 함
  • 후속 연구는 AI를 쓰는 과학자들이 상위 인용 논문을 낼 가능성이 더 높고, 평균적으로 3배 많은 인용을 받는다고 제시함
  • AI가 과학 안에서 인상적인 결과를 내더라도, 그것이 곧 과학에 유용한 일을 했다는 뜻은 아님
    • 많은 경우 AI가 나중에 유용할 수 있는 잠재력을 보여준 데 그칠 수 있음
  • AI를 연구하는 과학자들은 문제를 찾고 해법을 찾기보다, AI가 해법이라고 가정한 뒤 풀 문제를 찾는 방식으로 거꾸로 일하는 경우가 많음
    • 이 “hammer in search of a nail” 방식은 이미 해결된 문제나 새로운 과학 지식을 만들지 않는 문제로 이어질 수 있음

생존자 편향과 재현성 위기

  • AI-for-science의 성공을 평가하려면 실제 과학을 봐야 하지만, 과학 문헌만으로는 신뢰하기 어려움
  • 첫 번째 문제는 생존자 편향(survivorship bias) 임
    • AI 연구에는 부정적 결과가 거의 출판되지 않는다는 평가가 있음
    • 실패 사례가 빠지면 AI가 과학에 미치는 영향을 평가하려는 시도가 왜곡됨
  • 이는 복제 위기에서 알려진 문제와 닮아 있음
    • 통계적으로 유의하지 않은 결과가 문헌에서 걸러지면 치료 효과 같은 것을 과대평가하게 됨
    • 의료 연구의 z값 분포에서 -1.96과 1.96 주변의 급격한 불연속은 유의성 기준 아래 결과가 출판되지 않았거나 데이터가 조정됐을 가능성을 시사함
  • AI-for-science에서는 선택 기준이 통계적 유의성이 아니라, 제안한 방법이 다른 접근을 이겼는지 또는 새로운 작업을 성공했는지에 가까움
    • 따라서 성공한 AI 사례는 자주 보고되고, 성공하지 못한 결과는 거의 출판되지 않음
  • Princeton의 Arvind Narayanan과 Sayash Kapoor는 30개 분야 648편 논문에서 데이터 누출(data leakage) 이라는 방법론 오류를 모은 목록을 만들었음
    • 데이터 누출은 각 사례에서 지나치게 낙관적인 결과로 이어짐
    • 이들은 AI 기반 과학이 재현성 위기에 직면했다고 봄

과도한 낙관을 만드는 네 가지 함정

  • 출판된 성공 사례도 AI의 과학적 잠재력을 과대평가하는 결론으로 이어질 수 있음
  • 분야마다 세부 양상과 심각도는 다르지만, 주요 함정은 네 범주로 정리됨

    • 데이터 누출

      • 학습·평가 데이터가 잘못 섞이면 모델 성능이 실제보다 높게 보임

    • 약한 기준선

      • AI를 최신 수치해석 방법이 아니라 약한 비교 대상과 겨루게 하면 성능 차이가 과장됨

    • 체리피킹

      • 성공한 설정만 골라 보여주면 실패 모드와 적용 한계가 문헌에서 사라짐

    • 오보고

      • AI 모델을 평가하는 사람이 그 평가에서 이익도 얻는 이해상충이 핵심 문제로 남음
      • DeepMind는 2023년 220만 개 결정 구조를 발견했고, 인류가 아는 안정 물질을 한 자릿수 규모로 확장했다고 주장함
      • 이후 재료과학자들은 해당 화합물을 분석해 “mostly junk”라고 평가했고, 해당 논문이 새로운 물질을 보고하지 않았다고 정중히 제안함
      • MIT 대학원생 Aidan Toner-Rodgers의 AI 기반 신소재 발견 논문은 초안에서 성과 사례로 들어갔지만, MIT가 연구 진실성 우려로 철회를 추진한다고 발표하면서 제외됨
      • 명백한 사기 의혹은 본문에서 다룬 미묘한 방법론 문제와 다르지만, 이 논문이 언론에서 큰 주목을 받은 사실은 AI 기법의 효과를 과장할 다양한 인센티브를 보여줌

결론: 혁명보다 불균등한 점진 도구에 가까움

  • 과학 연구에서 AI 사용은 빠르게 증가함
    • 전체 과학 출판물에서 AI 사용률은 2015년 2% 에서 2022년 거의 8% 로 늘어남
    • AI 사용률: {l:2,8}
    • 컴퓨터과학뿐 아니라 물리, 화학, 생물학, 의학, 사회과학에서도 채택이 빠르게 증가함
  • AI가 과학적 돌파구를 만들 수 있다는 점은 인정할 수 있음
    • 우려는 돌파구의 규모와 빈도에 있음
    • 하나의 패러다임으로 인재, 교육, 시간, 자금이 크게 이동할 만큼 충분한 잠재력을 실제로 보였는지는 불확실함
  • 모든 과학 분야가 AI를 다르게 경험하므로 일반화에는 주의가 필요함
  • 그래도 저자의 경험에서 나온 세 가지 교훈은 여러 분야에 적용될 수 있음
    • AI 채택 증가는 과학보다 과학자에게 더 이익이 되기 때문에 발생하는 측면이 있음
    • 부정적 결과가 거의 출판되지 않아 AI-for-science는 생존자 편향을 겪음
    • 출판된 긍정적 결과는 AI의 잠재력을 과도하게 낙관하는 경향이 있음
  • AI가 과학 생산성 하락과 과학 진보 정체를 되돌릴지는 알 수 없음
    • 중대한 고도 AI 돌파구가 없다면, AI는 혁명적 도구라기보다 점진적이고 불균등한 과학 진보를 위한 보통의 도구에 더 가까울 것으로 보임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 흥미로운 글임. 새로 뜨는 기법이 실제 가치보다 과도한 관심을 받을 위험은 늘 있음
    글에서 핵심 문장은 “대부분의 과학자는 누군가를 속이려는 게 아니지만, 유리한 결과를 보여줘야 하는 강한 유인이 있기 때문에 여전히 독자가 속을 위험이 있다”는 부분임. 사람들이 어떤 유인 구조 속에서 말하는지 이해하면, 그 말을 해석할 때 자주 도움이 됨

    • AI라는 말을 붙이면 돈도 많이 벌고 연구비도 받을 수 있다는 걸 깨달은 사람들이 있음. 하지만 결국 어느 소프트웨어든 어느 정도 기계학습이 들어가 있지 않나 싶고, 새로울 것도 없으며 현재 구현도 특별히 대단하거나 정확하진 않음

  • 이건 대체로 학계의 기존 문제를 반복하는 것 같음. 더 이상 진리 탐구가 아니라 인용 수와 경력주의에 집중하고 있고, AI는 그런 일이 벌어지는 또 하나의 주제일 뿐임

    • 일반화하고 싶진 않지만, 독일의 여러 HPC 센터를 오가는 일을 하다 보니 물리학에서 밀려난 사람들이 많이 모여 있고, 배분되는 AI 연구비 상당수가 이들에게 흡수되는 패턴이 보임. 그 결과로 ML4Science 프로젝트가 많이 생김
      개인적으로는 아쉬움. HPC 센터는 물리학자만을 위해 존재하는 곳이 아니고, 특히 독일에서 AI 연구비가 있다면 AI 핵심 연구를 더 해야 한다고 봄
    • 공정하게 말하면 경력주의 문제는 학계가 민간 부문에 더 매혹되면서 그 문제까지 물려받은 부작용에 가깝다고 봄
      소프트웨어 개발자로 일하며 배운 게 하나 있다면, 모든 결정은 경력주의적이고 이기적인 관점에서 내려진다는 것임. 무엇이 최선인지보다 무엇이 가장 인상적이고 개인을 앞서가게 하는지가 중요해짐. 일이 끝나면 더는 자기 문제가 아니고, 사실 누구도 그들을 탓하기 어렵다. 이 사고방식이 너무 널리 퍼져 있어서 거기에 동참하지 않으면 호구가 됨. 다른 사람들은 그렇게 할 것이고, 결국 당신을 앞질러 갈 테니까. 결과는 같지만 당신만 더 불리해짐
    • 이 이야기를 어떤 의미에서 “더 이상 진리 탐구가 아니다”라고 해석할 수 있는지 모르겠음. 오히려 진리를 찾았고 발견한 아주 명확한 사례 아닌가
    • 여기서 “더 이상”이 왜 들어가는지 정말 이해가 안 됨

  • 운 좋게도 AI 기반 FEM 유사 구조 해석기 몇 가지를 시험해볼 기회가 있었음
    최선의 경우에도 선형·소변형 문제에서는 그럭저럭 괜찮은 정도임. 정확해에 가까운 결과를 5분쯤에 얻을 수 있는 모델을, 꽤 대충인 해로 30초쯤에 얻는 수준임. 비선형 요소를 넣기 시작하면 그냥 무너짐
    아주 높은 수준의 개념 선택에는 충분할지도 모르지만, 그조차 썩 좋진 않음. 일부는 사실상 곡률 감지기에 불과하다고 꽤 확신함. 직선은 파란색, 곡률이 큰 곳은 빨간색으로 만들고 나머지는 보간하는 식임

    • 이런 모델을 반복 해법의 전처리기로 쓸 수 있을까
    • 그러면 “제2원리” 해석기에 더 가까운 듯함. 이미 본 적 없는 것은 합성해내지 못하는 구조임

  • AI 옹호자는 전혀 아니지만, 부정적 결과가 출판되지 않고 연구 논문에서 모두가 자기 결과를 과장하는 문제는 안타깝게도 AI에만 국한되지 않음. 과학자가 평가되는 방식과, 전통 미디어처럼 audience를 갈구하는 과학 출판 산업의 결과임
    어쨌든 겨울이 오고 있는 것 아닌가

    • 맞음, AI에만 있는 문제는 아님. 하지만 AI 논문에서는 실제로는 “GPU 1조 개를 넣고 영원히 돌리면 {마법 같은 벤치마크}가 나온다”는 뜻인 문구가 자주 보임. 또는 “이 아주 똑똑한 알고리즘을 요청하면 제공한다고 주장하지만 실제로 요청하면 씹을 우리의 극비 실생활 데이터셋에서 평가하면, 우리가 얼마나 똑똑한지 보여주는 차트를 볼 수 있다”는 식임
      물론 선점용 논문인 경우가 많지만, 이런 논문이 대기업에서 나오면 명백한 결함이 있어도 그냥 무시하고 갈 수가 없음
      결국 자원 경쟁임. 예산이 적은 대학의 전직 연구자로서 우리는 경쟁할 수 없음. 재현 가능성 없이 문헌에 “벤치마크”로 전달되는 수치를 믿도록 강요받는 셈임
    • 15년 조금 전에 AI의 실용적 응용에 관한 첫 논문들을 출판한 뒤 다른 분야로 옮겼다가, 최근 다시 끌려 들어왔음
      과학 전반의 문제라는 데 동의하지만, AI는 명성과 돈을 좇는 연구자들을 유난히 많이 끌어들이는 것 같음. 제한된 경험상 과장된 주장과 데이터 체리피킹이 더 극단적으로 보이고, 책임 있는 연구자들조차 경쟁하려고 조금씩 과장하게 됨
    • AI가 지금의 과열된 유행 자석이라 균열이 더 선명하게 보이는 것뿐임
    • 하지만 AI는 그럴듯해 보이는 논문을 쓰기 더 쉽게 만들어줌

  • HN 같은 곳에서 사람들이 AI/ML 인식에 이렇게 갈리는 이유를 잘 모르겠음
    이런 건 전에는 본 적이 없음. 텍스트 입력을 바탕으로 코드 생성 같은 일을 할 시스템이나 방법 자체가 사실상 없었음
    지난주에도 기본 UI가 있는 이미지 분할 스크립트를 요청했더니 Claude가 1분도 안 돼 만들어줬음
    혁신적이라고 할 예시는 엄청 많이 들 수 있음. 전체 이미지 생성 스택은 완전히 새로움
    이 블로그 글은 충분히 공정하고, 이 주제에 과열이 있는 것도 맞음. 하지만 연구에 코드를 써야 하는 모든 연구자에게만 봐도 AI는 이미 훨씬 효율적으로 만들어줄 수 있음
    더 나아가 우리는 새 시대에 들어섰다고 봄. 데이터를 다시 아주 진지하게 대하는 시대임. 몇 년 전에는 “인터넷은 잊지 않는다”고 했지만, 곧 인터넷도 잊기 시작한다는 걸 깨달았음. Google은 페이지를 지우고 캐시 기능을 없앴고, 데이터를 어떻게 써야 할지 몰라 더는 신경 쓰지 않는 느낌이었음
    그러다 AI가 등장했고, 데이터가 다시 왕이 되었을 뿐 아니라 지금은 강화의 시대 한가운데 있음. 피드백을 주면 시스템이 그 피드백을 학습에 반영함
    AI/ML 주제는 하드웨어, 알고리즘, 사용 사례, 데이터, 도구, 프로토콜 등 모든 측면에서 다뤄지고 있음. 우리는 그것을 통합하고, 그것을 위해, 그것 위에 구축하는 중이며 시간이 조금 걸릴 뿐임. 그래도 진전 속도는 미친 듯이 숨 가쁨
    진짜 천장이 있는지는 몇 년 뒤에야 알 수 있음. AI 아키텍처와 알고리즘 실험을 훨씬 더 많이 하려면 GPU와 더 큰 데이터센터가 더 필요함. 병목은 분명함. 대기업도 큰 모델 하나를 몇 주, 몇 달 동안 훈련함

    • “지난주에도 기본 UI가 있는 이미지 분할 스크립트를 요청했더니 Claude가 1분도 안 돼 만들어줬다”는 부분은, 우리가 보기엔 Stack Overflow를 멋진 방식으로 복붙하는 것에 가까움. 그래서 “근처 식당을 Google에 물었더니 500ms 만에 찾았다. 내 C64는 못 했다”처럼 들림
      인상적이고 실제로 유용한 건 맞음. 하지만 “현실 세계를 탐색하는 법을 배워서 관련 문제를 다 풀 수 있게 됐다”처럼 들리지만, 실제로 푼 것은 “GIS 데이터베이스에서 멋지게 찾아보기”임. 새로움이 사라지면 상상하던 것 대신 실제 모습이 보이기 시작함
      요점을 더 분명히 하자면, “Claude가 생성했다”에서 당신이 생각하는 일은 AI가 “생각”하고 온톨로지를 만들고 그 위에서 추론해 이 스크립트가 올바른 출력이라는 결론에 도달했다는 것임. 실제로 일어난 일은 입력이 수조 개 예시에서 본 패턴에 따라 이 출력과 상관되어 있다는 것임. 온톨로지도 없고 추론도 없음. 물론 여전히 인상적이고 매우 유용하지만, 시간이 지나면 신기함은 사라질 것임. 한계는 이미 분명함
    • “HN 같은 곳에서 사람들이 AI/ML 인식에 이렇게 갈리는 이유를 모르겠다”는 건, 각자의 관점에서 보면 모두 합리적 행위자이기 때문임. AI를 띄우는 사람도, 과열을 깎아내리는 사람도 각각 타당한 이유가 있음
      이 신기술을 획기적이라고 볼 근거도 있고, 대규모 데이터 절도와 프라이버시 경시에 경계할 근거도 있음
      먼저 어떤 사안이든 다양한 생각이 있다는 걸 인정하고 존중해야 함. 잠시 자기 자신을 방정식에서 빼고, 반대편을 이해해야 함. 정말로 이해해야 함
      다른 사람의 신발을 신고 오래 걸어봐야 함
    • “연구에 코드를 써야 하는 모든 연구자에게만 봐도 AI는 이미 훨씬 효율적으로 만들어줄 수 있다”는 말에 대해, 과학자에게 필요한 것은 효율이 아니라 정확성임. 소프트웨어 버그는 이미 과학적 오류와 재현성 부족의 큰 원인이었고, 예컨대 이런 사례가 있음: https://www.vice.com/en/article/a-code-glitch-may-have-cause...
      연구 환경의 프로그래밍 품질은 업계와 마찬가지로 악명 높게 들쭉날쭉하지만, 연구에서는 사소한 오류가 연구 전체 결과를 망칠 수 있음. 실험실 같은 환경에서는 인상파 화가처럼, 또는 그 AI 버전처럼 소프트웨어를 쓸 수 없음. 실제로 자신이 무엇을 입력하는지 알아야 함
      맞는지 신경 쓰지 않는다면 AI가 더 효율적으로 만들어줄 수 있음. 여름 비치발리볼 행사 이미지를 만드는 데는 멋질 수 있지만, 과학 환경에서 코드를 쓰는 데는 재앙적인 생각임
    • 반대로 “AI가 과학을 혁명적으로 바꿀 것”이라는 서사는 증거가 뒷받침하는 수준보다 훨씬 앞서 있는 느낌임
    • HN은 언제나 “현재 과열된 기술이 얼마나 진짜이고 얼마나 과장인가”를 두고 갈림
      이런 일을 여러 번 봤고, 기술과 시점에 따라 서로 다른 편에 서본 적도 있음
      내게는 늘 보던 장면과 같음

  • 글은 처음에 과학 전반의 AI, 적어도 저자 분야의 AI가 모두 과장이라고 암시하는 듯 보임. 하지만 불만은 PINN이라는 특정 아키텍처에 향해 있는 것 같고, 마지막에는 전통적 수치해석법보다 빠르게 PDE를 계산하기 위해 다른 딥러닝 모델을 성공적으로 썼다고도 말함

    • PINN보다 훨씬 넓은 문제임. PINN이 형편없다는 건 오래전부터 널리 알려져 있었음. 하지만 물리 문제에 기계학습을 쓰는 전반적인 실패는 훨씬 더 넓게 퍼져 있음
      기계학습이 대체로 빛나는 경우는, 비교적 좁은 영역에 대해 실험 데이터가 꽤 많은 때임. 1990년대부터 있었던 기계학습 원자간 퍼텐셜이 그런 사례임. 날씨 모델링도 그럴 가능성이 있지만 그쪽은 논평하고 싶지 않음. 또는 데이터가 말도 안 되게 많고 정말 거대한 모델을 훈련할 때임. 우리가 AI라고 부르는 것이 이것임. AlphaFold가 성공한 이유도 기본적으로 이것이고, AlphaFold도 훈련 데이터의 어떤 지점과도 멀리 떨어진 입력을 넣으면 좋은 결과를 내지 못함
      하지만 물리 문제용 기계학습 대부분은 그 중간 어딘가에 있음. 실험 데이터는 부족하고, 시뮬레이션 데이터는 생성 비용이 너무 비싸 충분하지 않음. 모델도 충분히 크지 않은데, 너무 크면 어차피 추론이 느려지기 때문임. 그러면서 이 모델들이 매우 넓은 범위의 물리를 배우길 기대함
      이후 모두가 과열 열차에 올라탐. 시도해보기가 너무 쉽기 때문임. 모두가 같은 꽝 결과를 얻지만 그래도 출판함. 연구실이나 PI가 충분히 유명하거나 문제를 독특하고 과학적·수학적으로 보이게 정식화하면 좋은 저널이나 학회에 실리고 인용도 많이 받을 수 있음. 하지만 결국 결과는 똑같음. 훈련 데이터를 어느 정도 복제하고, 일반화 문제는 누군가가 더 연구해야 한다는 결론임
    • 저자는 여러 모델을 대상으로 체계적 분석을 제공하는 논문 전체를 출판했음. 그에 대한 절도 따로 있음. 그래서 PINN만의 이야기는 아님
    • PINN을 어떤 “AI” 해법으로 바꿔도 여전히 과장되어 있을 것임
      지금까지 “AI”에 대한 현실적인 평가는, 전문가가 지루한 일을 조금 건너뛰는 데만 유용하고 출력은 세 번 확인해야 한다고 인정하는 것뿐임

  • “몇 주간 실패한 뒤 다른 대학의 친구에게 메시지를 보냈고, 그도 PINN을 써봤지만 좋은 결과를 얻지 못했다고 했다”는 부분은 AI와 직접 관련은 적지만, 대학에서 연구할 때 너무 늦게 배운 교훈을 떠올리게 함. 지속적인 협업이 중요함. 다른 사람들이 이미 실패한 영역을 다시 밟는 일을 피하게 해주기 때문임

    • 연구자들이 실패한 실험도 출판해야 한다는 필요성으로도 볼 수 있지 않을까
    • 과학용 AI 에이전트라는 생각이 별로 말이 안 된다고 느꼈던 또 다른 이유임. 연구는 극도로 협업적인 활동들의 묶음임. 문헌 검토는 아주 잘하지만 아무와도 실제로 대화하지 않고 학회에도 가지 않는 연구자가 얼마나 훌륭할 수 있을까

  • 분석이 훌륭하고 예시도 정확함. AI 관련 연구의 또 다른 문제는 논문 상당수가 새롭고 “제대로 된” 곳에 출판된 것도 많지 않은데도, Google Scholar만 봐도 여기저기서 계속 인용된다는 것임
    결과를 재현하고 일부 진술의 타당성을 확인하기 어렵고, 4년 전 연구는 한 세트의 모델을 썼는데 지금 테스트에는 다른 훈련 데이터를 가진 다른 모델 세트가 쓰인다는 점도 있음. 무엇이 실제로 결과에 영향을 주는지, 결론이 낡은 모델의 특정 속성에만 적용되는지 아니면 일반화 가능한지 확립하기 어려움

    • 과학자나 연구자는 아니지만, 통계와 데이터 해석에 기반한 것은 무엇이든 곧바로 의심하게 됨

  • 제목이 바뀐 건가, 아니면 내가 환각을 보기 시작한 건가
    제목은 “I got fooled by AI-for-science hype—here's what it taught me”임

    • 바뀐 게 맞음. 개인적으로는 더 나빠졌다고 봄. 원래 제목에서 바뀌었음
      여기서는 심각한 문제가 없는 한 원제목을 선호해야 함
      이 원제목에는 심각한 문제가 없었음. 과학 연구에 대한 의심스러운 AI 기여를 박사과정생이 신중하게 비판한 내용을 정확히 요약하는 것이 심각한 문제라면 모를까
    • 환각이 아님: https://web.archive.org/web/20250520152757/https://news.ycom...

  • 이 글은 AI에 대한 글이라기보다, 박사과정의 덜 이야기되는 기능 중 하나인 학술적 주장 읽기 능력을 기르는 이야기로 보임
    논문에 나온 주장들은 놀랍지 않음. 시간이 지나며 우리가 “과학”이라고 부르게 된 뒤섞인 유인 구조의 자연스러운 산물이기 때문임. 과학의 산출물을 올바른 맥락에 놓고, “논문”이 그에 따른 모든 복잡성을 지닌 사회기술적 시스템의 산물임을 이해하려면 시간이 걸리는 연습이 필요함

답변달기