리처드 서튼과 앤드류 바르토, 2024 튜링상 수상

 (awards.acm.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • ACM은 강화학습의 개념적·알고리듬적 기반을 세운 Andrew G. Barto와 Richard S. Sutton을 2024 ACM A.M. Turing Award 수상자로 선정함
  • 두 사람은 1980년대부터 보상 기반 학습을 일반 문제 프레임워크로 정식화하고, 환경과 보상이 알려지지 않은 상황에서도 작동하는 접근을 발전시킴
  • 핵심 기여는 시간차 학습, 정책 경사 방법, 신경망 기반 함수 표현, 학습과 계획을 결합한 에이전트 설계로 이어짐
  • 1998년 교재 Reinforcement Learning: An Introduction은 75,000회 이상 인용됐고, AlphaGo·ChatGPT의 RLHF·로봇 조작·네트워크 혼잡 제어·칩 설계 등에 영향을 줌
  • 튜링상은 Google 지원으로 상금 100만 달러가 수여되며, ACM은 강화학습이 AI 발전과 뇌 작동 이해 모두에 기여했다고 봄

수상자와 선정 이유

  • ACM은 Andrew G. Barto와 Richard S. Sutton을 2024 ACM A.M. Turing Award 수상자로 선정함
  • 선정 사유는 강화학습의 개념적·알고리듬적 기반을 개발한 공로임
  • 두 사람은 1980년대부터 논문을 통해 강화학습의 핵심 아이디어를 도입하고, 수학적 기반과 주요 알고리듬을 구축함
  • Barto는 University of Massachusetts, Amherst의 Information and Computer Sciences 명예교수임
  • Sutton은 University of Alberta 컴퓨터과학 교수, Keen Technologies 연구 과학자, Amii(Alberta Machine Intelligence Institute) 펠로우임
  • ACM A.M. Turing Award는 “컴퓨팅의 노벨상”으로 불리며, Google, Inc.의 재정 지원으로 100만 달러 상금이 수여됨

강화학습이 푸는 문제

  • 인공지능은 일반적으로 환경을 지각하고 행동하는 에이전트를 만드는 분야임
  • 더 지능적인 에이전트는 더 나은 행동 경로를 선택해야 하며, 어떤 행동이 다른 행동보다 낫다는 판단이 AI의 중심에 있음
  • 보상(reward) 은 심리학과 신경과학에서 온 용어로, 에이전트 행동의 품질과 관련해 제공되는 신호를 뜻함
  • 강화학습은 이 보상 신호를 바탕으로 더 성공적으로 행동하는 방법을 배우는 과정임
  • Alan Turing은 1950년 논문 “Computing Machinery and Intelligence”에서 “기계가 생각할 수 있는가?”를 다루며 보상과 처벌에 기반한 기계학습 접근을 제안함
  • Arthur Samuel은 1950년대 후반 자기 대국으로 학습하는 체커 프로그램을 개발했지만, 이후 수십 년 동안 이 계열의 AI에서는 큰 진전이 거의 없었음

Barto와 Sutton의 기술적 기여

  • 1980년대 초 Barto와 당시 박사과정 학생이던 Sutton은 심리학 관찰에서 동기를 얻어 강화학습을 일반 문제 프레임워크로 정식화하기 시작함
  • 두 사람은 마르코프 결정 과정(MDP) 의 수학적 기반을 활용함
    • MDP에서는 에이전트가 확률적 환경에서 결정을 내림
    • 각 전이 뒤 보상 신호를 받고, 장기 누적 보상을 최대화하는 것을 목표로 함
  • 표준 MDP 이론은 모든 정보가 에이전트에게 알려져 있다고 가정하지만, 강화학습 프레임워크는 환경과 보상이 알려지지 않은 상황도 다룸
  • 정보 요구량이 작고 MDP 프레임워크가 일반적이어서 강화학습은 다양한 문제에 적용 가능함
  • Barto와 Sutton은 공동 연구와 후속 협업을 통해 여러 기본 강화학습 알고리듬 접근을 개발함
    • 가장 중요한 기여는 보상 예측 문제 해결에서 큰 진전을 만든 시간차 학습(temporal difference learning) 임
    • 정책 경사 방법(policy-gradient methods) 도 주요 접근에 포함됨
    • 학습된 함수를 표현하는 도구로 신경망을 사용하는 접근을 발전시킴
    • 환경 지식을 획득해 계획의 기반으로 삼는 학습·계획 결합 에이전트 설계도 제안함

교재와 딥 강화학습으로 이어진 영향

  • 1998년 교재 Reinforcement Learning: An Introduction은 여전히 분야의 표준 참고문헌이며 75,000회 이상 인용됨
  • 이 교재는 수천 명의 연구자가 신흥 분야였던 강화학습을 이해하고 기여하는 데 도움을 줬고, 오늘날 컴퓨터과학 연구 활동에도 영향을 주고 있음
  • Barto와 Sutton의 알고리듬은 수십 년 전에 개발됐지만, 최근 15년 동안 강화학습과 딥러닝 알고리듬이 결합되며 실제 응용에서 큰 진전이 나타남
  • 이 결합은 딥 강화학습(deep reinforcement learning) 기법으로 이어짐
  • 딥러닝 알고리듬은 2018년 튜링상 수상자인 Bengio, Hinton, LeCun이 개척한 것으로 소개됨

적용 사례와 연구 확장

  • 강화학습의 대표 사례로 2016년과 2017년 AlphaGo가 최고 인간 바둑 기사들을 이긴 일이 꼽힘
  • ChatGPT도 주요 성과에 포함됨
    • ChatGPT는 두 단계로 학습된 대형 언어 모델임
    • 두 번째 단계에서 인간 기대를 포착하기 위해 인간 피드백 기반 강화학습(RLHF) 을 사용함
  • 로봇 분야에서는 손 안 로봇 조작과 물리적 Rubik’s Cube 풀이 사례가 있음
    • 강화학습을 시뮬레이션에서 수행하고도, 상당히 다른 실제 세계에서 성공할 수 있음을 보임
  • 다른 적용 영역에는 네트워크 혼잡 제어, 칩 설계, 인터넷 광고, 최적화, 글로벌 공급망 최적화, 챗봇의 행동과 추론 능력 개선, 행렬 곱셈 알고리듬 개선이 포함됨
  • 신경과학에서 영감을 받은 기술은 다시 신경과학에도 영향을 줌
    • Barto의 연구를 포함한 최근 연구는 AI에서 개발된 특정 강화학습 알고리듬이 인간 뇌의 도파민 시스템 관련 여러 발견을 가장 잘 설명한다고 봄

ACM과 Google의 평가

  • ACM President Yannis Ioannidis는 Barto와 Sutton의 연구가 컴퓨팅의 오래된 과제에 다학제 접근을 적용할 잠재력을 보여준다고 평가함
  • 인지과학, 심리학, 신경과학은 강화학습 발전에 영감을 줬고, 강화학습은 AI의 중요한 발전 기반과 뇌 작동에 대한 더 큰 통찰을 제공함
  • Ioannidis는 강화학습이 지나간 발판이 아니라 계속 성장 중이며, 컴퓨팅과 여러 분야의 추가 발전 잠재력을 제공한다고 밝힘
  • Google Senior Vice President Jeff Dean은 Alan Turing이 1947년 강연에서 “우리가 원하는 것은 경험에서 배울 수 있는 기계”라고 말한 점을 인용함
  • Dean은 Barto와 Sutton이 개척한 강화학습이 Turing의 과제에 직접 답하며, 지난 수십 년간 AI 진전의 핵심축이었고 AI 붐의 중심 기둥으로 남아 있다고 평가함

수상자 약력

  • Andrew Barto는 University of Massachusetts, Amherst의 Information and Computer Sciences 학과 명예교수임
    • 1977년 UMass Amherst에서 박사후 연구원으로 경력을 시작함
    • 이후 Associate Professor, Professor, Department Chair 등을 역임함
    • University of Michigan에서 수학 학사, Computer and Communication Sciences 석사와 박사를 받음
    • UMass Neurosciences Lifetime Achievement Award, IJCAI Award for Research Excellence, IEEE Neural Network Society Pioneer Award를 받음
    • IEEE Fellow, AAAS Fellow임
  • Richard Sutton은 University of Alberta 컴퓨팅과학 교수, Dallas 기반 인공일반지능 회사 Keen Technologies 연구 과학자, Amii 최고과학고문임
    • 2017년부터 2023년까지 DeepMind Distinguished Research Scientist였음
    • 1998년부터 2002년까지 AT&T Shannon Laboratory AI 부서 Principal Technical Staff Member로 일함
    • Barto와의 협업은 1978년 University of Massachusetts at Amherst에서 시작됐으며, Barto는 Sutton의 박사 및 박사후 지도교수였음
    • Stanford University에서 심리학 학사, University of Massachusetts at Amherst에서 Computer and Information Science 석사와 박사를 받음
    • IJCAI Research Excellence Award, Canadian Artificial Intelligence Association Lifetime Achievement Award, University of Massachusetts at Amherst Outstanding Achievement in Research Award를 받음
    • Royal Society of London, Association for the Advancement of Artificial Intelligence, Royal Society of Canada의 펠로우임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이걸 보니 정말 반갑다. 알고 보니 우리 부부가 Andy Barto 부부의 집을 샀다
    매입 과정에서 입찰 경쟁이 있었고, “최고 제안을 내라”고 해서 그가 수학자라는 걸 알고 소수인 금액으로 제안했다. 그의 업적이 인정받는 걸 보니 멋지다

    • “서로 공평하게 하죠, 2달러 어때요?”라고 농담했어도 좋았겠다
    • “소수인 금액”이라면 $12345678910987654321였나?
    • 엄청난 이야기다. 그 소수 금액이 얼마였는지 궁금함

  • 멋지고, 충분히 받을 만하다. 두 판 모두 강화학습 교과서를 무료 PDF로 공개해 두었다
    1982년부터 유급 AI 실무자로 일해 왔지만 강화학습은 개인적으로 익히기 어려운 주제였고, Sutton/Barto 책과 White 교수들의 Coursera 강화학습 강의가 큰 도움이 됐다. 추천함
    책의 예제 프로그램은 Common Lisp와 Python으로 제공된다: http://incompleteideas.net/book/the-book-2nd.html

  • 지금 The Bitter Lesson을 다시 읽기 좋은 때다: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson...

    • 정식 URL은 여기다: <http://www.incompleteideas.net/IncIdeas/BitterLesson.html>
    • 정말 씁쓸한 교훈이다. 예전에는 인간 지식을 컴퓨터에 인코딩하는 일이 즐거웠고, 그 덕분에 무슨 일이 일어나는지 이해할 수 있었다
      이제는 모든 것이 추론하기 어려운 거대한 블랙박스가 되어 간다. 또한 무어의 법칙은 자기실현적 예언이 됐다. AI가 계산 능력 수요를 크게 밀어 올리면서 칩 제조사들이 전용 하드웨어를 만들게 되고, 이게 플라이휠처럼 돌아가고 있다
    • AI 연구의 목표가 무엇인지에 따라 조금 달라진다. 인간 정신만 할 수 있거나 필요하다고 여겨졌던 작업을 잘하는 기계를 만드는 것이 목표라면, 이런 씁쓸한 교훈은 충분히 가치 있다
      하지만 기계에게 X를 하도록 가르치면서 사람이 X를 어떻게 하는지도 이해하려는 목적이라면, 점점 더 복잡해지는 통계적 구성은 얻을 수 있는 정보가 제한적이다. 어느 한쪽 편을 드는 건 아니고, 더 섬세한 접근이 필요할 수 있다는 뜻이다
    • 컴퓨터 비전에서도 비슷한 흐름이 있었다. 초기 방법은 에지, 일반화 원통, SIFT 특징을 찾는 식으로 시각을 다뤘지만, 오늘날에는 이런 것들이 버려지고 현대 딥러닝 신경망은 합성곱과 특정 불변성만으로 훨씬 더 잘한다
      비전에서 패턴 매칭이 죽기 시작하던 그 시점에 현장에 있었다. 완전히 사라진 것은 아니고, 그때 배운 것들은 지금도 다른 곳에서 유용하다
    • 고전적 자연어 처리 실무자들이 배웠을 씁쓸한 교훈을 생각하면 아찔하다. 그 글은 지금도 여전히 맞다

  • 그들의 책 Reinforcement Learning: An Introduction은 AI/기계학습 분야에서 가장 접근하기 쉬운 텍스트 중 하나라서 강력히 추천한다

    • 강화학습 쪽으로 들어가 보려 했지만, 늘 공식들과 별표가 붙은 이것저것에서 내 수준을 훨씬 넘어선다는 느낌을 받았다
    • 배경이 어떻게 되는지 궁금하다. 안타깝게도 나는 그 책이 그다지 접근하기 쉽다고 느끼지 못했다
    • 그 책은 읽는 즐거움이 있다. 강력 추천
    • 말하는 책이 Reinforcement Learning: An Introduction인가? 아니면 다른 책도 썼나?

  • 균형을 맞추려면 물리학자들에게 줬어야 했다

  • Sutton은 인간 계승주의자이고 인류가 모두 죽어도 신경 쓰지 않는 사람이라는 점을 상기할 필요가 있다. 신뢰하거나 기념할 대상이 아니다: https://www.youtube.com/watch?v=NgHFMolXs3U

    • ACM 상은 그들의 전문적 학술 성취에 주어지는 것이다. 누군가의 사생활을 파헤쳐 가장 이상하게 말한 부분을 찾아내고, 그것으로 평생의 업적 전체를 악으로 덮어버리는 집착은 멈춰야 한다
      A가 마음에 들지 않고 그 사람이 A를 말했다거나 했다는 이유로, 세상을 바꿀 수 있는 B에 대한 고귀한 성취까지 누구나 무효화할 수 있다는 건 어리석고 위험하다. 인터넷은 그 문제를 잘 아는 사람들의 판단과 단순한 반감을 같은 무게로 올려놓는다. 이런 방식이 더 큰 규모로 사람들을 갈라놓고 있어서 화가 난다
    • Sutton을 직접 만나 본 적이 있나? 내가 만나 본 사람 중 가장 따뜻하고 배려심 많고 열정적인 히피에 가깝다. 그는 모든 인간이 죽기를 바라지 않는다
      링크한 강연도 그 주장을 뒷받침하지 않는다. 내가 놓쳤다면 타임스탬프를 남겨 달라. 강연에서 그는 인류가 자기 운명을 단독으로 통제하지는 않게 되더라도 번영의 시대로 이어질 것이라고 말한다. 12:33의 결론 슬라이드에는 문자 그대로 “인류의 장기적 미래를 위한 최선의 희망”이라는 항목이 있다. 이는 “인류가 모두 죽어도 신경 쓰지 않는다”와 정반대다
      내가 계승을 준비한다고 해서 딸이 나를 살해하길 바라거나 기대하는 것은 아니다. 건강하게 오래 은퇴 생활을 하다가, 우주와의 공생 관계 속에서 딸에게 가능한 한 잘 남겨 주었다는 걸 알고 조용히 잠들기를 바라는 것이다
    • “인류가 모두 죽어도 신경 쓰지 않는다”는 그의 입장에 대한 가혹하고 오해를 부르는 표현으로 보인다
      내가 보기에는 그는 인간이 결국 트랜스휴먼으로 대체되는 일이 불가피하다고 믿는 쪽에 가깝다. 악의라기보다는 거친 과학소설식 유토피아주의처럼 보이며, 그의 학문적 업적을 기념하지 말아야 할 이유는 아닌 듯하다
    • 그런 관점을 알리는 건 흥미롭지만, 동의하지 않는 견해를 가졌다는 이유만으로 왜 누군가를 신뢰하거나 기념하면 안 되는지는 모르겠다
      특히 Sutton이 모두가 죽기를 적극적으로 바란다는 암시는 근거가 매우 약해 보인다
    • 그의 마지막 슬라이드에는 문자 그대로 “인류의 장기적 미래를 위한 최선의 희망”이라고 적혀 있다. 주장과 정반대다

  • 내가 가르친 수업에서 그들의 강화학습 책을 썼다. 글이 아름답고 무료로 공개되어 있다: http://incompleteideas.net/book/the-book-2nd.html
    문장이 너무 좋아서 읽다가 실제 내용을 놓칠 때가 있었다

  • Andrew Barto와 Richard Sutton의 Turing Award 수상을 크게 축하한다. 학생 시절 Reinforcement Learning: An Introduction은 이 분야로 들어가는 관문이었다
    특히 6장 Temporal Difference Learning은 순차적 의사결정을 바라보는 방식을 근본적으로 바꿔 놓았다. 지금도 읽기를 강력히 추천하는 시대를 타지 않는 고전이다

  • 오래 기다린 수상이다. 하나의 아이디어를 처음부터 끝까지 밀고 가서, 동적 계획법 책의 하위 장이 아니라 하나의 분야 전체로 키워 냈다
    이 모든 것이 시작된 곳이기도 한 게임에서 강화학습이 훨씬 더 많이 쓰였으면 좋겠다. 정말 멋질 텐데

  • 받을 만한 상이다. 강화학습은 신경망과 함께 가진 유연성 덕분에 시간이 갈수록 더 중요해질 것이다
    규모를 키워 가면 씁쓸한 교훈도 그리 씁쓸하게 느껴지지 않을 듯하다

답변달기