리처드 서튼과 앤드류 바르토, 2024 튜링상 수상

• ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology

• Andrew Barto and Richard Sutton Recognized as Pioneers of Reinforcement Learning

  • ACM은 2024년 ACM A.M. Turing Award 수상자로 Andrew G. Barto와 Richard S. Sutton을 선정하였음. 이들은 강화 학습의 개념적 및 알고리듬적 기초를 개발하였음.
  • Barto는 매사추세츠 대학교 애머스트 캠퍼스의 정보 및 컴퓨터 과학 명예 교수이며, Sutton은 앨버타 대학교의 컴퓨터 과학 교수로 활동 중임.
  • Turing Award는 컴퓨팅 분야의 노벨상으로 불리며, Google의 재정 지원을 받아 100만 달러의 상금이 수여됨.

• What is Reinforcement Learning?

  • 인공지능(AI) 분야는 주로 인지하고 행동하는 에이전트를 구축하는 것에 중점을 둠. 강화 학습(RL)은 이러한 에이전트가 보상 신호를 통해 더 나은 행동을 학습하는 과정임.
  • 강화 학습의 기초는 1980년대 초 Barto와 Sutton이 심리학에서의 관찰을 바탕으로 일반적인 문제 프레임워크로서 강화 학습을 공식화하면서 시작되었음.
  • 이들은 마르코프 결정 프로세스(MDP)를 기반으로 한 수학적 기초를 활용하여 강화 학습 알고리듬을 개발하였음.

• 주요 기여

  • Barto와 Sutton은 강화 학습의 기본 알고리듬 접근법을 개발하였으며, 특히 시간 차 학습과 정책 경사 방법, 신경망을 활용한 학습 함수 표현을 포함함.
  • 이들의 교과서 "Reinforcement Learning: An Introduction"은 여전히 이 분야의 표준 참고서로 사용되며, 75,000회 이상 인용되었음.

• 강화 학습의 실제 응용

  • 강화 학습은 최근 15년 동안 심층 학습 알고리듬과 결합하여 큰 발전을 이루었음. 대표적인 예로 AlphaGo의 바둑 승리와 ChatGPT의 개발이 있음.
  • 강화 학습은 로봇 모터 기술 학습, 네트워크 혼잡 제어, 칩 설계, 인터넷 광고 최적화 등 다양한 분야에서 성공을 거두고 있음.

• 강화 학습의 신경과학적 영감

  • 최근 연구에 따르면, AI에서 개발된 특정 강화 학습 알고리듬이 인간 뇌의 도파민 시스템에 대한 설명에 가장 적합하다는 결과가 나왔음.

• ACM A.M. Turing Award에 대한 설명

  • Turing Award는 1966년부터 정보 기술 산업을 발전시킨 컴퓨터 과학자와 엔지니어를 기리기 위해 수여되고 있음.

• 2024 ACM A.M. Turing Award 수상자

  • Andrew Barto는 매사추세츠 대학교 애머스트 캠퍼스의 정보 및 컴퓨터 과학 명예 교수로, 다양한 상을 수상하였음.
  • Richard Sutton은 앨버타 대학교의 컴퓨터 과학 교수로, 다양한 연구 기관에서 활동하며 여러 상을 수상하였음.

[GN⁺]

Hacker News 의견

• 매우 멋진 일임. 아내와 나는 Andy Barto와 그의 아내의 집을 구매했음

  • 구매 과정에서 입찰 전쟁이 있었음
  • 그가 수학자라는 것을 알고 소수(prime number)로 제안을 했음
  • 그의 업적이 인정받는 것을 보니 정말 기쁨

• 멋짐! 잘 자격을 갖춘 사람임. 그들은 RL 교과서 두 판을 무료 PDF로 제공함

  • 1982년부터 AI 실무자로 일해왔고, RL은 개인적으로 마스터하기 어려운 주제였음
  • Sutton/Barto 책, White 교수의 Coursera RL 강의 등이 큰 도움이 되었음: 추천함
  • 그들의 책의 예제 프로그램은 Common Lisp와 Python으로 제공됨

• The Bitter Lesson을 다시 읽기 좋은 시기임

• Sutton은 인간 후계주의자이며, 인간이 모두 죽어도 상관하지 않음. 그는 신뢰할 수 없고 축하받을 인물이 아님

• 물리학자들에게 상을 줬으면 더 좋았을 것임

• Sutton이 미국 대신 캐나다 에드먼턴에 사는 것이 놀라움

  • 이는 그가 명예와 돈보다 진실성과 성실함을 중시한다는 것을 보여줌

• 이들은 훌륭하지만, 불행히도 Sutton과 Barto의 AI 책은 정말 나쁨

  • Trask의 Grokking Machine Learning과 몇 달간의 ML 논문 구현이 더 나을 것임

• 내가 가르친 강의에서 그들의 RL 책을 사용했음

  • 아름답게 쓰여졌고 무료로 제공됨
  • 아름다운 글에 자주 집중하다가 실제 내용을 놓치곤 했음

• Andrew Barto와 Richard Sutton의 Turing Award 수상을 진심으로 축하함

  • 학생 시절, 그들의 교과서 Reinforcement Learning: An Introduction이 이 분야에 입문하는 계기가 되었음
  • 'Temporal Difference Learning'에 대한 6장이 순차적 의사결정에 대한 사고방식을 근본적으로 바꾸어 놓았음
  • 오늘날에도 여전히 읽기를 강력히 추천하는 고전임

• 오랜 시간이 걸린 일임. 아이디어를 처음부터 끝까지 관철시키고, 이를 동적 프로그래밍 책의 하위 장이 아닌 전체 분야로 확장시킴

  • 더 많은 게임이 실제로 RL을 사용했으면 좋겠음 - 이 모든 것이 시작된 곳임 - 정말 멋질 것임