GN⁺: 적대적 정책, 초인적 Go AI 제압 (2023)
(arxiv.org)컴퓨터 과학 > 머신러닝
- 제목: Adversarial Policies Beat Superhuman Go AIs
- 저자: Tony T. Wang, Adam Gleave, Tom Tseng, Kellin Pelrine, Nora Belrose, Joseph Miller, Michael D. Dennis, Yawen Duan, Viktor Pogrebniak, Sergey Levine, Stuart Russell
- 제출일: 2022년 11월 1일 (v1), 마지막 수정 2023년 7월 13일 (v4)
요약
- 연구팀은 최첨단 바둑 AI 시스템인 KataGo를 대상으로 적대적 정책을 훈련하여, 초인적 설정에서 KataGo를 상대로 97% 이상의 승률을 달성함.
- 적대적 정책은 바둑을 잘 두어서 이기는 것이 아니라, KataGo가 심각한 실수를 하도록 유도함.
- 이 공격은 다른 초인적 바둑 AI에도 제로샷으로 전이되며, 인간 전문가가 알고리듬의 도움 없이도 일관되게 초인적 AI를 이길 수 있을 정도로 이해 가능함.
- 공격에 대응하도록 적대적 훈련된 KataGo 에이전트에서도 발견된 핵심 취약점이 지속됨.
- 연구 결과는 초인적 AI 시스템도 놀라운 실패 모드를 가질 수 있음을 보여줌.
추가 정보
- 논문 상태: ICML 2023에 수락됨
- 주제: 머신러닝 (cs.LG); 인공지능 (cs.AI); 암호학 및 보안 (cs.CR); 머신러닝 (stat.ML)
- ACM 분류: I.2.6
- 인용: arXiv:2211.00241 [cs.LG] (또는 arXiv:2211.00241v4 [cs.LG] 이 버전)
-
제출 이력:
- [v1] 2022년 11월 1일
- [v2] 2023년 1월 9일
- [v3] 2023년 2월 18일
- [v4] 2023년 7월 13일
접근 방법
- PDF 및 다른 형식으로 논문 접근 가능
- 관련 논문 및 인용 도구 제공
arXiv 정보
- arXiv는 연구 논문을 공유하는 플랫폼으로, 다양한 주제의 논문을 제공함.
Hacker News 의견
-
한 사용자는 논문이 처음에는 놀랍게 보이지만, 이해하기 어렵다고 언급함. Go와 Go AI에 대해 조금 알고 있으며, 체스와 체스 AI에 대해 많이 알고 있음에도 불구하고 설명이 부족하고 전문 용어가 많아 이해하기 힘들다고 느꼈음
- 논문이 그들의 아이디어를 감추고 있다고 생각하며, 아이디어는 놀랍고 간단할 수 있다고 언급함
-
체스의 엣지 케이스를 제시하며, Stockfish와 Lc0의 평가를 비교함
- 첫 번째 경우, Stockfish와 Lc0는 백이 약간 유리하다고 평가함
- 두 번째와 세 번째 경우, 둘 다 흑이 승리한다고 평가함
- 네 번째 경우, Lc0는 이해하지만 Stockfish는 이해하지 못함
-
바둑에서는 아마추어가 예측 불가능한 수로 인해 도전적인 상대가 될 수 있다고 언급함
- 비정상적인 형태의 수가 가끔 효과적일 수 있음
-
Deep Blue 이후 체스 플레이어들이 컴퓨터에 대한 전략을 개선한 것을 상기시킴
- 바둑의 경우 공간이 더 크기 때문에 더 많은 반컴퓨터 전략이 있을 가능성이 있음
- 평가 함수의 취약점을 이용하는 방식임
-
체스에서도 더 많은 계산이 승리를 가져온다고 언급함
- Elo는 승패의 측정치이며, 난이도와 혼동하면 잘못된 추론을 초래할 수 있음
-
2022년부터 2023년까지 수정된 논문을 언급하며, 이전에 본 적이 있을 수 있다고 함
- 이 접근 방식이 Leela 스타일의 체스 엔진에 대해 얼마나 효과적인지 궁금해함
-
인간에게도 희망이 있다고 언급함
-
논문이 바둑 AI에서 적대적 전략에 대한 방어를 통합하는 데 사용될 것이라고 언급함
- 단순한 호기심이지만 AI 개발의 전반적인 상태를 반영함
-
"우리의 결과는 초인적인 AI 시스템도 놀라운 실패 모드를 가질 수 있음을 보여준다"는 결론이 비어 있다고 언급함
- 미래의 "초지능"에 대한 의미가 없으며, 이러한 "실패 모드"를 가질 수도 있고 아닐 수도 있음