Hacker News 의견

• 사용자가 원하는 수준의 체스 상대를 찾기 어려움. 대부분의 엔진은 검색 깊이를 줄여 난이도를 낮추지만, 이는 효과적이지 않음

  • 사용자는 인간 플레이어처럼 느껴지는 컴퓨터 상대를 원함

• 한 사용자는 체스와 관련된 지식 증류에 대한 발표를 했으며, 복잡한 비선형 검색 기능을 체스와 같은 표준 입력에 대해 준선형 변환기 모델로 증류하는 방법을 설명함

• 체스 신경망에 관심이 있는 사람들에게 PyTorch를 사용한 쉬운 코드와 현재 최고 성능의 체스 신경망과 유사한 아키텍처를 제공하는 GitHub 저장소를 추천함

• LC0 네트워크와 DeepMind의 변환기 네트워크를 비교한 블로그 게시물이 있음

• "Grandmaster-Level Chess Without Search" 논문은 대규모 주의 기반 아키텍처와 데이터셋의 중요성을 강조하며, 270M 파라미터 변환기 모델을 사용하여 체스를 학습함

  • Stockfish 16 엔진을 사용하여 10억 개 이상의 데이터 포인트를 생성하고, 인간과의 Lichess blitz Elo 2895를 달성함
  • AlphaZero의 정책 및 가치 네트워크를 능가함

• 대규모 합성 데이터셋은 전통적인 검색을 사용하여 생성되었으며, 이는 변환기 모델에 검색 트리를 인코딩하는 것과 같음

• Matthew Sadler는 Leela Zero를 직관적으로 플레이하도록 설정했으며, 이는 검색 없이도 효과적으로 훈련 게임을 수행함

• 체스를 해결하면 너무 큰 트리가 생성되며, 이를 최적화하기 위한 두 가지 접근법이 있음

  • 트리를 근사화하고 주석을 근사화하는 것
  • 270M 단어의 데이터로 트리를 근사화할 수 있음

• FEN 문자열을 고정 길이 문자열로 변환하여 보드 상태를 인코딩하고, UCI 표기법을 사용하여 행동을 저장함

  • 문제 변형마다 토크나이저를 재작성해야 한다면 이는 단순한 프로그래밍임