▲
GN⁺ 2024-11-15 | parent | ★ favorite | on: LLM과 체스에서 발생하는 이상 현상(dynomight.substack.com)
Hacker News 의견

  • OpenAI가 체스를 중요한 기준으로 삼고 gpt-3.5-turbo-instruct에 특별한 처리를 했지만, 후속 모델에는 추가하지 않았다는 가능성을 간과한 것 같음

    • 체스는 지속적인 언론 보도를 생성하지 않았기 때문일 수 있음

  • Q5_K_M 양자화로 모든 오픈 모델을 실행했지만, 이는 모든 매개변수의 손실 압축일 뿐 중요하지 않다고 생각함

  • 교육받은 사람들이 LLM이 체스를 잘할 것이라고 기대하는 이유를 이해하지 못함

    • 체스는 실제 추론과 결정론적 계산이 필요함

  • 좋은 결과가 반복 가능한지 궁금함

    • 과거에 좋은 결과를 얻었지만 다시 재현할 수 없었음
    • 벤처 캐피털의 경제학은 "속임수"로 여겨지는 기술을 정당화해야 하는 압박을 의미함

  • 정말 지능적인 모델을 원한다면 토큰화를 중단해야 할지도 모른다고 생각함

    • 정보 스트림의 구조를 제한함으로써 모델의 시각과 인식을 제한하고 있음

  • gpt-3.5-turbo-instruct가 체스에서 더 뛰어나다는 실험 결과를 발견함

  • 체스를 배우는 것이 순서를 배우는 것이라면 문제가 발생할 수 있음

    • 현대 체스 엔진은 최소한 모든 플레이어와 무승부를 기록할 수 있음

  • 문제 탐색 공간에서 계산을 늘리는 것을 시도해볼 수 있음

    • 초보 체스 플레이어가 할 수 있는 단계별 지침을 제공하여 다양한 매개변수를 조정할 수 있음

  • GPT-3.5-instruct가 전통적인 체스 엔진을 호출하여 체스를 플레이할 수 있다는 이론이 있음

  • 다양한 인간 경험에서 다양한 유형의 기술과 지능이 존재함을 알고 있음

    • 모델이 체스를 잘하는 것은 우연히 적절한 '연결체'를 가졌기 때문일 수 있음