Q-learning은 아직 확장 가능하지 않음

 (seohong.me)
1P by GN⁺ | ★ favorite | 댓글 1개
  • RL은 Go·Chess와 LLM 후훈련에서 큰 성과를 냈지만, 대부분은 새 롤아웃이 필요한 온폴리시 RL에 의존해 이전 데이터를 자유롭게 재사용하는 오프폴리시 RL과 조건이 다름
  • 대표적 오프폴리시 RL인 Q-learning은 샘플 효율성이 높지만, 100개 이상의 의미 있는 의사결정 단계가 필요한 장기 과제에서는 아직 충분히 확장되지 않음
  • 병목은 TD 학습의 편향된 부트스트랩 타깃이 horizon이 길어질수록 누적된다는 점이며, 이는 다음 토큰 예측·확산 모델·대조 학습과 다른 제약임
  • OGBench 실험에서 flow BC, IQL, CRL, SAC+BC는 일반 오프라인 RL 데이터셋보다 1000배 큰 1B 데이터셋에서도 모든 장기 과제를 풀지 못했고 성능이 최적 수준보다 낮게 정체됨
  • n-step returns와 계층형 RL 같은 horizon reduction은 확장성과 최종 성능을 개선했지만, 현재 기법은 문제를 상수배 완화할 뿐 임의의 복잡한 장기 과제를 해결하기엔 부족함

RL 확장성의 현재 위치

  • 다음 토큰 예측, denoising diffusion, 대조 학습은 대규모 데이터와 수십억 파라미터 모델에서 확장 가능한 목적함수임을 보여줌
  • RL도 Go·Chess에서 초인간 성능을 달성했고, LLM에서는 수학·코딩 같은 복잡한 추론 과제를 풀고 있음
  • 다만 현재 실제 성공 사례의 대부분은 온폴리시 RL 알고리듬에 기반함
    • 대표 예시는 REINFORCE, PPO, GRPO 등
    • 현재 정책에서 새로 샘플링한 롤아웃이 항상 필요함
    • 이전 데이터를 재사용할 수 없음
    • PPO류 방법은 제한적으로 데이터를 재사용할 수 있지만, OpenAI 문서와 같은 분류에 따라 온폴리시 RL로 봄
  • 보드게임이나 LLM처럼 롤아웃을 싸게 많이 만들 수 있는 환경에서는 이 제약이 큰 문제가 아닐 수 있음
  • 로보틱스에서는 RL로 언어 모델을 후훈련할 때 쓰는 수준의 샘플을 현실에서 생성하는 데 수개월 이상이 걸리고, 훈련 중 로봇 리셋을 위해 사람이 24시간 곁에 있어야 함

오프폴리시 RL과 Q-learning

  • 오프폴리시 RL은 원칙적으로 언제, 어떻게 수집된 데이터든 사용할 수 있음
  • 같은 데이터를 여러 번 재사용할 수 있어 일반적으로 샘플 효율성이 더 좋음
  • 실제 환경에서 개 로봇을 처음부터 20분 만에 걷도록 훈련한 사례도 있음
  • Q-learning은 가장 널리 쓰이는 오프폴리시 RL 알고리듬임
  • 실용적인 모델 프리 오프폴리시 RL 알고리듬 대부분은 TD 손실의 변형에 기반함
  • RL을 더 많은 실제 문제에 적용하려면 “Q-learning, 즉 TD learning이 확장 가능한가”가 핵심 질문이 됨
  • 가능하다면 로보틱스, 컴퓨터 사용 에이전트 같은 더 다양하고 복잡한 실제 과제를 효율적으로 풀 수 있음

“확장 가능”의 의미: 폭이 아니라 깊이

  • 여기서 확장성은 충분한 커버리지의 데이터, 컴퓨트, 시간을 더 투입했을 때 더 어렵고 더 긴 horizon의 문제를 풀 수 있는 능력을 뜻함
  • 이는 단일 모델로 더 많은 수의 과제를 푸는 능력과 다름
    • 과제 수가 늘어나는 것이 반드시 더 어려운 과제를 푼다는 뜻은 아님
    • 여러 기존 scaling 연구는 이 “폭(width)” 축의 가능성을 보여줌
  • 더 중요하고 어려운 축은 깊이(depth) 임
    • 더 고급 의사결정 능력을 요구하기 때문임
  • 현재 형태의 Q-learning은 깊이 축에서 높게 확장 가능하지 않음
  • 복잡한 장기 문제로 Q-learning과 오프폴리시 RL을 확장하려면 알고리듬 돌파구가 필요함

대규모 RL 성공 사례에서 빠진 Q-learning

  • 많은 실제 RL 성공은 TD 기반 Q-learning이 아닌 다른 방식에 기반함
  • AlphaGo, AlphaZero, MuZero는 모델 기반 RL과 Monte Carlo tree search를 사용하며, 보드게임에서 TD learning을 쓰지 않음
  • OpenAI Five는 Dota 2에서 PPO로 초인간 성능을 달성함
  • LLM을 위한 RL은 현재 PPO, GRPO 같은 온폴리시 정책 그래디언트 계열이 지배적임
  • AlphaGo나 LLM과 비슷한 규모에서 오프폴리시 RL, 특히 1-step TD learning이 성공한 실제 사례는 제시되지 않음
  • 이 평가는 오프폴리시 RL을 부정하기보다 RL 알고리듬 연구가 더 필요하다는 문제의식에 가까움

장기 과제에서 Q-learning이 흔들리는 이유

  • Q-learning의 TD 손실은 현재 Q 값을 보상과 다음 상태의 최대 Q 값을 더한 타깃에 맞추도록 학습함
  • 이 타깃은 실제 최적 Q 값과 같지 않을 수 있는 편향된 부트스트랩 타깃임
  • Q-learning이 확장에 어려움을 겪는 핵심 이유는 예측 타깃의 편향이 horizon을 따라 누적되기 때문임
  • 이 편향 누적은 TD learning의 근본적 한계로 작용함
    • 다음 토큰 예측, denoising diffusion, 대조 학습 같은 목적함수에는 이런 예측 타깃 편향이 없음
    • BYOL, DINO는 편향이 있더라도 horizon을 따라 누적되지는 않음
  • 문제가 복잡해지고 horizon이 길어질수록 부트스트랩 타깃의 편향은 더 심하게 쌓임
  • 더 많은 데이터와 더 큰 모델만으로는 이 문제를 쉽게 완화하기 어려움
  • 실제로 더 큰 할인율인 (\gamma > 0.999)를 거의 쓰지 않는 주요 이유도 이와 연결됨
  • 정책 그래디언트 방법은 이 문제를 상대적으로 덜 겪음
    • GAE 같은 온폴리시 가치 추정 기법은 더 높은 분산을 감수하면서도 긴 horizon을 상대적으로 쉽게 다룸
    • 엄격한 1-step 재귀에 묶이지 않음

OGBench 기반 확장성 실험

  • 최근 논문 Horizon Reduction Makes RL Scalable은 다양한 통제된 scaling 연구로 위 가설을 검증함
  • 목표는 현재 오프폴리시 RL 방법이 데이터와 컴퓨트를 키우는 것만으로 매우 어려운 과제를 풀 수 있는지 확인하는 것임
  • 실험에는 OGBench의 복잡하고 이전에 풀리지 않은 과제를 사용함
  • 과제의 요구 조건은 다음과 같음
    • 에이전트가 구조화되지 않은 랜덤한 play-style 데모에서 복잡한 goal-reaching 행동을 학습해야 함
    • 테스트 시 정밀 조작, 조합적 퍼즐 풀이, 장기 내비게이션을 수행해야 함
    • 과제는 1,000 environment steps에 걸쳐 진행됨
  • 실험은 혼란 변수를 줄이도록 설계됨
    • 과적합이 사실상 불가능할 정도의 near-infinite 데이터를 수집함
    • 탐색 문제를 제거하기 위해 오프라인 RL에 집중함
    • 데이터셋에 충분한 커버리지가 있고, 주어진 데이터셋에서 모든 과제가 풀릴 수 있음을 보장함
    • 표현 학습 부담을 줄이기 위해 ground-truth state observation을 직접 제공함
  • 이 통제 환경에서도 Q-learning이 확장되지 않는다면, 제한된 데이터와 noisy observation이 있는 현실 환경에서는 가능성이 더 낮아짐

표준 오프라인 RL 알고리듬의 결과

  • 표준적이고 널리 쓰이는 오프라인 RL 알고리듬은 모든 과제를 해결하지 못함
  • 대상 알고리듬은 flow BC, IQL, CRL, SAC+BC임
  • 실험은 1B 크기 데이터셋에서도 진행됨
    • 이는 일반적인 오프라인 RL 데이터셋보다 (1000 \times) 큼
  • 더 중요한 점은 성능이 종종 최적 성능보다 훨씬 낮은 곳에서 plateau에 도달했다는 점임
  • 더 큰 모델, 더 긴 훈련, 다른 하이퍼파라미터 등 여러 ablation과 통제 실험도 효과가 없었음
  • 예외적으로 효과가 있었던 방법은 horizon reduction임

Horizon reduction이 만든 개선

  • 앞선 가설은 horizon과 그에 따른 편향 누적이 오프폴리시 RL 확장의 주요 장애물이라는 것임
  • 이를 검증하기 위해 편향된 TD backup 수를 줄이는 여러 horizon reduction 기법을 시도함
    • 예시는 n-step returns, 계층형 RL 등
  • 결과는 긍정적이었음
    • n-step returns 같은 단순 기법도 확장성과 최종 성능을 크게 개선함
    • 단순히 훈련을 빠르게 만드는 trick이 아니라 asymptotic performance도 개선함
    • 완전한 계층형 방법은 더 잘 작동함
  • 실험 전반에서 일관되게 작동한 유일한 기법은 horizon reduction임
  • 데이터와 컴퓨트를 단순히 키우는 것만으로는 horizon의 저주를 해결하기 충분하지 않음
  • 이 문제를 직접 겨냥하는 더 나은 알고리듬이 필요함

확장 가능한 오프폴리시 RL 목적함수를 향한 연구 방향

  • horizon reduction은 Q-learning의 확장성을 열어주지만, 현재 기법은 문제를 근본적으로 해결하지 않음
  • n-step returns와 계층형 RL 같은 현재 방법은 대부분 문제를 상수배로 완화함
  • 임의로 복잡한 장기 문제까지 확장되는 오프폴리시 RL 알고리듬은 아직 부족함
  • 가능한 연구 방향은 세 가지로 정리됨
    • 임의 길이 horizon을 다루기 위해 2단계 계층을 넘어서는 단순하고 확장 가능한 재귀적 계층 구조를 찾는 방법
    • 모델 학습은 지도학습이고 온폴리시 RL도 확장 가능하므로, 먼저 모델을 학습한 뒤 그 모델 안에서 온폴리시 RL을 실행하는 모델 기반 RL 접근
    • TD learning을 완전히 피하는 방법
      • 예시로 quasimetric RL은 RL의 LP formulation에 기반함
      • contrastive RL 같은 MC 기반 방법도 TD 기반 접근보다 더 잘 확장될 가능성을 검증할 수 있음
  • 위 실험 설정은 이런 아이디어를 시험하기 위한 출발점이 될 수 있음
    • 복잡한 로봇 과제와 데이터셋이 이미 설계되어 있음
    • 과제가 주어진 데이터에서 풀릴 수 있음이 검증됨
    • 큐브를 더 추가하는 식으로 과제를 임의로 어렵게 만들어 알고리듬 확장성을 통제된 방식으로 스트레스 테스트할 수 있음
    • 코드 공개: horizon-reduction

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이 글은 Q 학습이 확장되기 어려운 더 큰 이유를 빠뜨린 듯함
    지평(horizon)이 길어질수록 가능한 상태 수가 보통 지수적으로 늘어나고, 그 상태들을 다룰 수 있는 Q를 학습하려면 데이터도 지수적으로 늘어야 함
    정책 온(on-policy) 학습에서는 이 문제가 덜한데, 중요한 건 현재 정책 근처의 상태뿐이고 실제로 그런 상태만 표본추출하기 때문임

    • 글의 과대추정 편향 분석은 맞다고 봄
      Q 학습의 max 연산 때문에 시간 단계가 지나며 잡음이 증폭되는 게 핵심이고, https://arxiv.org/abs/1509.06461 같은 편향 완화 기법은 강화학습 에이전트 성능을 개선하는 데 성공했음
      연구에 따르면 네트워크가 많이 방문하지 않은 상태에서 이 현상이 더 강하게 나타남
      상태 수가 지수적으로 많다는 건 그 상태들 사이에 패턴이 없을 때만 결정적임. 학습 가능한 구조가 있다면 잘 동작할 수 있고, 이건 딥러닝의 약점이 아니라 강점임
      관건은 올바른 학습 목표를 잡는 것인데, 글은 Q 학습이 그 목표가 아니라고 주장하는 셈임
      MuZero 같은 모델 기반 강화학습이 글쓴이의 우려에 대한 해법일지도 궁금함. MuZero는 이전 궤적을 재분석해 학습 효율을 높일 수 있고, 몬테카를로 트리 탐색(MCTS)은 모델을 여러 단계 펼쳐 지평을 줄이는 원칙적인 방법임
      MCTS의 max 연산도 비슷한 문제를 만들 수 있지만, 탐색이 더 깊어지는 과정이 이를 상쇄할 수 있음
    • https://news.ycombinator.com/item?id=44280505 이 스레드가 도움이 될지도 모르겠음
      완전한 비전문가 입장이지만, 어떤 과제는 “깊은” 과제여도 충분히 “균일”해서 나쁜 표본만으로도 충분할 수 있지 않을까 싶음. 그런 과제를 에르고딕 과제라고 부르고 싶음
      물론 그렇지 않은 과제도 분명 있을 것 같음
    • 이 차이는 본질적으로 일반 격자 몬테카를로 적분과 중요도 표본추출 몬테카를로 적분의 차이와 같은 건가?

  • 이 논문은 이미 강화학습을 꽤 안다는 전제를 깔고 있음
    강화학습을 제대로 파고들고 싶다면 David Silver(DeepMind)의 입문 강의가 훌륭함: https://youtu.be/2pWv7GOvuf0?si=CmFJHNnNqraL5i0s

  • 전적으로 동의하고, 아주 좋은 요약이라고 생각함
    아주 짧게 말하면, 움직이는 목표를 쫓는 문제인데 그 목표가 내가 어떻게 움직이느냐에 따라 바뀜
    가치 기반 강화학습에는 수렴할 수 있는 실제 정답이 없음. 방정식 양쪽에 모두 자신의 근사값이 들어간 차이를 최소화하는 셈임
    그래도 절망적이라고 보지는 않음. 강화학습은 작동에 매우 가까워졌다고 보는데, 지금까지 부족했던 건 신뢰할 만한 세계 모델/순방향 동역학 함수였기 때문임
    그게 있으면 탐험하지 않고 계획할 수 있고, 이제는 그런 모델이 생겼음

  • 오프 정책(off-policy) 학습의 이점은, 초기 탐험에서 나온 비효율적 데이터가 나중의 더 정제된 정책을 개선하는 데 그리 유용하지 않다는 사실 때문에 근본적으로 제한됨
    체스의 실수, 경련 같은 움직임, 퍼즐 풀이 실패를 떠올리면 분명해짐
    데이터가 오프 정책이 되는 건 그 데이터가 현재 정책이라면 하지 않을 일을 묘사할 때뿐이라는 점을 깨닫고 나면 더 명확해짐
    이 문제의 해법은 불행히도 더 나은 일반화와 표본 효율이 필요하다는 쪽과 관련돼 있다고 봄

    • 이 주장은 너무 많은 걸 증명해버리는 것 아닌가?
      인용된, 오프 정책 학습으로 20분 만에 걷게 된 개는 어떻게 설명할 수 있나? 아니면 더 미묘한 주장을 하는 건가?

  • Decision Transformer나 Trajectory Transformer가 빠진 건 의아함
    둘 다 오프라인 접근이고, 주의 메커니즘 덕분에 신용 할당 문제를 우회해 긴 지평 과제에서 꽤 잘 동작하는 편임
    대부분의 강화학습 연구자는 이런 접근을 “진짜 강화학습”으로 보지 않음. 문맥 창 밖으로는 신용을 할당할 수 없어서 무한 지평 과제를 학습할 수 없기 때문임
    하지만 100만 토큰 이상의 문맥 창이 있다면 실제로는 덜 문제가 될 수도 있지 않을까? 다른 생각이 궁금함
    DT: https://arxiv.org/abs/2106.01345
    TT: https://arxiv.org/abs/2106.02039

    • TFP는 Decision Transformer를 인용함
      단지 Transformer를 쓴다고 신용 할당 문제를 우회하는 건 아님
      Transformer는 순차 모델링 문제를 풀기 위한 아키텍처이고, 강화학습에서 생기는 신용 할당 문제도 그런 문제의 한 예임. 이런 아키텍처는 이전에도 많이 있었음
      신용 할당 문제가 어렵다는 건 데이터 희소성에 관한 진술임. 아키텍처 선택만으로 이를 “우회”할 수는 없음

  • 인간은 실제로 둘 다 함
    자기 행동의 결과를 탐험하면서 온 정책으로도 배우고, 전문가 시연처럼 오프 정책으로도 배움
    차이는 인간은 좋은 행동과 나쁜 행동을 구분할 수 있고, 좋다고 판단한 행동만 걸러서 배울 수 있다는 데 있음
    대부분의 오프 정책 강화학습에서는 나쁜 행동도 많이 들어가고, 그게 학습 집합에 포함되면서 학습이 느려짐

    • “좋은 행동과 나쁜 행동을 구분할 수 있다”가 항상 맞지는 않음
      그래서 어떤 전문가 시연은 매력적임. 초보자 수준의 “모범 사례”로 보면 완전히 잘못된 방식인데도 더 나은 결과를 내는 걸 볼 수 있음
      물론 때로는 그 정도로 잘하면 그런 기법이나 실수도 감당할 수 있다는 뜻일 뿐이기도 함

  • 인간이 반복 훈련으로 배우는 긴 지평 과제는 더 짧은 지평의 과제로 쪼갠 뒤, 나중에 계층적으로 합성해서 배운다는 점을 짚을 만함

    • 순진한 생각일 수는 있지만, 이건 알고리즘보다 접근 방식의 문제에 더 가까워 보임
      모델이 처음부터 긴 지평 과제를 다루지 못할 수는 있지만, 먼저 짧은 지평의 기술을 배우고 그 작은 기술 묶음을 활용해 더 긴 지평을 배울 수 있음
      우리 모두가 하는 청킹(chunking)과 같음
      누구도 상업용 비행기를 대륙 횡단으로 조종하는 법을 손과 팔의 미세 움직임 시퀀스로 배우지는 않음
      어릴 때 공을 집는 건 그런 식으로 배우지만, 비행이나 스포츠는 학습된 기술과 계획의 계층으로 이뤄짐

  • 글은 마음에 들지만, 설명 없는 약어 사용 때문에 더 넓은 독자에게 유용할 기회를 줄였다고 봄
    작은 지적이지만, 약어와 전문 용어는 설명해주면 좋겠음

    • 내용은 매우 좋지만 방대한 사전 지식을 가정해서 접근성이 떨어지는 글에는, AI 도구로 설명과 단순화를 시키면 꽤 유용함
      새 브라우저 Dia로 방금 해봤는데 잘 동작했음. 선호하는 모델 제공자에 복사해 붙여넣어도 됨
      이렇게 하면 글은 간결하게 유지하면서도, AI 도구에 질문하고 명확히 할 수 있음
    • 결론이 “누가 좀 확장 가능한 Q 학습 방법을 만들어달라”인 걸 보면, 분명 다른 강화학습 연구자를 대상으로 쓴 글임

  • Q-Learning 같은 오프 정책 기법의 마법 같은 점은, 최적이 아닌 훈련 데이터만 보더라도 최적 결과로 수렴한다는 데 있음
    예를 들어 아무 전략 없이 완전히 무작위로 움직이는 에이전트들의 체스 게임 데이터셋을 Q-Learning 입력으로 써도, 고품질 입력이 있을 때보다 느릴 뿐 결국 최적 정책으로 수렴함

    • 그게 참이라면 그 과제가 에르고딕이라는 정의에 가깝다고 생각함
      용어를 약간 비틀어 쓰는 걸 수도 있지만, 에르고딕하지 않은 과제도 존재할 거라고 봄
답변달기