추론 능력을 갖춘 LLM 이해하기

 (magazine.sebastianraschka.com)
6P by GN⁺ | ★ favorite | 댓글 1개
  • 추론 모델은 중간 단계를 거쳐 답을 만드는 복잡한 과제에 강점을 두며, 퍼즐·수학·코딩처럼 단순 질의응답을 넘어서는 작업에서 가치가 커짐
  • 성능을 높이는 축은 추론 시점 계산 확대, 순수 강화학습, SFT+강화학습, 증류로 나뉘며 비용·성능·모델 크기에서 서로 다른 절충이 생김
  • DeepSeek-R1 계열은 순수 RL로 출발한 R1-Zero, SFT와 RL을 결합한 R1, 작은 모델에 추론 데이터를 학습한 R1-Distill로 구성됨
  • 작은 모델에서는 순수 RL보다 고품질 추론 데이터 기반 SFT가 더 효과적으로 나타났고, 증류 모델은 R1보다 약하지만 R1-Zero 대비 강한 성능을 보임
  • 제한된 예산에서도 Sky-T1의 $450 32B 학습이나 TinyZero의 $30 미만 3B 순수 RL 실험처럼 추론 모델 연구를 시도할 수 있음

추론 모델의 정의와 적합한 작업

  • 추론(reasoning) 은 중간 단계를 포함한 복잡한 다단계 생성이 필요한 질문에 답하는 과정임
    • “프랑스의 수도는?” 같은 사실형 질의응답은 추론에 해당하지 않음
    • “기차가 60mph로 3시간 이동하면 얼마나 가는가?”는 거리·속도·시간 관계를 인식해야 하므로 단순한 추론이 필요함
  • 현대 LLM 대부분은 기본적인 추론을 수행할 수 있지만, 현재 추론 모델은 퍼즐, 수수께끼, 수학 증명처럼 더 복잡한 과제에서 강한 LLM을 가리킴
  • 응답에 “thought” 또는 “thinking” 과정을 포함하는 모델이 많음
    • 일부 모델은 중간 단계를 사용자에게 직접 보여줌
    • OpenAI o1 같은 일부 추론 LLM은 여러 중간 단계를 내부적으로 실행하지만 사용자에게 보여주지 않음
  • 모든 작업에 추론 모델이 적합한 것은 아님
    • 요약, 번역, 지식 기반 질의응답에는 일반 LLM이 더 알맞을 수 있음
    • 추론 모델은 보통 더 비싸고 장황하며, “overthinking” 때문에 오류에 더 취약할 수 있음

DeepSeek R1 계열의 세 가지 모델

  • DeepSeek R1 기술 보고서는 추론 모델을 만드는 과정을 보여주는 주요 사례임
  • DeepSeek는 단일 R1 모델이 아니라 세 가지 변형을 공개함
    • DeepSeek-R1-Zero
      • 2024년 12월 공개된 671B 사전학습 모델 DeepSeek-V3 base 위에 구축됨
      • 일반적인 RLHF와 달리 초기 SFT 단계를 거치지 않고, 두 종류의 보상으로 강화학습됨
      • 이런 방식은 SFT가 없는 cold start 학습으로 불림
    • DeepSeek-R1
      • DeepSeek-R1-Zero 위에 추가 SFT 단계와 추가 RL 학습을 더한 주력 추론 모델
      • cold-start R1-Zero를 개선한 모델임
    • DeepSeek-R1-Distill
      • 앞 단계에서 생성된 SFT 데이터를 사용해 Qwen과 Llama 모델의 추론 능력을 강화함
      • 전통적 의미의 지식 증류라기보다, 큰 DeepSeek-R1 671B 모델의 출력으로 Llama 8B·70B, Qwen 1.5B–30B 모델을 학습한 방식임

접근 1: 추론 시점 스케일링

  • 추론 시점 스케일링(inference-time scaling) 은 모델 자체를 다시 학습하지 않고 추론 중 계산 자원을 늘려 출력 품질을 높이는 방식임
  • 가장 익숙한 방법은 프롬프트 엔지니어링임
    • Chain-of-Thought(CoT) 프롬프팅은 “think step by step” 같은 문구로 중간 추론 단계를 생성하게 유도함
    • 복잡한 문제에서는 정확도를 높일 수 있지만, “프랑스의 수도는?” 같은 단순 지식 질문에는 어울리지 않음
    • 더 많은 출력 토큰을 생성하므로 추론 비용이 증가함
  • 투표와 탐색 전략도 추론 시점 계산을 늘리는 방식임
    • 다수결 투표는 LLM이 여러 답을 생성하게 한 뒤 다수 답을 선택함
    • beam search와 다른 탐색 알고리듬도 더 나은 응답 생성을 위해 사용될 수 있음
  • Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters는 테스트 시점 계산을 늘리는 여러 전략을 다룸
  • DeepSeek R1 기술 보고서는 Process Reward Model 기반 접근과 Monte Carlo Tree Search 기반 접근을 “unsuccessful attempts”로 분류함
    • 이는 DeepSeek가 R1 모델의 자연스러운 긴 응답 경향 외에 이런 명시적 기법을 모델 내부에서 사용하지 않았을 가능성을 시사함
    • 다만 명시적 추론 시점 스케일링은 애플리케이션 계층에서 구현될 수 있어, DeepSeek 앱에서 이런 기법을 사용할 가능성은 남아 있음

접근 2: 순수 강화학습으로 나타난 추론 행동

  • DeepSeek-R1-Zero는 DeepSeek-V3 base에 SFT 없이 순수 강화학습만 적용한 모델임
  • 이 RL 과정은 일반 RLHF와 유사하지만, 지시 튜닝용 SFT 단계를 건너뛰었다는 점이 다름
  • 보상은 사람 선호 기반 보상 모델 대신 두 가지로 구성됨
    • 정확도 보상
      • 코딩 답변은 LeetCode 컴파일러로 검증함
      • 수학 답변은 결정론적 시스템으로 평가함
    • 형식 보상
      • LLM judge를 사용해 응답이 기대 형식을 따르는지 확인함
      • 예를 들어 추론 단계를 <think> 태그 안에 넣는지 확인함
  • 이 접근만으로도 LLM은 기본적인 추론 행동을 보임
    • 모델이 명시적으로 그런 방식으로 학습되지 않았는데도 응답 안에 추론 흔적을 생성하기 시작하는 “Aha!” 순간이 관찰됨
  • R1-Zero는 최고 성능 추론 모델은 아니지만, 순수 RL만으로도 추론 모델을 만들 수 있음을 보여줌

접근 3: SFT와 RL을 결합한 DeepSeek-R1

  • DeepSeek-R1은 R1-Zero를 기반으로 추가 SFT와 RL을 적용해 추론 성능을 높인 모델임
  • 개발 과정은 여러 단계로 이어짐
    • DeepSeek-R1-Zero가 “cold-start” SFT 데이터를 생성함
    • 이 데이터로 지시 미세조정을 수행한 뒤 다시 RL을 적용함
    • 이 RL 단계는 R1-Zero의 정확도 보상과 형식 보상을 유지함
    • 응답 안에서 여러 언어가 섞이는 현상을 막기 위해 일관성 보상을 추가함
  • 이후 SFT 데이터를 다시 수집함
    • 최신 모델 체크포인트로 600K CoT SFT 예제를 생성함
    • DeepSeek-V3 base로 200K 지식 기반 SFT 예제를 추가 생성함
  • 총 600K+200K SFT 샘플로 DeepSeek-V3 base를 지시 미세조정한 뒤 최종 RL을 수행함
    • 수학과 코딩 질문에는 규칙 기반 정확도 보상을 사용함
    • 다른 질문 유형에는 사람 선호 라벨을 사용함
  • 전체 과정은 일반 RLHF와 매우 유사하지만, SFT 데이터에 더 많은 CoT 예제가 포함되고 RL에 검증 가능한 보상이 추가된 형태임

접근 4: 작은 모델을 위한 증류

  • DeepSeek가 “distillation”이라고 부른 방식은 전통적 지식 증류와 다름
    • 전통적 지식 증류는 작은 학생 모델을 큰 교사 모델의 logits와 목표 데이터셋으로 학습함
    • 여기서는 더 큰 LLM이 만든 SFT 데이터셋으로 작은 LLM을 지시 미세조정함
  • 대상 모델은 Llama 8B·70B와 Qwen 2.5 계열 0.5B–32B 모델임
  • SFT 데이터는 DeepSeek-V3와 DeepSeek-R1의 중간 체크포인트가 생성했으며, DeepSeek-R1 학습에 사용된 것과 같은 데이터셋임
  • 작은 모델을 만든 이유는 두 가지로 정리됨
    • 더 작아 실행 비용이 낮고, 낮은 사양 하드웨어에서도 구동 가능함
    • 강화학습 없이 순수 SFT만으로 어디까지 추론 성능을 올릴 수 있는지 보여주는 사례가 됨
  • 증류 모델은 DeepSeek-R1보다 눈에 띄게 약하지만, 훨씬 작은 규모에도 DeepSeek-R1-Zero 대비 강한 성능을 보임
  • DeepSeek 팀은 같은 순수 RL 접근을 Qwen-32B에 직접 적용해 작은 모델에서도 R1-Zero 같은 창발적 추론이 나타나는지 실험함
    • 결과는 작은 모델에서 순수 RL보다 증류가 훨씬 효과적임을 시사함
    • 작은 모델에서는 고품질 추론 데이터로 SFT하는 전략이 더 효과적일 수 있다는 해석과 맞음

네 가지 접근의 절충

  • 추론 시점 스케일링

    • 추가 학습이 필요 없지만 추론 비용이 늘어남
    • 사용자 수나 질의량이 많아질수록 대규모 배포 비용이 커짐
    • 이미 강한 모델의 성능을 높이는 데 유용함

  • 순수 RL

    • 추론이 창발적 행동으로 나타날 수 있음을 보여주는 연구적 가치가 큼
    • 실용적인 모델 개발에서는 RL+SFT가 더 강한 추론 모델로 이어짐

  • SFT+RL

    • 고성능 추론 모델을 만드는 핵심 접근임
    • DeepSeek-R1은 이 과정을 보여주는 청사진 역할을 함

  • 증류

    • 작고 효율적인 모델을 만드는 데 매력적임
    • 더 강한 기존 모델이 SFT 데이터를 생성해야 하므로, 다음 세대 추론 모델을 직접 만들어내는 방식은 아님

DeepSeek-R1과 OpenAI o1 비교의 한계

  • DeepSeek-R1은 OpenAI o1과 대략 같은 범주에 있는 모델로 평가됨
  • 두 모델의 직접 비교는 어려움
    • OpenAI가 o1에 대해 공개한 세부 정보가 많지 않음
    • o1이 Mixture of Experts(MoE)인지 알 수 없음
    • o1의 크기가 공개되지 않았음
    • o1이 GPT-4o를 약간 다듬고 광범위한 추론 시점 스케일링을 적용한 모델인지도 알 수 없음
  • DeepSeek-R1은 추론 시점에서 더 효율적이라는 점이 두드러짐
    • DeepSeek가 학습 과정에 더 많이 투자했을 가능성이 있고, OpenAI는 o1에서 추론 시점 스케일링에 더 의존했을 가능성이 있음
    • 다만 공개 정보가 부족해 확정적으로 비교하기는 어려움
  • DeepSeek-R1 개발 비용에 대한 약 600만 달러 수치는 DeepSeek-V3와 DeepSeek-R1을 혼동한 것일 수 있음
    • 600만 달러 추정은 DeepSeek-V3 최종 학습 실행에 필요한 GPU 시간과 GPU 시간당 $2 가정에 기반함
    • DeepSeek 팀은 R1의 정확한 GPU 시간이나 개발 비용을 공개하지 않았음
    • 따라서 R1 비용 추정은 순수한 추측에 머무름

제한된 예산에서의 추론 모델 개발

  • DeepSeek-R1 수준의 추론 모델 개발은 DeepSeek-V3 같은 오픈 웨이트 기반 모델에서 시작하더라도 수십만~수백만 달러가 필요할 가능성이 있음
  • 증류는 더 저렴한 대안이 될 수 있음
    • DeepSeek의 R1-distilled 모델은 DeepSeek-R1보다 훨씬 작지만 강한 추론 성능을 보임
    • 다만 DeepSeek의 증류 과정은 800K SFT 샘플을 사용해 여전히 상당한 계산 자원이 필요함
  • Sky-T1은 작은 팀이 17K SFT 샘플만으로 오픈 웨이트 32B 모델을 학습한 사례임
    • 총 비용은 $450
    • 벤치마크 기준 Sky-T1은 o1과 대략 비슷한 수준의 성능을 보임
  • TinyZero는 DeepSeek-R1-Zero 접근을 재현한 3B 파라미터 모델임
    • 학습 비용은 $30 미만
    • 3B 규모에서도 창발적 자기 검증 능력을 보임
    • 저장소에는 연구 보고서가 아직 작업 중이라고 표시됨
  • 두 프로젝트는 제한된 예산에서도 추론 모델 관련 실험이 가능함을 보여줌
    • TinyZero는 순수 RL 접근을 재현함
    • Sky-T1은 순수 SFT 접근을 사용함

SFT를 넘어선 Journey Learning

  • O1 Replication Journey: A Strategic Progress Report – Part 1은 제목과 달리 o1을 실제로 복제하지 않고, 증류 또는 순수 SFT 과정을 개선하는 다른 방식을 제안함
  • 핵심 아이디어는 journey learning임
    • 기존 지시 미세조정은 정답으로 이어지는 올바른 풀이 경로만 학습하는 shortcut learning에 가까움
    • journey learning은 잘못된 풀이 경로도 SFT 데이터에 포함함
  • 모델이 잘못된 추론 경로와 그 수정을 함께 보게 되면, 순수 SFT만으로도 자기 교정 능력을 강화할 가능성이 있음
  • RL 기반 접근이 계산적으로 부담스러운 저예산 추론 모델 개발에서 journey learning은 흥미로운 대안이 될 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 추론형 LLM 흐름에서 마음에 안 드는 건 코딩/수학 문제에 과도하게 최적화된다는 점임
    명확히 정의되지 않은 많은 일에도 추론이 필요하고, 단순히 “소프트웨어 엔지니어링은 애매하다” 수준이 아님. 예를 들어 무언가를 잘 설명하고 가르치는 방법, 학습자와 반복적으로 맞춰 가는 과정, 학습자가 놓친 맥락을 추정하는 일도 포함됨
    그런데 이런 추론 모델들은 수학 문제 냄새만 조금 나도 과적합처럼 과하게 생각하지만, 그 외의 일에는 거의 생각하지 않는 느낌이 강함. 자기학습을 좋아하는 입장에서는, 복잡한 주제를 배울 때 몇 문장만 보고도 내 오해를 추론하고 이해한 뒤 안내해 주는 대화 상대가 있으면 정말 좋겠다고 봄
    근본적으로 불가능한 일은 아님. LLM은 생각하게 만들면 어려운 코딩 문제도 풀 수 있음. 다만 특히 DeepSeek에서는 코딩/수학 퍼즐 쪽으로 과적합된 것이 눈에 띄고, 간단한 보일러플레이트 코드만 부탁해도 끝없이 과하게 생각함. 반대로 “부드러운” 질문에는 그렇게 하지 않아서, 스스로 “얼마나 생각하면 충분한가”를 판단한다기보다 훈련 결정의 문제로 보임

    • 그건 강화학습으로 훈련되기 때문이라고 봄. 수학과 코딩 문제는 답의 정오를 자동으로 평가하기 쉬움
      다른 유형의 추론 문제에서 정확성을 점수화하려면 수작업이 많이 들어가고, 매우 주관적일 수밖에 없음. 어쩌면 시뮬레이션이나 게임을 쓸 수는 있겠음
    • 과적합이라고까지 하긴 애매함. 코딩과 수학은 모델에 줄 수 있는 명확한 목표와 검증 가능한 결과가 있음
      언급한 부드러운 일들은 더 모호하니 훈련하기도 더 어려울 가능성이 큼
    • 인간과 인지 능력이 있는 동물은 타인의 마음에 대한 이론을 만들고 반응을 예상할 수 있음
      벡터 공간과 트랜스포머가 그 능력을 인코딩할 수 있는지는 모르겠음
      이는 사고와 글쓰기에서 핵심 능력임. 나도 주장을 전달하기 위해 독자에 맞춰 글을 조정함. 목표가 단순한 답이 아니라 설득력 있는 답인 경우가 많음
    • 이건 현재 문제 영역 밖에도 존재하는 인간의 편향임. 예를 들어 프로그래머 사이에는 수학적으로 사고하는 사람이 프로그래밍을 더 잘한다는 편향이 강하게 밀려옴
      이 편향이 AI 훈련에도 들어갔고, 코딩 패턴이 더 나은 추론으로 이어진다고 믿게 됨. 코드 예제로 훈련한 뒤 모델을 증류하면 수학적 사고의 마법 같은 능력을 갖게 된다는 식임
      AI 윤리 관점에서는 이런 걸 고민하지 않는 사람들에게 윤리적 문제가 됨. 우리가 가진 의제를 모델에 심고 있음. 장기적으로는 이런 좁은 개념들이 깨지길 바람
    • 코딩/수학에 집중하는 건 그냥 낮게 매달린 과일이기 때문이라고 봄. 훈련과 벤치마크 점수 모두에서 추론 검증을 제공하기가 비교적 쉬움
      인간이 할 때 지능이 높아 보이는 수학을 모델이 잘한다고 자랑할 수 있다는 점도 한몫함
      일반적인 경우의 추론 검증은 더 어려움. 현재는 “LLM을 심판으로 쓰기”, 즉 LLM에게 그럴듯한지 묻는 방식이 일반 해법처럼 보임

  • LLM을 더 제한된 형식 언어로 훈련하는 연구가 있는지 궁금함. 제약 조건 풀이기나 자동 정리 증명기처럼, 하지만 훨씬 더 낮은 수준이고 자연어가 아닌 무언가를 말함
    ChatGPT와 Lean 통합 같은 작업이 있다는 건 알지만, 그건 정확히 원하는 방향은 아님. 여전히 자연어로 훈련된 LLM이라는 불안정한 접착제가 운전석에 앉아 있음
    여러 시도를 해볼 창의성은 갖되, 사고 과정을 JIT 컴파일하고 나쁜 경로를 피하는 식의 무언가를 상상하고 있음

    • 이해한 게 맞다면, “순수” LLM은 여기서 큰 이점을 얻기 어렵다고 봄. 문법적으로 유효한 것을 생성하게 제한할 수는 있지만, 의미적으로 100% 유효한 것을 생성하게 만들 방법은 없음
      최전선 모델들도 함수 호출 JSON을 여러 번 망치는 걸 봤음. 트랜스포머처럼 통계적인 것을 쓰는 한, Lean 같은 결정론적 부가 장치가 필요함
    • 그건 근본적인 불일치라고 봄. LLM은 통계적이고 손실이 있으며 지저분함. 역설적으로 그래서 거대하고 다양한 지저분한 예제에 기대는 문제에서 꽤 괜찮은 결과를 냄
      하지만 엄격하게 구조화되고 형식적으로 의미가 고정된 언어라면 LLM의 장점은 사라지고 심각한 단점과 한계만 남음
      수백만 달러를 쓰지 말고 그냥 일반 파서, 표현식 평가기, SAT 풀이기 등을 작성하는 편이 낫다. 더 빠르고, 자원도 덜 쓰고, 근본적으로 고치기 어려운 버그도 적고, 실제로 수학을 할 수 있음
    • 그게 ChatGPT가 Lean을 실행하는 것과 어떻게 다른지 모르겠음. 인간도 정확히 그렇게 함. 지저분하게 추론한 뒤 형식 논리로 적고, 컴파일해서 성립하는지 확인함
    • AlphaProof가 있음. 다만 LLM이라고 부를 만큼 큰지는 모르겠음
      https://deepmind.google/discover/blog/ai-solves-imo-problems...
    • 이걸 하는 가장 실용적인 방법은 DeepSeek의 순수 강화학습 접근이라고 봄. 본질적으로 잠재 임베딩 공간에서 더 타당한 부분공간을 계속 정제하고 찾아야 함
      그 부분공간이 Python 코드나 다른 인간이 만든 부분공간일 수도 있지만, 전체 아키텍처에는 최적이 아닐 수 있음
      이런 제한을 만들면 탐색 가능성이 줄어듦. 고차원 부분공간에서는 여러 방향에서 결과에 도달할 수 있기 때문에 큰 손실임. 일반 유전 프로그래밍과 타입 있는 유전 프로그래밍의 차이와 비슷함
      유용한 결과를 다 버리면 빠르게 나아갈 수 없음. 언젠가는 구성주의적·생성적 방식, 예컨대 오토마타로 추론하는 식의 우리가 방치한 여러 재미있는 방법이 앞으로 나아갈 길이 되겠지만 아직 그 지점은 아닌 것 같음
      타입이 언제 합일되는지 빠르게 판단하는 휴리스틱이 있다면 탐색 속도를 막지 않으면서도 타당성 측면의 이점을 많이 얻을 수 있으니, 그런 임계점은 존재한다고 봄
      인간의 가장 위대한 성취 중 하나는 우리가 실제로 인터페이스할 수 있는 이 잠재 임베딩 공간일지도 모름. 새로운 링구아 프랑카임

  • 좋은 설명글임. R1 논문은 비교적 읽기 쉬움. 접근하기 좋고 거의 대화체처럼 느껴짐
    다른 곳의 나쁘고 불투명한 글쓰기에 늘 짜증이 나서 더 그렇게 느껴짐. 이 경우 DeepSeek은 똑똑해 보이려고 애쓸 필요가 없음. 결과가 스스로 말해 줌
    관심 있는 사람은 R1 논문, V3 논문, DeepSeekMath 논문을 읽어보길 권함. 모두 읽을 가치가 있음

  • 글은 좋지만, “LLM이 실제로 생각하는지 여부와 방식은 별도 논의”라는 문장에서 여부는 거의 논의거리도 아니라고 봄. 오래전에 정리된 문제에 가까움
    “컴퓨터가 생각할 수 있는지의 문제는 잠수함이 수영할 수 있는지의 문제보다 더 흥미롭지 않다” — Edsger Dijkstra

    • 그 인용이 나온 문서가 이 주제에 대한 결정적인 논의라고 보긴 어려움
      “[…] 연구 노력을 과학이 기여할 수 없고, 따라서 기여하려 해서는 안 되는 방향으로 돌리는 경향이 있다”는 꽤 근시안적인 관점임
      --http://www.cs.utexas.edu/users/EWD/ewd08xx/EWD898.PDF
    • 컴퓨터에게 생각하라고 요청하고 있다면 흥미로운 질문임. 지금 우리가 그러고 있음
      10억까지 세라고 요청하는 경우라면 흥미롭지 않음
    • 그건 문제를 해결한 게 아니라 질문을 치워버린 것에 가까움. 잠수함 비유는 어느 결론을 지지하는 쪽으로도 해석 가능함
    • “재치 있는 격언은 아무것도 증명하지 않는다” — Voltaire, Le dîner du comte de Boulainvilliers (1767): Deuxième Entretien

  • 이런 계열의 추론 모델에서 다음 큰 문제는 과잉 사고가 될 것 같음. 이미 그 조짐이 보임
    더 열심히 생각하는 것이 모두가 생각하는 것처럼 보편적인 파레토 개선은 아님

    • 추론은 전제 집합을 연속적으로 적용해 결론에 도달하는 일임. 하지만 우리의 가장 큰 문제 중 일부는 틀 밖에서, 때로는 훨씬 멀리 벗어나서 생각해야 함
      어떤 때는 마치 무에서나 신의 영감처럼 완전히 새로운 전제 집합을 독창적으로 만들어야 함. 생각하는 기계를 만드는 일은 아직 아주 초기 단계임
    • 철학을 하는데, 내가 과장해서 던진 말을 모델이 사실이라고 받아들이는 일이 있음
      비추론 모델은 오히려 그걸 짚어 줌
    • 다음 자연스러운 연구 영역임. 적응형 계산량을 제대로 맞춘다는 건 어떤 문제에 더 많은 계산을 써야 하는지 알아낸다는 뜻임
      강화학습이 나아지면 이 부분도 개선될 거라고 봄

  • DeepSeek-R1 기술 보고서를 보다가 “아하 순간” 주장이 수상하게 느껴졌음. 기본 모델에 사고 과정이나 추론 데이터가 들어 있었는지 공개하지 않기 때문임
    다만 기본 모델이 DeepSeek V3라는 건 알고 있음. DeepSeek V3 기술 보고서 5.1 지도 미세조정 부분에는, 수학·코딩 대회 문제·논리 퍼즐 같은 추론 데이터셋을 내부 DeepSeek-R1 모델로 생성했다고 나옴
    R1 생성 데이터는 정확도는 높지만 과잉 사고, 나쁜 형식, 과도한 길이 문제가 있어, R1 생성 추론 데이터의 높은 정확도와 일반 형식 추론 데이터의 명확성·간결성 사이 균형을 목표로 했다고 함
    5.4.1에서도 “내부 DeepSeek-R1” 생성 데이터를 쓰지 않는 제거 실험을 다룸. 이 내부 모델이 설명되지는 않지만, 사고 과정에 맞춰 조정된 DeepSeek V2나 V2.5라고 가정하게 됨
    그래서 “아하 순간”은 V3에 이미 있던 행동을 강화한 것처럼 보임. “DeepSeek-R1-Zero의 자기진화 과정” Figure 3에서도 강화학습이 더 긴 사고 과정 생성을 이끈다고 주장하지만, 이것도 V3에서 온 것임. 내부 R1로 미세조정하자 “과도한 길이”가 생겼다고 직접 말했음
    내가 읽은 DeepSeek R1 설명 블로그글, 뉴스, 기사 중 이 점을 반영한 것이 없었고, 커뮤니티는 open-r1 같은 파이프라인 재구현에 몰려 있음. 내가 뭔가 완전히 잘못 해석하고 있는 건지 궁금함

    • 나도 이 “아하 순간”의 중요성에는 매우 회의적임. 기본 모델 훈련 데이터에 사고 과정을 넣지 않았다 해도 그럴 가능성은 낮고, 현대 인터넷에는 이미 그런 자료가 많음
      OpenAI가 공개한 80만 개의 추론 단계, GitHub 저장소, 사고 과정 논문 예시 등이 있음. 모델이 스스로 발견한 새로운 개념이라고 보기는 어려움
    • https://oatllm.notion.site/oat-zero

  • 이런 글을 읽을 때마다 The Culture의 프리퀄에 살고 있는 느낌이 듦

    • 그게 나쁜가? The Culture는 꽤 멋지다고 봄. 현실의 그것이 우리와 그렇게 비슷할지는 의심스럽지만, 누가 알겠음

  • 이 글에는 DeepSeek 훈련 파이프라인을 보여주는 훌륭한 다이어그램이 있음

  • 석 달쯤 전에 HN에 내가 LLM 성능을 개선하려고 일종의 정제 방식을 쓰고 있다고 가볍게 말한 적이 있음. 지금 이 글과 다른 곳에서는 그걸 “추론”이라고 부르고 있음
    몇 달 전 내 답변은 여기 있음. 내 사용자명까지 내려가서 그 논의를 읽으면 됨
    https://news.ycombinator.com/item?id=41997727
    DeepSeek이 그렇게 단순한 것으로 시장을 흔들 줄 알았다면 좋았을 텐데. 직관을 진지하게 받아들여야겠음

  • 도대체 이걸 어떻게 훈련하는지 궁금함. 일반 LLM은 생성하는 각 단어/토큰마다 훈련 텍스트와 맞춰 피드백을 받을 수 있음
    하지만 이런 모델은 먼저 사고 블록에서 수백 토큰을 생성해야 하고, 그 뒤에도 “맞춰볼” 다음 단어가 아니라 전체 해답만 있음. 맞거나 틀리거나 둘 중 하나라서 기울기를 줄 확률값이 없어 보임

    • 강화학습 접근에는 두 가지가 있음. 추론 사슬의 각 단계에 피드백을 주는 과정 보상 모델과, 전체 사슬에만 피드백을 주는 결과 보상 모델임
      DeepSeek은 결과 모델을 쓰며, 과정 보상 모델의 어려움도 언급함. 개별 단계를 식별하는 문제와 그 단계를 검증하는 문제가 포함됨. 훈련된 보상 모델이 기울기를 제공함
    • 보상 함수는 “ground_truth == boxed_answer”보다 훨씬 복잡한 일을 할 수 있음
      예를 들어 사고 과정을 문단 단위로 나누고, 개선하려는 주제에서 “좋은 답”이라고 보는 것과 얼마나 많은 문단이 맞는지 셀 수 있음. 임베딩, 퍼지 문자열 매칭, 다른 LLM이나 보상 모델도 쓸 수 있음
      수학과 코딩이 먼저 탐구된 건 점수화가 더 쉽기 때문이라고 봄. 하지만 다른 것들에도 시도할 수 있음
    • 점수화에는 답만 고려됨. 그 부분은 고려되지 않음
    • 맞거나 틀리다는 값도 손실을 만들고, 거기서 기울기가 나옴
답변달기