DeepSeek-R1: 강화학습을 통한 대형 언어 모델의 추론 능력 향상

 (arxiv.org)
3P by GN⁺ | ★ favorite | 댓글 1개
  • DeepSeek-R1 연구는 인간이 라벨링한 추론 궤적 없이도 순수 강화학습으로 LLM의 추론 능력을 끌어낼 수 있음을 보이며, 정답 검증이 가능한 수학·코딩·STEM 과제에서 강한 성능을 냄
  • DeepSeek-R1-Zero는 DeepSeek-V3-Base에 GRPO를 적용하고, 최종 답의 정확도와 <think> 형식 준수만 보상해 자기검증·반성·대안 탐색 같은 추론 패턴을 학습함
  • AIME 2024에서 평균 pass@1은 15.6%에서 77.9%로 상승했고, 자기일관성 디코딩을 쓰면 86.7%까지 올라 인간 참가자 평균을 넘어섬
  • DeepSeek-R1은 R1-Zero의 낮은 가독성과 영어·중국어 언어 혼합을 줄이기 위해 콜드스타트 데이터, 거절 샘플링, SFT, 추가 RL, 선호 보상 모델을 결합함
  • 최종 모델은 사용자 선호 벤치마크에서 크게 개선됐지만, 구조화 출력·도구 사용·토큰 효율·중국어/영어 외 언어 혼합은 여전히 제약으로 남아 있음

인간 추론 데이터 없이 추론을 유도하는 목표

  • 일반 추론은 AI의 오래된 난제이며, 기존 LLM과 사고 사슬(CoT) 프롬프팅은 기초 추론 과제에서 성과를 냈지만 많은 인간 주석 시연에 의존함
  • 인간이 작성한 추론 궤적은 확장성을 제한하고 인지적 편향을 넣을 수 있으며, 모델이 인간식 사고 과정에 묶이면 다른 추론 경로를 탐색하기 어려움
  • DeepSeek-R1 연구는 인간 라벨링 의존을 최소화하고, 강화학습(RL) 안에서 모델이 스스로 추론 능력을 발전시킬 수 있는지 검증함
  • 핵심 가정은 인간이 정한 추론 패턴을 먼저 주입하지 않아도, 적절한 보상만 있으면 LLM이 새로운 추론 능력을 탐색할 수 있다는 것임

DeepSeek-R1-Zero: SFT 없이 시작한 강화학습 모델

  • DeepSeek-R1-Zero는 DeepSeek-V3-Base를 기반으로 하며, 일반적인 사전 지도 미세조정(SFT)을 건너뛰고 바로 RL을 적용함
  • 학습에는 Group Relative Policy Optimization(GRPO) 를 사용함
    • GRPO는 PPO의 학습 절차를 단순화하고 자원 소비를 줄이기 위해 제안된 RL 알고리듬임
    • 각 질문마다 여러 출력을 샘플링하고, 그룹 내 보상 평균과 표준편차로 advantage를 계산함
  • R1-Zero 학습 설정은 다음과 같음
    • 학습률 3e-6, KL 계수 0.001, rollout 샘플링 온도 1
    • 질문당 16개 출력 샘플링
    • 8.2k step 전 최대 길이 32,768 토큰, 이후 65,536 토큰
    • 총 10,400 step, 1.6 epoch
    • step마다 32개 고유 질문, 전체 학습 배치 크기 512
    • 400 step마다 참조 모델을 최신 정책 모델로 교체
  • 학습 프롬프트는 모델이 먼저 <think>...</think> 안에 추론 과정을 쓰고, 이후 <answer>...</answer> 안에 답을 쓰도록 요구함

보상 설계: 정확도와 형식만 사용

  • DeepSeek-R1-Zero의 보상은 수학, 코딩, 논리 추론 영역에서 규칙 기반 보상으로 구성됨
  • 보상은 크게 두 가지임
    • 정확도 보상: 수학 문제에서는 지정된 형식의 최종 답을 검증하고, 코딩 대회 문제에서는 컴파일러와 사전 정의된 테스트 케이스로 정답 여부를 평가함
    • 형식 보상: 추론 과정을 <think>와 </think> 태그 안에 넣도록 유도함
  • 최종 규칙 보상은 정확도 보상과 형식 보상을 같은 가중치로 합산함
  • 추론 과제에는 신경망 기반 보상 모델을 쓰지 않음
    • 대규모 RL에서 보상 해킹에 취약하다는 관찰 때문임
    • 보상 모델 재학습은 계산 자원을 많이 쓰고 학습 파이프라인 복잡도를 높임

추론 패턴의 출현과 성능 변화

  • DeepSeek-R1-Zero는 RL 과정에서 더 긴 답변을 생성하는 경향을 보였고, 응답 안에 검증·반성·대안 접근 탐색을 포함하기 시작함
  • AIME 2024 성능은 학습 중 크게 상승함
    • 평균 pass@1: 초기 15.6%에서 77.9%로 상승
    • AIME 2024 pass@1 변화: {l:16,78}
    • 자기일관성 디코딩 적용 시 정확도 86.7%
    • 이 성능은 AIME 인간 참가자 평균을 크게 넘어섬
  • 수학 대회뿐 아니라 코딩 대회와 대학원 수준 생물학·물리학·화학 문제에서도 강한 성능을 보임
  • 학습 중 평균 응답 길이도 꾸준히 증가함
    • 외부에서 사고 시간을 직접 늘린 것이 아니라, RL 적응 과정에서 모델이 더 긴 CoT를 사용함
    • 수백~수천 토큰을 생성하며 문제 해결 전략을 탐색하고 개선함
  • 중간 모델에서는 “Wait” 같은 표현으로 스스로 단계를 재검토하는 aha moment가 나타났고, 추론 패턴 변화의 사례가 됨

DeepSeek-R1: 가독성과 범용성을 위한 다단계 파이프라인

  • DeepSeek-R1-Zero는 강한 추론 능력을 보였지만, 가독성이 낮고 하나의 CoT 안에서 영어와 중국어가 섞이는 문제가 있었음
  • DeepSeek-R1은 이를 보완하기 위해 다단계 학습 파이프라인을 사용함
    • 대화형이고 인간 선호에 맞춘 사고 과정을 담은 수천 개 콜드스타트 데이터를 수집함
    • 이후 RL로 성능과 언어 일관성을 개선함
    • 거절 샘플링과 SFT를 다시 적용함
    • 추론 데이터와 비추론 데이터를 함께 SFT에 넣어 추론뿐 아니라 글쓰기 능력도 강화함
    • 추가 RL 단계에서 유용성과 무해성을 높이고 추론 능력도 조정함
  • 일반 데이터에는 보상 모델을 사용함
    • 유용성 보상 모델은 최종 요약에 집중해 사용자에게 유용하고 관련 있는지 평가함
    • 안전성 보상 모델은 추론 과정과 요약 전체를 평가해 위험·편향·유해 콘텐츠를 줄이도록 함
  • 유용성 보상 모델 학습에는 66,000개 선호 쌍이 사용됨
    • DeepSeek-V3를 arena-hard 프롬프트 형식으로 호출해 후보 응답 쌍을 만들고 평가함
    • 위치 편향을 줄이기 위해 각 선호 쌍을 4번 평가하고, 점수 차이가 1을 넘는 쌍만 유지함
  • 안전성 보상 모델에는 106,000개 프롬프트와 모델 생성 응답이 사용됨
    • 응답은 사전 정의된 안전 가이드라인에 따라 “safe” 또는 “unsafe”로 주석 처리됨
    • 유용성 모델의 pairwise 방식과 달리 point-wise 방식으로 학습됨

RL 세부 설정과 언어 일관성

  • 첫 번째 RL 단계는 학습률 3e-6, KL 계수 0.001, GRPO clip ratio 10, 샘플링 온도 1을 사용함
  • 언어 혼합을 줄이기 위해 언어 일관성 보상을 추가함
    • CoT 안에서 목표 언어 단어가 차지하는 비율로 계산함
    • 추론 데이터와 비추론 데이터 모두에 적용해 최종 보상에 더함
  • 보충 실험에서는 언어 일관성 정렬이 성능을 약간 떨어뜨리지만, 가독성 측면에서는 인간 선호와 맞았음
  • 두 번째 RL 단계는 대부분 첫 번째 단계 설정을 유지하되 샘플링 온도를 0.7로 낮춤
    • 이 단계에서 온도가 높으면 일관성 없는 생성이 나타났음
    • 총 1,700 step으로 진행됨
    • 일반 instruction 데이터와 선호 기반 보상은 마지막 400 step에만 포함됨
  • 모델 기반 선호 보상으로 더 오래 학습하면 보상 해킹이 발생할 수 있음

벤치마크 결과와 단계별 변화

  • 실험은 MMLU, MMLU-Redux, MMLU-Pro, C-Eval, CMMLU, IFEval, FRAMES, GPQA Diamond, SimpleQA, C-SimpleQA, SWE-Bench Verified, Aider, LiveCodeBench, Codeforces, CNMO 2024, AIME 2024 등에서 수행됨
  • 단계별 모델 비교에서 DeepSeek-R1-Zero와 R1-Dev1은 다른 특징을 보임
    • R1-Dev1은 IF-Eval과 ArenaHard에서 instruction-following이 크게 개선됨
    • 콜드스타트 데이터 크기가 제한적이어서 AIME 등 일부 추론 성능은 R1-Zero보다 낮아짐
  • R1-Dev2는 코드 생성, 수학 문제 해결, STEM 관련 고급 추론 벤치마크에서 성능이 향상됨
  • R1-Dev3는 추론 데이터와 비추론 데이터를 SFT에 함께 넣어 추론과 일반 언어 생성 능력을 함께 개선함
    • AlpacaEval 2.0과 Aider-Polyglot에서 눈에 띄는 향상이 나타남
  • 최종 DeepSeek-R1은 혼합된 추론 중심·범용 데이터로 RL을 수행한 결과임
    • 코드와 수학 벤치마크는 이전 단계에서 이미 많은 추론 특화 RL이 적용돼 추가 향상이 제한적임
    • 일반 instruction-following과 사용자 선호 벤치마크에서 주된 개선이 나타남
    • AlpacaEval 2.0은 25%, ArenaHard는 17% 개선됨
  • 표에 제시된 최종 DeepSeek-R1 점수에는 IF-Eval 83.3, AlpacaEval2.0 87.6, ArenaHard 92.3, LiveCodeBench 65.9, Codeforces percentile 96.3, SWE Verified 49.2, AIME 2024 79.8, MATH-500 97.3이 포함됨

안전성, 한계, 공개 모델

  • DeepSeek-R1의 향상된 추론 능력은 윤리적 위험도 동반함
    • jailbreak 공격으로 폭발물 제조 계획 같은 위험 콘텐츠가 생성될 수 있음
    • 강화된 추론 능력 때문에 더 실행 가능한 계획을 제공할 수 있음
    • 공개 모델은 추가 미세조정으로 내재 안전 보호가 훼손될 수 있음
  • 안전성 평가에서 DeepSeek-R1의 내재 안전 수준은 최신 모델들과 비교해 전반적으로 중간 수준이며, GPT-4o 2024-05-13과 비슷한 수준으로 평가됨
  • 위험 제어 시스템과 결합하면 모델 안전 수준이 더 높은 기준으로 올라감
  • DeepSeek-R1에는 여전히 몇 가지 한계가 있음
    • 구조화 출력 능력은 기존 모델보다 최적이 아님
    • 검색 엔진이나 계산기 같은 도구를 활용하지 못함
    • 간단한 질문에도 과도한 추론이 나타나 토큰 효율 최적화 여지가 있음
    • 중국어와 영어에 최적화되어 다른 언어 질의에서 영어로 추론하거나 답변하는 언어 혼합이 나타날 수 있음
  • DeepSeek-R1 시리즈 모델은 공개되어 있으며, 증류된 소형 모델들도 제공됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • DeepSeek 스레드를 Latent Space에서 계속 추적해 왔고, 관련해서 볼 만한 자료들이 있음
    DeepSeek V3 논문은 필독 사전 자료라고 봄: https://github.com/deepseek-ai/DeepSeek-V3
    R1 + Sonnet 조합이 R1 단독, O1, R1+R1, O1+Sonnet 등보다 낫다는 글: https://aider.chat/2025/01/24/r1-sonnet.html
    독립 재현 사례: https://hkust-nlp.notion.site/simplerl-reason, https://buttondown.com/ainews/archive/ainews-tinyzero-reprod..., https://x.com/ClementDelangue/status/1883154611348910181
    R1 증류 모델은 며칠마다 쏟아질 가능성이 큼. Sky-T1 방식처럼 $400 미만, 48시간 미만으로 사고 과정 데이터를 써서 기반 모델을 개선하기가 너무 쉬움: https://buttondown.com/ainews/archive/ainews-bespoke-stratos..., https://www.youtube.com/watch?v=jrf76uNs77k
    더 많은 자료도 있지만 도배하고 싶지는 않고, 전체 흐름이 궁금하면 Latent Space Discord를 찾아보면 됨

    • Hugging Face가 R1 공개 재현을 진행 중임
      https://x.com/_lewtun/status/1883142636820676965
      https://github.com/huggingface/open-r1
      Hugging Face Journal Club - DeepSeek R1: https://www.youtube.com/watch?v=1xDVbu-WaFo
    • 누군가 공개된 것처럼 llama8b 증류를 만들되 강화학습까지 포함해 주면 좋겠음
      전체 DeepSeek 모델에는 강화학습과 지도 미세조정이 모두 들어갔지만, 증류 모델은 후자만 포함됨. 개발진은 강화학습 추가를 다른 사람들의 과제로 남겼고, 핵심은 지도 미세조정만으로도 추론 모델이 가능하다는 점이었음. 그래도 강화학습까지 들어가면 더 좋아질 수 있음
    • 이런 자료라면 도배라도 매우 보고 싶고, https://www.latent.space/에 올려주면 좋겠음
    • bespoke-stratos-32B를 만든 쪽인데, 궁금한 게 있으면 물어봐도 됨

  • https://chat.deepseek.com/을 ChatGPT Pro 구독보다 더 많이 쓰고 있음. 표시되는 사고 과정을 읽을 수 있어서 디버깅하기가 훨씬 쉬움
    답변을 부드럽게 만들거나 내게 맞춰 아부하듯 바꾸는 순간도 보이기 때문에, “네 사고 과정에서 그런 답변을 하려는 걸 봤으니 그러지 마”라고 바로 말할 수 있음. 무료로 유지되고 더 좋아지면 OpenAI 입장에서는 흥미로운 상황이 될 듯함

    • 사고 과정은 여러 면에서 정말 유용함. 최종 답변 자체보다 더 많이 배울 수 있고, 사실관계나 문체 측면에서 프롬프트를 다듬는 데 도움이 되며, 답변을 얼마나 신뢰할지 판단하는 데도 도움 됨
    • Tiananmen Square Massacre에 대해 물어보면 그 사고 과정이 꽤 흥미로움
    • ChatGPT도 이걸 하긴 하지만 UI에 표시하지 않을 뿐임. “thinking”을 클릭하면 펼쳐서 사고 과정을 읽을 수 있음
    • 프롬프트에 “you”를 쓰면, 그 “you”를 AI가 아니라 프롬프트 작성자로 해석하는 걸 봤음
    • 가입하려고 했더니 “이 이메일 도메인은 해당 지역에서 지원되지 않는다”는 이상한 메시지가 나왔음
      GMail 계정 같은 걸 요구하는 듯함. 어쨌든 미국 기반 LLM 제품도 개인정보 보호를 믿기 어려운데, 중국 기반 서비스는 더더욱 못 믿겠음. 무료라면 사용자가 상품이라는 말이 떠오름. 내 하드웨어에서 경쟁력 있는 모델을 돌릴 수 있을 때까지 몇 년 더 기다려도 괜찮음

  • DeepSeek-R1이 실리콘밸리에 꽤 큰 충격파를 준 듯함
    https://venturebeat.com/ai/why-everyone-in-ai-is-freaking-ou...

    • 중국이 같은 품질을 99% 할인된 비용으로 만들 수 있다면, 5,000억 달러 투자는 실제로 50억 달러 가치밖에 없는 셈 아닌가 싶음
      국가를 흔들 수 있는 잘못된 투자에 가까움. 공적 자금이 쓰인다는 뜻은 아니지만, 5년 동안 5,000억 달러어치 인력과 물자를 묶어 두는 일임. 그 자원이 고속철도망 같은 데 쓰였다면 훨씬 생산적일 수도 있음
    • 기사에서 말한 검열은 프런트엔드에 있는 것 같음
      로컬에서 32B(qwen 2.5 기반)와 70B(llama 3.3 기반)를 실행해 “tianamen square에서 무슨 일이 있었나”라고 물었더니 둘 다 사건을 자세히 답했음. 다른 질문과 테스트를 해봐도 모델 자체는 매우 좋아 보임
    • OpenAI의 창립 목표가 대중에게 AI를 민주화하는 것이었다는 점을 생각하면 꽤 아이러니함
      Nvidia 선임 연구 관리자 Jim Fan이 X에서 “미국이 아닌 회사가 OpenAI의 원래 사명, 즉 모두에게 힘을 주는 진정한 개방형 최전선 연구를 살리고 있는 시간선에 살고 있다. 말이 안 된다. 가장 재미있는 결과가 가장 가능성이 높다”고 쓴 부분이 인상적임
    • AI에서 이기려면 막대한 연산 자원이 필요하다는 성역 같은 명제를 깨뜨린 방식이 지각변동급임
      모든 기술 회사가 매년 수백억 달러를 AI 연산에 쓰고, OpenAI는 월 200달러를 받기 시작하면서 연산 자원 확보에 5,000억 달러를 모으려 하고, Nvidia는 AI의 핵심이라는 이유로 수조 달러 가치를 인정받고 있음. 이 중 얼마나 실제로 맞는지 의문이 커짐
    • Nvidia 선임 연구 관리자 Jim Fan이 말한 것처럼, 미국이 아닌 회사가 OpenAI의 원래 사명인 개방형 최전선 연구를 살리고 있다는 점이 묘함

  • DeepSeek V3는 Claude Sonnet이 나빠지고 예상치 못한 제약 때문에 작업을 끝내기 어려워진 딱 그 시점에 나와서 타이밍이 좋았음
    DeepSeek이 경쟁사를 가격으로 압박하려는 전략인지는 모르겠지만, 내게는 큰 이점임. 무료 크레딧 10달러를 받고 API를 많이 썼는데도 1달러도 거의 못 태웠을 정도로 가격이 쌈
    Aider와 Cursor에서는 완전히 DeepSeek API로 전환했고, 이런 도구들은 토큰을 많이 먹을 때가 있음. 흥미로운 시대임

    • 2월에는 가격이 5배 오르겠지만 그래도 Sonnet에 비하면 여전히 매우 쌈
      출력 기준 백만 토큰당 $15 대 $1.10은 차이가 엄청남. Sonnet 사용을 중단할 이유는 없지만, DeepSeek이 망가지거나 답변에 추가 확신이 필요할 때만 Sonnet을 쓸 것 같음
    • 진짜 목표는 실제 대화 데이터를 수집하는 것일 수 있음. 약관을 보면 그렇게 보임
    • Claude Sonnet이 어떻게 나빠졌는지 더 알고 싶음. 무료 버전을 꽤 만족스럽게 쓰고 있었고, DeepSeek이 나오기 전까지만 해도 곧 유료로 올릴까 생각 중이었음

  • arXiv에 저자 100명 이상이 팀 이름으로 올라간 건 모두를 인정하고 동료 의식을 만드는 방식임. 내부 사기는 높을 것 같음

    • Google Gemini 논문도 비슷하게 저자가 1,000명 넘었고, 그때는 모두가 공을 챙기려는 대기업 자기홍보 문화로 묘사됐음. 서사가 어떻게 바뀌는지 흥미로움
      https://arxiv.org/abs/2403.05530
    • 첫 저자인 DeepSeek-AI까지 포함하면 실제로는 정확히 200명임
      참고로 저자 목록은 DeepSeek-AI, Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, Xiaokang Zhang, Xingkai Yu, Yu Wu, Z.F. Wu, Zhibin Gou, Zhihong Shao, Zhuoshu Li, Ziyi Gao 등으로 이어짐
    • 이제 어떤 분석을 돌리거나 코드 변경을 조금 제출한 사람들도 DeepSeek 덕분에 Google Scholar에서 수천 회 인용을 얻게 될 수 있음
    • 일종의 이력 부풀리기임

  • 모두가 DeepSeek이 가장 큰 폐쇄형 모델보다 낫다고 말하려 하지만, 실제로는 비슷한 수준에 도달한 느낌이지 명확한 승자는 아닌 듯함
    다만 무료이자 개방형이고, 양자화 모델들이 말도 안 되게 좋음. 2012년 MacBook Pro에서 CPU 추론과 아주 적은 RAM으로 모델을 돌려보는 식의 개인 테스트를 하는데, 1.5B 모델도 여전히 빠르고, 약간의 프롬프트 조정으로 strawberry 문제를 첫 시도에 맞혔음. 작년에는 상상하기 어려웠고, 정말 분수령 같은 순간임

    • R1 자체가 아니라 증류 버전을 돌리고 있다는 건 알고 있음
      그래도 약 1B 매개변수대의 작은 모델을 써본 경험이 있다면, 이전 모델들보다 압도적으로 낫다는 걸 알 수 있음. 이 크기에서 이 정도로 좋은 양자화·증류 모델은 없었다고 봄. 원본 R1 작업 없이는 존재하지 않았을 모델임
    • 아마 ollama에서 돌리고 있을 텐데, ollama는 R1을 실행하는지에 대해 꽤 비윤리적으로 오해를 만들고 있음
      R1이라고 붙인 모델 대부분이 실제로는 완전히 다른 모델임
    • 작은 매개변수 모델들은 전부 Qwen/Llama를 R1 600B로 학습한 것 아닌가 싶음
    • 로컬에서 어떻게 실행하는지 궁금함. 직접 로컬 모델을 만져보고 싶은데, 지금 본 것만큼 좋다면 더더욱 해보고 싶음

  • Larry Ellison은 80세, Masayoshi Son은 67세임. 둘 다 ASI 투자의 주요 목표 중 하나로 노화 방지와 영생을 말해 왔음
    ASI를 5년 앞당기고 거기에 영생을 달라고 요청할 수 있다면, 자기 돈을 쓰고 업계를 움직여 GPU에 5,000억 달러를 투자할 가치가 있다고 볼 수 있음

    • 부자들이 보통 사람보다 훨씬 오래 사는 건 SF를 충분히 읽어본 입장에서 디스토피아 재앙의 공식임
      세상에는 무능한 상속자들이 유산 대부분을 낭비해 주는 장치가 필요함. 그렇지 않으면 문명은 봉건적 악몽으로 무너질 수 있음
    • 노화를 치료하기 전에, 정치 시스템이 80대 이상을 지도자로 세우지 않는 상태가 될 때까지 기다릴 수는 없을까
    • 특히 Larry는 이미 수명 연장 연구에 투자한 적이 있음
    • ChatGPT → ASI → 영생 사이에는 논리적 연결이 전혀 없음
      ChatGPT가 진리의 신탁이 아니듯, ASI도 영생을 내려주는 신이 아닐 것임. 언제쯤 사람들이 깨어날지 모르겠음
    • 지금 기계학습이 가는 방향은 ASI에 필요한 것과 완전히 반대라서, 그들이 원하는 걸 얻지는 못할 것임
      사람들은 데이터셋과 학습에 집중하지만, 그것들은 여전히 명시적인 단계일 뿐이고 추론할 수 있는 존재로 이어지지 않음

  • DeepSeek R1 자체도 인상적이지만, 작은 증류 모델들이 얼마나 좋은지도 놀라움
    qwen 기반 7B DeepSeek R1 증류 모델도 훌륭하고, 32B 증류 모델은 내 홈 서버의 기본 모델이 됨

    • 증류된 8B Llama 변형을 방금 써봤는데, 프롬프트 준수가 매우 좋지 않았음
      일반 Llama 3.1 8B가 꽤 정확히 맞힌 질문을, 추론을 거쳐 오답으로 갔음. 아직은 인상적이지 않지만 내일 qwen 계열을 더 만져볼 생각임
    • 32B 증류 모델에는 VRAM이 얼마나 필요한지 궁금함
    • 홈 서버에서 그걸로 무엇을 하는지 궁금함
    • 7B를 써봤는데 답변 중간에 중국어로 바뀌었음
    • Tiananmen Square나 Uighur에 관심이 없다면 훌륭함

  • 일반적인 Tiananmen Square 검열 말고도 다른 선전 성향이 내장된 것처럼 보임
    https://prnt.sc/HaSc4XZ89skA (reddit에서 가져옴)

    • 검열은 모델 자체에 내장된 게 아니라 공개 채팅 인터페이스 위에 덧씌워진 것 같음
      직접 실행하면 훨씬 덜 검열됨 https://thezvi.substack.com/p/on-deepseeks-r1?open=false#%C2...
    • https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32...로 “Tiananmen Square에서 무슨 일이 있었나?”를 물어봤고, 사고 과정 일부는 꽤 직접적이었음
      “Tank Man” 이미지, 탄압 이후 정부의 정보 검열, 중국 안에서 공개적으로 논의되지 않고 학교에서도 가르치지 않아 젊은 세대가 잘 모를 수 있다는 내용이 나왔음. 중국 밖에서는 권위주의 통치와 민주주의 열망의 충돌을 보여주는 현대사의 중요한 사건이라고 설명했음
    • 누가 신경 쓰겠나 싶음
      O1에게 프리미엄 구독자로서 YouTube 음악 재생목록을 다운로드하는 방법을 물으면 도와줄 수 없다고 하는데, DeepSeek은 문제없이 답함
    • 중국이 하면 검열이고, 미국 회사가 하면 정렬이라고 부르는 게 흥미로움
      이런 언어 체조와 위선은 이제 좀 지겨움
    • chat.deepseek.com에서 모델 정렬을 시험하려던 게 아니라 논쟁에 필요한 진짜 질문으로 “McDonalds가 있는 아시아 국가는 어디고 없는 국가는 어디인가?”라고 물었음
      웹 UI가 길고 좋은 답변을 출력하다가 끝부분쯤에서 갑자기 답변이 사라지고 “Sorry, that's beyond my current scope. Let’s talk about something else.”로 바뀌었음. 채팅 앱에 실시간 자기검열 같은 게 있는 듯함

  • 맥락상 R1은 V3 기반의 추론 모델임. DeepSeek은 당시 임대 비용 기준으로 V3 학습 GPU 비용이 약 500만 달러였다고 주장했음
    V3의 실제 비용과 함의는 여기서 다룸: https://www.interconnects.ai/p/deepseek-v3-and-the-actual-co...

    • 비용 주장에 대한 훌륭한 맥락임. 따져보면 최종 학습 실행만 놓고 봤을 때 기술적으로만 맞는 말에 가까움
답변달기