# 코드 생성 성능을 향상시키는 놀라울 만큼 단순한 자기 증류 기법

> Clean Markdown view of GeekNews topic #28211. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=28211](https://news.hada.io/topic?id=28211)
- GeekNews Markdown: [https://news.hada.io/topic/28211.md](https://news.hada.io/topic/28211.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2026-04-05T09:38:40+09:00
- Updated: 2026-04-05T09:38:40+09:00
- Original source: [arxiv.org](https://arxiv.org/abs/2604.01193)
- Points: 12
- Comments: 1

## Topic Body

- **Simple Self-Distillation(SSD)** 은 대형 언어 모델이 **교사 모델이나 강화학습 없이** 스스로 생성한 코드를 다시 학습해 성능을 높이는 방법
- **Qwen3-30B-Instruct** 모델의 LiveCodeBench v6 **pass@1 점수를 42.4%에서 55.3%로 향상**시키며, 특히 **어려운 문제 구간에서 +15.3pp** 개선
- SSD는 코드 생성 중 **정확도와 탐색 간 충돌을 완화**하며, 문맥에 따라 **꼬리 확률을 억제하고 유용한 다양성을 유지**
- 단순한 **온도 조정이나 디코딩 정책 변경만으로는 동일한 효과를 재현할 수 없으며**, SSD는 **모델 내부 분포 자체를 재형성**
- 외부 데이터나 검증 없이 적용 가능한 **간단한 후처리 학습 절차**로, **LLM 코드 생성 품질 향상에 실질적 대안**을 제시함

---

### 단순 자기 증류(Simple Self-Distillation, SSD)
- **SSD(Simple Self-Distillation)** 은 대형 언어 모델(LLM)이 **교사 모델, 검증기, 강화학습 없이** 스스로 생성한 코드 출력을 이용해 성능을 향상시키는 방법
  - 모델이 특정 **온도(temperature)** 와 **절단(truncation)** 설정으로 샘플을 생성하고, 그 결과를 **표준 지도 미세조정(SFT)** 으로 다시 학습
  - 외부 라벨 데이터, 보상 모델, 실행 환경이 전혀 필요하지 않음
- **Qwen3-30B-Instruct** 모델의 LiveCodeBench v6 **pass@1 점수를 42.4% → 55.3%** 로 향상 (+12.9pp, +30% 상대 향상)
  - 특히 **어려운 문제(hard split)** 에서 가장 큰 개선(+15.3pp)
  - Qwen 및 Llama 계열의 4B, 8B, 30B 모델 전반에서 일반화
- SSD는 **정확도-탐색(precision-exploration) 충돌**을 완화하는 방식으로 작동
  - 코드 생성 중 일부 토큰은 높은 정확도를 요구(“lock”), 일부는 다양한 탐색을 요구(“fork”)
  - SSD는 문맥에 따라 **불필요한 꼬리 분포를 억제**하면서 **유용한 다양성은 유지**

---

### 1. 연구 배경
- 고품질 지도 신호(예: 사람 작성 코드)가 부족해 **LLM 코드 생성 성능 향상에 제약** 발생
- 기존 접근법의 한계
  - **교사 모델 기반 증류**: 교사 모델의 성능 한계 상속
  - **강화학습(RL)**: 보상 모델 및 실행 기반 검증 필요, 불안정함
  - **비지도 대안(예: 다수결, 엔트로피 최소화)**: 장기 학습 시 붕괴 위험
- SSD는 **외부 데이터나 검증 없이** 모델 자체 출력만으로 개선 가능함을 입증

---

### 2. SSD 방법론
- ## 데이터 합성
  - 주어진 문제 프롬프트 집합 X에 대해, 모델 pθ에서 **온도 Ttrain**과 **절단 설정 ρtrain(top-k, top-p)** 으로 샘플링
  - 생성된 출력(y)은 **검증 없이 그대로 학습 데이터(DSSD)** 로 사용
  - 대부분의 경우 **N=1 (문제당 한 샘플)** 로 충분
- ## 학습
  - 표준 **교차 엔트로피 손실**로 지도 미세조정 수행
  - L(θ) = −E(x,y)∼DSSD Σ log pθ(yt | x, y<t)
- ## 추론
  - 학습된 모델 pθ*을 **평가 온도 Teval**과 절단 설정 ρeval로 디코딩
  - ---

### 3. 실험
- ## 모델 구성
  - **Llama-3.1-8B-Instruct**, **Qwen3-4B/30B (Instruct, Thinking)** 등 5개 모델
  - 2개 계열(Llama, Qwen), 3개 규모(4B, 8B, 30B), 2가지 추론 스타일(Instruct, Thinking)
- ## 데이터
  - **rSTARcoder** 데이터셋의 경쟁 프로그래밍 문제 약 10K개 사용
  - **정답 검증 없이** 단순 문법 필터링만 적용
- ## 학습 설정
  - **Megatron-LM** 기반, 8×B200 GPU 사용
  - AdamW 옵티마이저, 최대 시퀀스 길이 65,536
  - Instruct 모델 2,500 step, Thinking 모델 300 step
- ## 평가
  - **LiveCodeBench v6 (LCB v6)** 를 주요 벤치마크로 사용
  - **pass@1, pass@5**, 난이도별(Easy/Medium/Hard) 세분화 평가
  - ---

### 4. 주요 결과
- ## 전반적 성능 향상
  - Qwen3-30B-Instruct: **42.4% → 55.3% pass@1 (+12.9pp)**
  - Qwen3-4B-Instruct: +7.5pp, Llama-8B: +3.5pp
  - Thinking 모델도 +2~3pp 향상
- ## 난이도별 개선
  - Qwen3-30B-Instruct: Easy +6.5pp / Medium +14.2pp / Hard +15.3pp
  - Thinking 모델에서도 Hard 구간에서 가장 큰 향상
- ## 다양성 유지
  - pass@5 향상이 pass@1보다 큼 → **생성 다양성 유지 및 향상**
  - 예: Qwen3-30B-Instruct pass@5 +18.1pp (Hard +23.0pp)
- ## 도메인 일반화
  - 경쟁 프로그래밍 외 수학·일반 코드·이해 과제에서도 **성능 유지**
  - ---

### 5. 디코딩 정책 비교
- ## 온도 조정만으로는 SSD 효과 재현 불가
  - Base 모델의 온도 스윕 결과: pass@1 변화폭 1.5–3.0pp 수준
  - SSD는 동일 조건에서 +11.8pp(Qwen3-30B-Instruct) 향상
  - 특히 **Hard 문제와 pass@5**에서 격차가 가장 큼
  - SSD는 **모델 내부 분포 자체를 변화**시켜 단순 디코딩 조정으로는 대체 불가
  - ---

### 6. 하이퍼파라미터 상호작용
- **훈련 온도(Ttrain)** 와 **평가 온도(Teval)** 의 곱 **Teff = Ttrain × Teval**이 성능을 결정
  - Teff ≈ 1.2 부근에서 최고 성능
  - Ttrain이 높을수록 Teval 변화에 민감해짐
- **절단(truncation)** 을 추가하면 성능 상한 상승
  - 최적 설정: Ttrain=2.0, Teval=1.1, top-k=10 → pass@1 49.7% (+7.3pp)
  - 절단은 저확률 꼬리 제거로 추가 개선 제공

---

### 7. SSD 작동 원리
- ## 정확도-탐색(Precision–Exploration) 충돌
  - **Lock**: 문법적으로 정답이 거의 고정된 위치 → 낮은 온도 필요
  - **Fork**: 여러 해법이 가능한 위치 → 높은 온도 필요
  - 단일 온도로 두 요구를 모두 만족시키기 어려움
- ## SSD의 역할
  - **Lock**에서는 꼬리 확률을 억제해 정밀도 강화
  - **Fork**에서는 상위 후보 간 확률을 평탄화해 탐색 다양성 유지
  - 결과적으로 **문맥 의존적 분포 재형성** 수행
  - ---

### 8. 실험적 검증
- ## 모의 환경 실험
  - Fork 1회 + Lock 3회 구조의 단순 환경에서 SSD 적용
  - SSD 후 성공 확률 상승, 최적 온도 범위 확장
  - 학습과 디코딩이 **서로 보완적**임을 확인
- ## 실제 모델 분석
  - SSD 후 **상위 토큰 누적 확률 증가**, 꼬리 확률 감소
  - 높은 Teval에서도 **유효한 상위 후보 수 증가**, **엔트로피 상승**
  - 즉, SSD는 **꼬리 제거와 상위 분포 확장**을 동시에 달성
  - ---

### 9. 이론적 분석
- SSD 학습 손실은 세 가지 항으로 분해됨
  1. **Support Compression**: 꼬리 확률 제거
  2. **Within-Support Reshaping**: 상위 분포 재형성
  3. **Alignment to Base Model**: 원 모델과의 정렬 유지
- **Lock**에서는 첫 번째 항이 지배적 → 꼬리 제거
- **Fork**에서는 두 번째 항이 작동 → 상위 분포 평탄화
- 전체 엔트로피는 감소하지만, **유용한 탐색 엔트로피는 유지**
- 단순 디코딩 조정은 이러한 문맥별 재형성을 수행할 수 없음

---

### 10. 비정상 데이터 실험
- **Ttrain=2.0, 절단 없음**으로 생성된 데이터의 62%가 **의미 없는 잡음(gibberish)**
- 그럼에도 불구하고 SSD 적용 후
  - pass@1: 42.4% → **48.1% (+5.7pp)**
  - pass@5: 53.5% → **64.0% (+10.5pp)**
  - Hard 문제에서 +7.3pp / +13.8pp 향상
- 이는 SSD가 **정답 품질이 아닌 분포 구조 학습**을 통해 개선을 이끌 수 있음을 보여줌

---

### 결론
- **Simple Self-Distillation(SSD)** 은
  - 외부 교사나 검증 없이 **모델 자체 출력만으로 코드 생성 성능을 향상**
  - **정확도-탐색 충돌을 완화**하며, **분포 재형성**을 통해 일반화된 개선 달성
- SSD는 **후처리(post-training)** 단계에서 적용 가능한 간단하면서도 강력한 방법으로,
  **LLM 코드 생성 품질 향상에 실질적 대안**을 제시함

## Comments



### Comment 54670

- Author: neo
- Created: 2026-04-05T09:38:40+09:00
- Points: 1

###### [Hacker News 의견들](https://news.ycombinator.com/item?id=47637757) 
- 이 논문이 흥미로운 이유는 **문맥 인식 디코딩(context-aware decoding)** 개념을 실제로 구현했다는 점임  
  코드 생성 과정에서 ‘fork’ 지점(여러 해석이 가능한 창의적 분기)과 ‘lock’ 지점(정확성이 필요한 구문적 결정)이 번갈아 나타남을 설명함  
  SSD(Simple Self-Distillation) 기법이 두 상황 모두에서 최적 토큰의 순위를 개선해, 모델이 탐색할 때는 더 **창의적**, 정확해야 할 때는 더 **정밀**하게 작동하도록 돕는다는 점이 인상적임  
  - 사실 이런 **LLM의 새로운 특성 발견**은 놀랍기보단 당연한 일처럼 느껴짐  
    인간의 뇌조차 수천 년을 연구했지만 여전히 불가해한 부분이 많음  
    심지어 **교통 흐름의 emergent behavior**조차 최근까지 명확히 이해되지 않았음  
    그러니 LLM의 새로운 성질을 계속 발견하는 건 자연스러운 일임  
  - 흥미로운 점은 모델이 ‘fork’와 ‘lock’ 토큰 모두에 동일한 연산량을 쓰는 구조임  
    문법 기반 샘플링이나 [grammar-aware decoding](https://github.com/ggml-org/llama.cpp/blob/master/grammars/R...)을 쓰면 문법상 유일한 토큰은 모델 호출 없이 바로 삽입할 수도 있음  
    하지만 현재 널리 쓰이는 시스템에서는 거의 적용되지 않음  
    **중요한 선택에는 더 많은 연산**, 명백한 토큰에는 더 적은 연산을 쓰는 일반화된 접근이 가능할지 궁금함  
  - 작은 모델을 파인튜닝하다가 **mode collapse** 문제를 겪었는데, 학습 시 필드 순서를 무작위로 섞으니 해결됨  
    추론 시에도 같은 방식을 적용해야 할지 고민 중임  
  - 흥미로운 건 SSD가 실시간으로 **temperature를 조정하거나 fork/lock 지점을 예측하지 않아도** 효과가 있다는 점임  
  - 이 개념은 코드뿐 아니라 **다른 생성형 콘텐츠 전반**에도 적용 가능함  
    코드에서는 구조가 명확하다는 차이만 있을 뿐, fork/lock 메커니즘은 다양한 문제 영역에 통함  

- **Self-Distillation**이 LLM 발전의 핵심 방향으로 보임  
  MIT와 ETH 팀이 발표한 [Self-Distillation Fine-Tuning(SDFT)](https://arxiv.org/abs/2601.19897) 연구가 이미 높은 효율을 보였음  
  이번 논문의 SSD(Simple Self-Distillation)는 사실상 그 연장선인데, 이름만 다름  
  SSD라는 명칭이 **SSD(솔리드 스테이트 드라이브)** 와 겹치는 것도 혼란스러움  
  원 연구인 SDFT에 더 명확히 **출처와 계보를 인정**했으면 좋겠음  

- 최근 [Gemma 4](https://www.youtube.com/watch?v=-_hC-C_Drcw)를 로컬에서 초당 50토큰 속도로 돌리는 영상을 봤음  
  이미 Sonnet 3x~4 수준의 기능을 보여줌  
  여기에 SSD 같은 기법이 더해지면 2028년쯤엔 **저렴하고 강력한 코드 모델**이 대중화될 것 같음  
  숙련된 개발자들은 자연어를 코드로 바꾸는 **비결정적 트랜스파일러**로 자체 모델을 돌릴 가능성이 큼  
  - 나도 종종 생각함. 내가 쓰는 언어(PHP, SQL, JS 등) 최신 버전만으로 모델을 학습시킨다면 훨씬 **작고 빠른 모델**이 될 수 있지 않을까  
    지금은 마치 ‘못 위에 집을 짓는’ 느낌임  
  - 물론 그때쯤이면 **프로젝트별 메모리와 온디맨드 학습**을 갖춘 프런티어 모델들이 개인 모델을 압도할 수도 있음  

- SSD의 핵심 가설인 **정밀도–탐색(precision–exploration) 갈등**은 [Adaptive Decoding](https://ai.meta.com/research/publications/adaptive-decoding-...)이 해결하려는 문제와 유사함  
  - 나도 Adaptive Decoding에 관심이 많음  
    추론 중에는 창의적 사고가 필요한 시점엔 **높은 temperature**, 구문적 정확성이 필요한 시점엔 **낮은 temperature**가 필요하다는 게 자명해 보임  

- 단순히 “이게 가장 **우아한 해결책**인가?”를 반복해서 묻는 것만으로도 LLM 출력이 눈에 띄게 개선됨  
  모델이 그렇게 쉽게 더 나은 답을 찾을 수 있다면, 왜 처음부터 그렇게 하지 않았을까 하는 의문이 듦  
  - 실제로 **우아한 해법**은 대부분 첫 시도에서 나오지 않음  
    일단 작동하는 해를 만든 뒤 여러 번 다듬어야 비로소 간결해짐  
  - 인간 개발자도 마찬가지임  
    어떤 이는 반나절을 고민하다 코드를 쓰고, 어떤 이는 즉시 첫 해법을 구현함  
    현재 LLM은 후자에 더 가까움  

- 이 연구는 **더 나은 코드 생성 모델**로 이어질 가능성이 큼  
  하지만 우리는 여전히 고차원 공간에서 무슨 일이 일어나는지 제대로 이해하지 못함  
  결국 **‘던져보고 붙는지 보는’ 방식**으로 탐색 중임  

- 머신러닝의 돌파구들은 겉보기엔 단순한 경우가 많음  
  Transformer도 그랬고, 이번 SSD도 마찬가지임  
  아마도 우리가 아직 **깊은 이론적 기반**을 갖추지 못했기 때문일 것임  
  - 실제로 많은 발견이 그렇듯, **단순함은 종종 올바름의 징후**임  
    복잡함은 이해가 부족하다는 신호일 때가 많음  
    내 프로그래밍 경험상 이건 꽤 믿을 만한 법칙임  

- 아이러니하게도 **Apple은 여전히 AI 연구를 공개**하지만 **OpenAI는 그렇지 않음**  
  - 나도 그 점이 이상하다고 느낌. 굳이 비공개로 할 이유가 없어 보임  
  - 아마도 OpenAI는 아직 **지킬 ‘시장’을 갖고 있지 않기 때문**일 수도 있음  

- 어떤 사람은 이번 논문을 “벤치마크 코드 결과만 잘 내도록 미세조정한 모델”이라 요약했지만, 실제로는 다름  
  - 논문을 보면 **정답 검증이나 품질 평가 없이**, 단순히 벤치마크 입력을 넣고 출력된 결과를 다시 학습에 사용함  
    이후 **디코딩 설정(temp, top-k)** 을 조정한 모델이 원본보다 더 나은 결과를 냄  
    즉, 단순히 벤치마크에 맞춘 파인튜닝이 아니라 **자기출력 기반의 성능 향상**임  

- 이 연구를 **골프 연습**에 비유할 수 있음  
  수천 번 공을 치며 **기본 스윙을 자동화**한 뒤, 실제 경기에서는 창의적이고 위험한 샷을 자신 있게 시도할 수 있게 되는 것과 같음  
  SSD도 이런 식으로 **기초 패턴을 강화해 창의적 선택의 여유를 확보**하는 접근임