Qwen2-72B 중간 레이어 7개 복제로 리더보드 1위, 가중치는 단 하나도 안 건드리고
(dnhkng.github.io)개발자 David Noel Ng가 Qwen2-72B 모델의 중간 레이어 7개 구간만 반복 통과시키는 아주 간단한 방법으로, 가중치·파인튜닝 전혀 없이 2024년 HuggingFace Open LLM 리더보드 1위를 찍음.
주요 포인트
-
Qwen2-72B (총 80개 레이어)에서 특정 중간 구간(45~51번 레이어, 7개)을 한 번 더 통과시키는 식으로 모델을 수정
→ 파라미터는 72B → 약 78B로 늘지만 새로운 가중치는 0개 추가 -
벤치마크 결과
- MATH Lvl 5: +8.16%
- MuSR: +17.72%
- 6개 주요 벤치마크 중 5개에서 성능 상승 → 평균 점수로 리더보드 1위 기록
왜 효과가 있었나?
- 트랜스포머 모델 내부에 기능별로 분화된 ‘회로(circuit)’가 존재한다는 가설 (LLM Neuroanatomy)
- 초반 레이어: 입력 인코딩
- 중간 레이어: 실제 추론·생각하는 부분 (수학, 감정 이해 등 특정 회로 존재)
- 후반 레이어: 출력 디코딩
→ 중간의 추론 회로를 한 번 더 돌리면 그 기능이 강화됨
실험 방식
RTX 4090 2장으로 3,241가지 레이어 구간 조합을 전수 조사 → 열지도(heatmap) 분석
→ 특정 구간(45~52)만 반복하면 성능이 급상승하는 패턴 발견
추가 인사이트
- 단일 레이어 반복 → 성능 하락
- 여러 레이어를 묶은 블록 반복 → 특정 기능 강화
- 이후 이 아이디어를 바탕으로 한 모델(RYS-XLarge → calme-3.2 등)이 2026년 초 리더보드 상위권을 차지하기도 함
결론
LLM은 단순히 레이어를 쌓은 게 아니라, 뇌처럼 기능적으로 분화된 회로를 가지고 있다.
이 회로를 찾아내서 반복 통과시키는 것만으로도 가중치 건드리지 않고 성능을 크게 끌어올릴 수 있다는 발견.