# I-DLM - 내성 확산 언어 모델 (Introspective Diffusion Language Models) > Clean Markdown view of GeekNews topic #28562. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=28562](https://news.hada.io/topic?id=28562) - GeekNews Markdown: [https://news.hada.io/topic/28562.md](https://news.hada.io/topic/28562.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-04-16T04:32:58+09:00 - Updated: 2026-04-16T04:32:58+09:00 - Original source: [introspective-diffusion.github.io](https://introspective-diffusion.github.io/) - Points: 1 - Comments: 1 ## Topic Body - **I-DLM**은 확산 기반 언어 모델이 **AR(Autoregressive) 모델 수준의 품질**과 **병렬 생성 속도**를 동시에 달성한 첫 사례임 - **Introspective Strided Decoding(ISD)** 을 통해 한 번의 전방 패스에서 **새 토큰 생성과 이전 토큰 검증**을 병행함 - **I-DLM-8B**는 LLaDA-2.1-mini(16B) 대비 절반의 파라미터로 **AIME-24에서 +26점**, **LiveCodeBench-v6에서 +15점** 향상 - **Gated LoRA**를 이용해 **비트 단위 손실 없는(lossless)** 가속을 구현하고, **SGLang 인프라**와 완전 호환됨 - 확산 언어 모델이 **자기 일관성 학습과 병렬 디코딩 최적화**를 통해 실용적 대규모 배포 가능성을 입증함 --- ### 개요 - **I-DLM(Introspective Diffusion Language Model)** 은 기존 **확산 언어 모델(DLM)** 의 병렬 토큰 생성 능력을 유지하면서, **자기 일관성(introspective consistency)** 문제를 해결해 **AR 모델 수준의 품질**을 달성한 모델임 - **Introspective Strided Decoding(ISD)** 을 통해 한 번의 전방 패스로 새 토큰을 생성하면서 이전 토큰을 검증함 - **I-DLM-8B**는 동급 규모의 AR 모델과 동일한 품질을 달성한 최초의 DLM으로, **LLaDA-2.1-mini(16B)** 대비 절반의 파라미터로 **AIME-24에서 +26점**, **LiveCodeBench-v6에서 +15점** 향상 - 높은 동시성(C=64) 환경에서 **2.9~4.1배의 처리량(throughput)** 을 달성하며, **Gated LoRA**를 통해 **비트 단위 손실 없는(lossless)** 가속을 지원함 ### Introspective Consistency의 필요성 - AR 모델은 한 번의 전방 패스에서 **생성과 자기 검증**을 동시에 수행하지만, 기존 DLM은 **노이즈 제거(denoising)** 만 학습해 자기 일관성이 부족함 - 기존 DLM의 세 가지 병목 요인 - **낮은 자기 일관성:** SDAR 0.699 vs I-DLM 0.984 - **비효율적 연산:** TiDAR 약 7.8배 오버헤드 vs I-DLM 약 2.5배 - **인프라 불일치:** SDAR slope=84 vs I-DLM=549 ### I-DLM 방법론 - ## Introspective-Consistency Training - 사전 학습된 AR 모델을 **인과적 어텐션(causal attention)**, **logit shift**, **전 마스크(all-masked) 목적 함수**를 통해 변환 - ## Introspective Strided Decoding(ISD) - 한 번의 전방 패스에서 **N개의 토큰 생성**과 **이전 토큰 검증**을 병행 - **p/q 수용 기준(acceptance criterion)** 을 사용해 생성 결과를 검증 - ## AR-Compatible Serving - **엄격한 인과 어텐션 구조**로 SGLang 인프라에 직접 통합 가능 - 별도의 커스텀 인프라 없이 AR 모델과 동일한 서빙 환경에서 동작 ### 성능 결과 - I-DLM은 **동일 규모 AR 모델과 품질이 동등한 최초의 DLM**으로, 15개 벤치마크 전반에서 기존 DLM을 초월 - ## 주요 벤치마크 결과 - **지식·추론:** ARC-C 96.8, MMLU-Pro 79.7, GPQA-D 62.1 - **수학:** AIME-24 83.3, AIME-25 80.0, MATH-500 97.6 - **코드:** HumanEval 96.3, MBPP 94.6, LCB-v6 57.1 - **명령 수행:** IFEval 84.7 - **I-DLM-32B**는 **LLaDA-2.1-flash(100B)** 보다 높은 성능을 기록 ### 처리량(Throughput) - 배치 크기 1~64에서 **LLaDA-2.1-mini 및 SDAR 대비 2.9~4.1배 높은 처리량**을 달성 - **메모리 바운드(memory-bound)** 환경에서 **TPF(Token Per Forward)** 가 실제 속도 향상을 근사 - I-DLM(N=4, p=0.9): TPF≈2.9, 효율성 1.22 - SDAR(N=4, p=0.5): TPF≈1.1, 효율성 0.31 - 효율성 1 이상은 병렬 디코딩이 AR 대비 총 연산량을 절감함을 의미 ### Speedup Factor Explorer - **수용률 p=0.9**, **R-ISD LoRA 오버헤드 α=1.12** - ## 속도 향상 근사식: - 메모리 바운드: `Speedup ≈ TPF = (2+p+...+pN-2)/(2-pN-1)` - R-ISD(손실 없음): `Speedup ≈ TPF/α` - **Gated LoRA**는 MASK 위치에서만 활성화되어 **AR 출력과 비트 단위 동일성**을 보장 ### 문서 및 리소스 - **설치, 학습, 추론, 서빙, 손실 없는 R-ISD, 모델, 벤치마크** 전 과정을 웹 문서로 제공 - ## Installation - GitHub 저장소를 클론 후 `install.sh` 실행 - ## Quick Start - SGLang 서버 실행 후 REST API로 채팅 완성 요청 가능 - ## Training - 완전 마스크 시퀀스와 클린 시퀀스를 결합해 학습 - 4.5B 토큰, 8×H100 GPU, 2 epoch, stride 커리큘럼(N=2→3) - ## Inference & ISD - MASK 위치에서 새 토큰 제안(q), 클린 위치에서 검증(p) - 수용 기준 `min(1, p(x)/q(x))`으로 AR 분포 보장 - stride N=4에서 TPF=2.96, 약 3배 속도 향상 - ## Serving (SGLang) - ### Paged KV 캐시**,** CUDA 그래프 캡처(+42~76%)**,** Stationary-batch 디코드 루프(+11~21%)**,** Argmax 제안(+11~15%)**,** Paged-only 어텐션 커널(+10~14%) - 전체 시스템은 기본 대비 **2.1~2.5배 처리량 향상** - ## Lossless R-ISD - **Gated LoRA(rank=128)** 를 MASK 위치에만 적용 - 출력은 **기본 AR 모델과 완전히 동일** - 오버헤드 약 1.12배 - ## Model Zoo - **I-DLM-8B:** Qwen3-8B 기반, AR 품질과 동등 - **I-DLM-32B:** Qwen3-32B 기반, LLaDA-2.1-flash(100B) 초월 - **I-DLM-8B-LoRA:** Gated LoRA(rank=128) 적용 - ## Benchmarks - 15개 벤치마크(지식, 수학, 코드, 명령 수행)에서 평가 - 재현용 스크립트 제공 ### 인용 정보 - 논문: *Introspective Diffusion Language Models* (arXiv:2604.11035, 2026) - 연구 기관: Together AI, UIUC, Princeton, Stanford, UT Austin - 저자: Yifan Yu 외 14인 ### 결론 - **I-DLM**은 확산 기반 언어 모델이 **AR 모델의 품질과 속도를 동시에 달성한 첫 사례** - **자기 일관성 학습**과 **ISD 디코딩**을 통해 병렬 생성의 한계를 극복 - **SGLang 호환성**, **손실 없는 가속**, **높은 처리량 확장성**으로 실용적 배포 가능성을 입증함 ## Comments ### Comment 55523 - Author: neo - Created: 2026-04-16T04:32:59+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=47762641) - 내가 이해한 게 맞다면, 이건 꽤 **놀라운 접근법**임 Qwen **autoregressor**를 여러 기법으로 변형해 **diffuser**처럼 작동하게 만들었고, 기존 diffuser보다 훨씬 뛰어난 성능을 보였음 LoRA 어댑터를 통해 base 모델의 분포에 맞춰 출력을 정렬할 수 있어서, 같은 시드로 **바이트 단위 동일한 결과**를 얻으면서도 속도는 거의 두 배 빨라짐 전문가라기보단 열정적인 실험가지만, 이건 정말 흥미로운 발전처럼 보임 - 흥분할 만함. 이 논문은 **AR 품질과 병렬 디코딩** 사이의 다리를 놓았다고 주장함. 특히 **손실 없는 LoRA 보조 모드**가 가장 인상적임 - base 모델의 출력을 직접 생성하지 않고 비교할 수 있다는 게 이해되지 않음. 그렇다면 그 비교의 의미가 무엇인지 궁금함 - 사실 이건 **diffusion**이라기보다 **multi-token prediction**과 **speculative decoding**의 변형임 denoising 과정이 없고, 여전히 **causal 구조**를 유지함 구체적으로는, 여러 MASK 토큰을 사용해 한 번에 여러 토큰을 예측하도록 훈련하고, 추론 시에는 이를 병렬로 생성해 속도를 높이는 방식임 예를 들어, “what is 2+2” 뒤에 MASK 5개를 붙여 한 번에 5개의 다음 토큰을 예측함 이렇게 하면 matrix-vector 대신 **matrix-matrix 연산**을 수행해 **메모리 효율**이 높아짐 다만 k(예측 토큰 수)를 늘릴수록 품질이 급격히 떨어지며, 논문에서도 k=8에서 이미 저하가 나타남 결국 4-token 예측 기반의 self-speculative decoding으로, 기존 한계를 완전히 없애진 않지만 흥미로운 훈련 방식임 관련 설명은 [이전 글](https://news.ycombinator.com/item?id=45221692)에 있음 - [DFlash](https://z-lab.ai/projects/dflash/)나 [DDTree](https://liranringel.github.io/ddtree/)와 비교하면 어떤 차이가 있는지 궁금함 - 작년에 잠깐 **Gemini** 응답이 diffusion 방식처럼 점진적으로 나타나는 걸 본 적이 있음 실험 중이었는지, 단순한 시각적 효과였는지는 모르겠지만 흥미로운 현상이었음 - 혹시 여기 **텍스트 생성용 Diffusion**을 진지하게 실험 중인 사람이 있는지 궁금함 - [Inception Labs](https://www.inceptionlabs.ai/)가 이 분야를 꽤 오래 연구해온 듯함 속도는 놀랍지만 **첫 토큰 지연**과 **출력 품질**이 과제로 남아 있음 속도와 정확도가 일정 수준만 올라가면, 저비용 모델이나 비동기 작업용으로 충분히 실용화 가능할 것 같음 또, 더 긴 텍스트를 한 번에 확산시켜 **추론 능력을 강제로 높이는** 실험도 흥미로울 듯함 - 현재는 **local LLM** 영역에서 **speculative decoding** 용도로 탐구 중임 관련 내용은 [Emergent Mind 글](https://www.emergentmind.com/topics/dflash-block-diffusion-f...) 참고 - **Mercury 2**는 지연 시간과 가격 면에서 UX 실험에 매우 매력적임 예전의 **Gemini Flash Lite**보다 훨씬 부드럽게 작동해, 자동 태깅이나 링크 생성 같은 작업에 적합함 다만 **Haiku 3.5** 수준의 도구 호출 성능은 아직 부족함 입력이 충분하고 출력이 짧은 작업에는 **dLLM**이 잘 맞으며, **탭 자동완성** 같은 영역에서도 가능성이 있음 - 나도 실험해봤는데, 일반 LLM과는 다른 **직관적 접근**이 필요함. 특정 문제에는 매우 잘 맞음 - Swift로 **WeDLM**을 구현 중인데, 아직 성능이 부족함 왼쪽에서 오른쪽으로 생성하되 **슬라이딩 윈도우** 내에서만 확산이 일어남. 윈도우가 16토큰 정도라 큰 차이는 없음 - 전문가 수준은 아니지만, **Diffusion**이라면 전체 출력을 한 번에 생성해야 하는 것 아닌가 싶음 그런데 I-LDM 모델은 이전 컨텍스트를 사용해 다음 블록을 생성하는 것처럼 보임 - **블록 단위 생성**은 큰 속도 향상을 줌 예를 들어 두 토큰씩 생성하면 거의 2배 가까운 속도 향상이 생김 블록 크기가 커질수록 전체 생성 속도가 충분히 빨라져, 전부 한 번에 생성하는 것과 큰 차이가 없어짐 결국 중요한 건 **품질 저하를 얼마나 줄이느냐**인데, 이 논문은 그 부분을 잘 해결한 듯함 - 이런 모델을 쓰려면 **sglang**으로 전환해야 하는지, 아니면 **vLLM**에서도 이미 지원하는지 궁금함 - 예전부터 **블록 기반 diffusion 아키텍처**가 LLM의 미래라고 생각했음 토큰 생성 속도를 동적으로 조절하고, 생성 중에 **자기 수정**이 가능한 구조 — 인간의 **단기 기억** 같은 시스템이 될 수 있을 것 같음 수학적 원리는 잘 모르지만, 그런 방향으로 발전하길 바람 - 릴리스 노트를 보니 > 2025-04-12: 코드 공개 및 I-DLM-8B, 32B, 8B-LoRA 릴리스 날짜가 오래된 것처럼 보이는데, 혹시 구버전인지 궁금함 - 단순한 **연도 오타**임. 실제로는 며칠 전 HuggingFace에 업로드된 걸 확인했음 - 이 모델을 **지금 바로 사용할 수 있는지** 궁금함 - diffusion 모델이 블록을 생성하고, 그 결과를 **내적 검토(introspection)** 한 뒤 다시 생성하는 식의 **반복적 추론**이 가능한지 궁금함 - 가능함. 첫 번째 출력을 다시 모델에 입력해 **AR 추론 모델**처럼 재평가하는 방식으로 구현할 수 있음