Improved Large Language Diffusion Models Review

0. Introduction

Paper link

Code link

Improved Large Language Diffusion Models는 diffusion language model을 “autoregressive LLM의 느린 대체재” 정도로 읽는 관점을 꽤 바꿔 놓는 기술 리포트다. 이 논문의 핵심 모델인 iLLaDA는 8B masked diffusion language model을 처음부터 bidirectional attention으로 학습하고, pretraining, SFT, inference scoring, variable-length generation을 모두 다시 정리한다.

LLaDA는 이미 중요한 질문을 던졌다. 자연어 generation이 꼭 autoregressive factorization and causal attention에 의존해야 하는가. Bidirectional masked diffusion objective로도 in-context learning and instruction following을 얻을 수 있는가. 하지만 초기 LLaDA는 강한 autoregressive baseline과 비교하면 성능 gap이 남아 있었다.

iLLaDA는 이 gap을 model objective 자체보다 scaling recipe와 evaluation recipe의 문제로 본다. Masked diffusion objective는 유지하되, pretraining token을 12T로 늘리고, GQA and tied embedding을 넣고, learning rate schedule을 수정하고, SFT를 25B-token instruction corpus로 12 epoch 반복하며, multiple-choice scoring and open-ended generation도 diffusion model에 맞게 바꾼다.

한 줄 요약: iLLaDA는 LLaDA의 masked diffusion objective를 유지하면서 12T-token pretraining, 25B-token 12-epoch SFT, GQA, tied embeddings, variable-length generation, confidence-based multiple-choice scoring을 결합해 8B bidirectional diffusion language model의 practical performance를 크게 끌어올린 technical report다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• Diffusion LM을 conceptual demo가 아니라 8B-scale recipe problem으로 다룬다.
• Autoregressive LLM과 다른 evaluation interface, 특히 multiple-choice scoring and block generation의 중요성을 보여준다.
• Pretraining objective보다 SFT formatting and repeated instruction training이 큰 lever가 될 수 있음을 보여준다.
• Base model에서는 Qwen2.5 7B와 competitive한 결과를 제시하지만, Instruct setting에서는 RL alignment gap을 남긴다.
• Diffusion LM에서 bidirectional attention, variable-length generation, cache-like inference memory가 어떻게 연결되는지 읽을 수 있다.

이 글에서는 Improved Large Language Diffusion Models를 “diffusion LLM이 AR을 이겼다”보다, diffusion LM을 실제 LLM recipe로 만들 때 어떤 training, scoring, generation detail이 병목이 되는지 정리한 논문으로 읽는다.

1. Problem Setting

1-1. Problem definition

대부분의 modern LLM은 autoregressive factorization을 사용한다.

\[p(x) = \prod_{i=1}^{L} p(x_i \mid x_{<i})\]

이 구조는 causal attention과 잘 맞고, decoding interface가 단순하다. 하지만 bidirectional context를 자연스럽게 쓰기 어렵고, generation은 left-to-right 순서에 묶인다.

Masked diffusion language model은 다른 formulation을 사용한다. Clean sequence $x_0$에서 masking ratio $t \sim U[0,1]$를 샘플링하고, token마다 probability $t$로 mask token $\mathrm{M}$으로 바꾼 corrupted sequence $x_t$를 만든다. Model은 masked token을 예측한다.

\[\mathcal{L}(\theta) = - \mathbb{E}_{t,x_0,x_t} \left[ \frac{1}{t} \sum_{i=1}^{L} \mathbf{1} \left[ x_t^i=\mathrm{M} \right] \log p_{\theta} \left( x_0^i \mid x_t \right) \right]\]

이 objective는 fixed mask ratio BERT-style MLM과 다르다. Mask ratio $t$가 0부터 1까지 변하므로, model은 다양한 corruption level에서 denoising을 배운다.

문제는 이 formulation을 large-scale LLM으로 만들 때 생긴다.

• Pretraining scale이 충분한가.
• SFT는 prompt-visible response-masked format으로 해야 하는가.
• Multiple-choice benchmark score를 likelihood처럼 계산할 수 있는가.
• Open-ended generation에서 length를 어떻게 정할 것인가.
• AR instruction model과 비교할 때 alignment recipe가 얼마나 다른가.

iLLaDA는 이 질문에 대한 engineering report에 가깝다.

1-2. Why previous approaches are insufficient

1) LLaDA was important but early

LLaDA는 bidirectional diffusion LM도 core LLM capability를 얻을 수 있음을 보여줬다. 하지만 strong autoregressive baseline과 비교하면 성능 gap이 남았다. Diffusion formulation이 문제인지, scale and recipe가 부족했던 것인지 분리할 필요가 있었다.

2) AR evaluation protocol을 그대로 쓰기 어렵다

Autoregressive model은 candidate continuation의 log likelihood를 token order대로 계산할 수 있다. Diffusion model은 fully bidirectional masked denoising을 학습하므로, multiple-choice candidate score를 같은 방식으로 계산하기 어렵다.

Likelihood upper-bound style score를 쓸 수 있지만, iLLaDA는 confidence-based scoring이 empirical하게 더 잘 작동한다고 보고한다.

3) SFT format mismatch

기존 diffusion LM SFT는 prompt를 visible하게 두고 response region만 mask하는 방식을 많이 쓴다. iLLaDA는 pretraining과 같은 random masking scheme을 prompt-response sequence 전체에 적용한다. 이는 variable-length block generation과도 잘 맞는다.

4) Generation length problem

Diffusion generation은 fixed block of masks를 denoise하는 식으로 진행된다. Reference response length를 알 수 없는 open-ended generation에서는 block length, stop token, EOS handling이 중요하다. iLLaDA는 variable-length generation으로 이를 다룬다.

2. Core Idea

2-1. Main contribution

iLLaDA의 contribution은 model architecture 하나보다 recipe bundle이다.

1. 8B bidirectional diffusion LM from scratch
   • LLaDA objective를 유지한다.
   • Fully bidirectional attention을 사용한다.
   • Pretraining scale을 12T tokens로 확장한다.
2. Practical architecture changes
   • GQA를 사용해 cache-like implementation의 KV state memory를 줄인다.
   • Input embedding and LM head를 tie하여 parameter count를 줄인다.
   • Sequence length를 8192로 확장한다.
3. SFT strategy update
   • 25B-token instruction corpus로 12 epochs SFT.
   • Prompt and response 전체를 random masking.
   • Random-length training and packed variable-length batch를 사용한다.
4. Inference and evaluation updates
   • Multiple-choice에는 confidence-based scoring 사용.
   • Open-ended generation에는 variable-length block generation 사용.
   • Stop token and EOS를 만나면 block generation을 종료한다.

2-2. Design intuition

이 논문의 중요한 intuition은 diffusion LM의 성능 gap을 objective failure로 바로 해석하지 않는다는 점이다.

AR LLM의 성능은 단순 objective만으로 만들어지지 않는다.

• data scale
• tokenizer and vocab
• attention variant
• LR schedule
• SFT formatting
• instruction data epoch
• decoding method
• scoring rule
• RL alignment

이 모든 recipe가 쌓여 있다. Diffusion LM도 같은 수준의 recipe tuning이 필요하다.

iLLaDA가 보여주는 것은 다음이다.

masked diffusion objective
+ large-scale pretraining
+ diffusion-compatible SFT
+ diffusion-compatible scoring
+ variable-length generation
=
much stronger diffusion LLM

즉 “diffusion LM이 가능한가”에서 “diffusion LM을 어떻게 train and evaluate해야 하는가”로 질문이 이동한다.

3. Architecture / Method

3-1. Overview

Item	Description
Model	iLLaDA 8B
Paradigm	Masked diffusion language model
Attention	완전 bidirectional attention
Objective	LLaDA-style masked diffusion objective
Pretraining	12T tokens
Max sequence length	8192
SFT	25B-token instruction corpus를 12 epoch 학습
Inference	Variable-length block generation
MC scoring	Confidence-based candidate scoring
Main comparison	LLaDA 8B, Dream 7B, Qwen2.5 7B

3-2. Model architecture

LLaDA와의 architecture comparison은 다음과 같다.

Item	iLLaDA 8B	LLaDA 8B
Layers	32	32
Model dimension	4096	4096
Attention heads	32	32
Key/Value heads	8	32
FFN dimension	14336	12288
Vocabulary size	155136	126464
Maximum sequence length	8192	4096
Embedding and LM head	Tied	Untied
Total parameters	7.62B	8.02B
Non-embedding parameters	6.98B	6.98B

중요한 차이는 GQA 도입, 더 긴 maximum sequence length, 더 큰 vocabulary, tied embedding/LM head, 변경된 FFN dimension이다.

GQA 사용은 흥미롭다. Diffusion model은 autoregressive model과 정확히 같은 AR KV cache pattern으로 decode하지 않는다. 그래도 최근 diffusion LM의 cache-like implementation에서는 key/value state를 줄이는 이점이 생길 수 있으므로, iLLaDA는 32개가 아니라 8개 KV head를 사용한다.

3-3. Pretraining objective

iLLaDA는 LLaDA의 masked diffusion objective를 유지한다. Clean sequence $x_0$와 masked sequence $x_t$가 주어지면, loss는 masked position에서만 계산되고 masking ratio로 normalize된다.

\[\mathcal{L}(\theta) = - \mathbb{E} \left[ \frac{1}{t} \sum_{i=1}^{L} \mathbf{1} \left[ x_t^i=\mathrm{M} \right] \log p_{\theta} \left( x_0^i \mid x_t \right) \right]\]

이는 model이 고정된 15% mask ratio가 아니라 여러 masking level에서 denoising을 학습한다는 뜻이다.

3-4. Random-length training and variable-length attention

Pretraining은 maximum sequence length 8192를 사용한다. 30% 확률로 8192-token sequence를 두 개의 더 짧은 segment로 random split한다. Variable-length example들은 각 batch 안에서 packed되고, FlashAttention 기반 variable-length attention kernel이 cumulative sequence offset을 사용해 모든 example을 같은 길이로 padding하지 않게 한다.

이 점은 diffusion generation이 fixed length일 필요가 없기 때문에 중요하다. Random length로 학습하면 variable-length inference가 더 자연스러워진다.

3-5. Supervised fine-tuning

SFT design은 이 논문의 가장 중요한 부분 중 하나다.

기존 diffusion LM SFT는 prompt token을 visible하게 유지하고 response token만 mask하는 경우가 많다. iLLaDA는 대신 prompt-response sequence를 하나의 terminal |EOS|로 format하고, formatted example들을 continuous instruction corpus로 concatenate한 뒤, 8192-token sequence를 sampling하고 전체 sequence에 random mask를 적용한다.

따라서 prompt token, response token, |EOS| token이 모두 mask될 수 있다. 이는 SFT를 pretraining에 더 가깝게 유지하고 variable-length block generation을 지원한다.

SFT detail은 다음과 같다.

Item	Value
Corpus size	Around 25B tokens
Epochs	12
LR warmup target	5e-6
Final decay target	5e-7
Decay period	Last 10% of training
Optimizer	AdamW
Weight decay	0.1

3-6. Confidence-based multiple-choice scoring

Multiple-choice evaluation은 diffusion LM에서 straightforward하지 않다. iLLaDA는 confidence-based scoring rule을 사용한다.

Prompt $p$와 length $L$의 candidate $y$가 주어졌을 때, 모든 candidate position이 mask된 상태에서 시작한다. Step $k$에서 model confidence가 가장 높은 남은 masked position을 고른다.

\[i_k = \arg\max_{i \in \mathcal{M}_{k-1}} p_{\theta} \left( y^i \mid p,\tilde{y}_{k-1} \right)\]

그다음 revealed ground-truth token의 log confidence를 합산한다.

\[S_{\mathrm{conf}} \left( y \mid p \right) = \sum_{k=1}^{L} \log p_{\theta} \left( y^{i_k} \mid p,\tilde{y}_{k-1} \right)\]

이 score는 명시적인 likelihood estimate가 아니다. 이는 finite candidate answer의 순위를 매기기 위한 task-specific scoring surrogate다.

이 caveat은 중요하다. Diffusion LM benchmark score는 scoring rule에 크게 의존할 수 있다.

3-7. Variable-length generation

Open-ended generation에서 iLLaDA는 prompt 뒤에 mask token block을 붙인다. 각 sampling step에서 model은 모든 masked position을 예측하고, 가장 confidence가 높은 prediction을 visible token으로 옮기며, confidence가 낮은 position은 masked 상태로 남긴다.

하나의 block이 decode된 뒤 |EOS|나 다른 stop token이 나타나면 generation을 멈춘다. 그렇지 않으면 새로운 mask block을 붙이고 maximum generation budget까지 generation을 계속한다.

이는 block level에서는 semi-autoregressive이고, block 내부에서는 non-autoregressive다. 따라서 block length는 중요한 inference hyperparameter가 된다.

4. Training / Data / Recipe

4-1. Pretraining recipe

Item	Value
Tokens	12T
Max sequence length	8192
Random split probability	30%
Attention	Variable-length FlashAttention-style kernel
LR warmup target	2e-4
LR schedule	Warmup, constant, 이후 cosine decay
Minimum LR	5e-6
Optimizer	AdamW
Weight decay	0.1

Schedule detail은 중요하다. 저자들은 pretraining loss가 더 이상 감소하지 않을 때 cosine decay로 전환하고, 이후 loss가 계속 개선된다고 보고한다. 이는 diffusion LM scaling이 training schedule decision에 민감하다는 점을 시사한다.

4-2. SFT recipe

SFT는 약 25B instruction token을 12 epoch 사용한다. Repeated SFT가 눈에 띈다. 논문은 SFT epoch이 늘어날수록, 특히 GSM8K, MATH, MMLU-Pro 같은 reasoning-heavy benchmark에서 성능이 계속 좋아진다고 주장한다.

이는 diffusion LM이 data-constrained setting에서 repeated data use로 이득을 볼 수 있다는 기존 관찰과도 일관된다. 하지만 overfitting, data diversity, benchmark contamination에 대한 별도 확인도 필요하다.

4-3. Evaluation-time generation settings

Appendix detail에는 benchmark-specific generation setting이 포함된다.

예시는 다음과 같다.

Benchmark setting	Maximum length	Block length
Base BBH, GSM8K, MATH, MBPP	1024	32
Base HumanEval	512	512
Instruct GSM8K와 HumanEval	2048	32
Instruct MMLU-Pro와 MATH	4096	32
Instruct MBPP	2048	16

HumanEval base setting은 흥미롭다. 저자들은 semi-autoregressive block sampling이 이 benchmark에서 성능을 떨어뜨리는 것을 관찰했기 때문에 block length 512를 사용한다. 이는 diffusion LM decoding hyperparameter가 benchmark outcome에 실질적인 영향을 줄 수 있음을 보여준다.

4-4. Repetitive reasoning loop mitigation

iLLaDA-Instruct에서 저자들은 일부 어려운 문제에서 “Wait, let me check again” 같은 표현을 반복하는 repetitive reasoning loop를 관찰한다. 저자들은 이를 SFT corpus에 포함된 일부 structured chain-of-thought trace 때문으로 본다.

이를 완화하기 위해 generation이 길어질수록 stop-thinking token </think>을 emit할 확률을 높여, model이 reasoning을 끝내고 final answer를 내도록 유도한다.

이는 실용적이지만 다소 ad-hoc한 generation control이다. 작은 implementation detail로 숨길 것이 아니라 limitation에 포함되어야 한다.

5. Evaluation

5-1. Base model results

Base model comparison은 iLLaDA 8B, LLaDA 8B, Dream 7B, Qwen2.5 7B를 포함한다.

Benchmark	iLLaDA 8B	LLaDA 8B	Dream 7B	Qwen2.5 7B
MMLU	74.8	65.9	69.5	71.9
BBH	71.3	49.7	57.9	63.9
ARC-C	60.8	45.9	59.8	51.5
HellaSwag	76.6	70.5	73.3	79.0
GSM8K	81.9	70.3	77.2	78.9
MATH	38.4	31.4	39.6	41.1
HumanEval	50.0	35.4	57.9	56.7
MBPP	57.8	40.0	56.2	63.6
Average	63.9	51.1	61.4	63.3

이 결과는 diffusion base model로서는 강하다. iLLaDA는 LLaDA를 크게 개선하고, 이 table의 average에서는 Qwen2.5 7B와 비슷한 수준까지 올라온다. 그러나 Qwen2.5는 HellaSwag, MATH, HumanEval, MBPP에서 여전히 더 강하다.

따라서 가장 안전한 해석은 다음이다.

• iLLaDA는 diffusion LM base model을 경쟁 가능한 수준으로 끌어올린다.
• 하지만 task 전반에서 autoregressive baseline을 압도하지는 않는다.
• Coding은 Dream과 Qwen2.5 대비 상대적으로 약한 영역으로 남아 있다.

5-2. Instruct model results

Instruction-tuned result는 다르다.

Benchmark	iLLaDA 8B	LLaDA 8B	Dream 7B	Qwen2.5 7B
MMLU	71.6	65.5	67.0	76.6
MMLU-Pro	52.3	37.0	43.3	56.3
MMLU-Redux	76.4	68.9	76.3	75.7
GSM8K	89.0	77.5	81.0	91.6
MATH	56.7	42.2	39.2	75.5
HumanEval	65.9	49.4	55.5	84.8
MBPP	58.0	41.0	58.8	79.2
Average	67.1	54.5	60.2	77.1

iLLaDA-Instruct는 LLaDA-Instruct와 Dream-Instruct보다 크게 개선된다. 하지만 대부분 benchmark, 특히 MATH, HumanEval, MBPP에서는 Qwen2.5 7B Instruct보다 여전히 뒤처진다.

저자들은 Qwen2.5 Instruct가 SFT 이후 추가 RL alignment의 이득을 본다고 설명한다. iLLaDA는 아직 RL alignment를 거치지 않았다. 이는 중요한 caveat이다.

5-3. Multiple-choice scoring ablation

보고된 multiple-choice ablation에서 confidence-based scoring은 likelihood-style scoring보다 좋다.

Scoring rule	PIQA	ARC-C	HellaSwag
Likelihood	77.2	60.2	74.3
Confidence	78.5	60.8	76.6

Multiple-choice benchmark는 LLM evaluation에서 흔하므로 이 gain은 작지 않다. 하지만 이는 diffusion model evaluation이 scoring rule에 민감하다는 뜻이기도 하다.

5-4. SFT epoch ablation

논문은 iLLaDA가 SFT epoch을 12까지 늘릴수록 계속 개선된다고 보고한다. 이는 GSM8K, MATH, MMLU-Pro 같은 reasoning-heavy benchmark에서 특히 중요하다.

더 넓게 보면 diffusion LM은 AR SFT practice에서 예상하는 것보다 repeated instruction data use의 이득을 더 크게 볼 수 있다. 하지만 저자들은 compute constraint 때문에 12 epoch을 넘어서는 학습은 하지 않는다.

5-5. What really matters in the experiments

1) Base and Instruct conclusions differ

Base model iLLaDA는 reported table average에서 Qwen2.5 7B와 비슷하다. Instruct model iLLaDA는 Qwen2.5 Instruct보다 큰 average margin으로 뒤처진다. 이 둘을 하나의 claim으로 합치면 안 된다.

2) Recipe matters as much as objective

iLLaDA는 LLaDA objective를 유지한다. 개선은 data scale, GQA, tied embeddings, LR schedule, SFT format, scoring, generation 같은 scaling과 recipe change에서 나온다.

3) Evaluation interface is part of the model

Confidence scoring과 block generation setting은 부수적인 detail이 아니다. Diffusion LM에서는 candidate score와 open-ended output을 어떻게 만드는지가 benchmark score에 영향을 준다.

4) RL alignment gap remains

논문은 RL alignment를 future work로 남긴다. 이는 iLLaDA-Instruct가 math와 code에서 Qwen2.5 Instruct보다 뒤처지는 중요한 이유일 가능성이 크다.

5) Diffusion LM has different failure modes

Repetitive reasoning loop와 </think> stop probability adjustment 필요성은 diffusion LM generation control이 아직 더 많은 작업을 필요로 한다는 점을 보여준다.

6. Limitations

1. RL alignment가 없다
   • iLLaDA-Instruct는 SFT-only다.
   • 강한 AR instruct baseline은 종종 추가 RL alignment를 포함한다.
2. 8B scale만 다룬다
   • 논문은 더 큰 model scaling을 보여주지 않는다.
   • 8B를 넘는 diffusion LM scaling behavior는 open question으로 남아 있다.
3. 완전히 matched된 AR comparison은 아니다
   • Qwen2.5는 data, training recipe, alignment가 다르다.
   • 결과를 objective-only comparison으로 해석하면 안 된다.
4. Confidence scoring은 likelihood가 아니다
   • 이는 task-specific surrogate다.
   • Multiple-choice result는 scoring rule에 강하게 의존할 수 있다.
5. Generation hyperparameter가 중요하다
   • Block length는 benchmark별로 다르다.
   • HumanEval base는 semi-AR sampling이 성능을 해치기 때문에 unusual block length setting을 사용한다.
6. Repetitive reasoning loop가 생긴다
   • Model은 “Wait, let me check again” 같은 reasoning 표현을 반복할 수 있다.
   • Mitigation은 stop-thinking token probability schedule을 사용한다.
7. SFT data reuse risk가 있다
   • 25B-token instruction corpus를 12 epoch 사용하는 것은 강한 repeated training이다.
   • Overfitting과 benchmark leakage를 주의 깊게 확인해야 한다.
8. Diffusion LM의 cache-like inference는 아직 발전 중이다
   • GQA는 cache-like implementation 아래에서만 KV-style memory를 줄인다.
   • Diffusion generation serving은 AR KV cache serving만큼 표준화되어 있지 않다.
9. Code와 model release를 확인해야 한다
   • 논문은 model weights와 code가 LLaDA repository에 있다고 말한다.
   • 사용 전 정확한 checkpoint name과 license를 확인해야 한다.
10. Latency comparison이 불완전하다
    • 논문은 benchmark performance에 집중한다.
    • AR baseline 대비 end-to-end generation latency는 더 자세한 분석이 필요하다.

7. My Take

7-1. Why this matters for my work

iLLaDA의 가장 중요한 메시지는 diffusion LM이 AR LLM을 곧 대체한다는 것이 아니다. 더 중요한 점은 diffusion language modeling이 이제 objective novelty가 아니라 full training recipe 경쟁으로 들어왔다는 것이다.

초기 diffusion LM 논문은 “이 방식으로도 언어 모델이 될까”를 물었다. iLLaDA는 “이 방식으로 강한 8B model을 만들려면 무엇을 바꿔야 할까”를 묻는다. 이 전환이 중요하다.

AR LLM에서 당연하게 다뤘던 것들이 diffusion LM에서는 다시 설계 대상이 된다.

• Sequence packing
• Instruction masking
• Multiple-choice scoring
• Block length
• Stop token handling
• SFT epoch count
• RL alignment
• Cache-like inference memory

이 논문은 그 설계 checklist를 상당히 구체적으로 제공한다.

7-2. Reuse potential

Diffusion LM evaluation

AR log likelihood 기준으로 diffusion LM을 평가하면 불리하거나 이상한 결과가 나올 수 있다. Confidence scoring 같은 task-specific surrogate를 검토해야 한다. 다만 likelihood가 아니므로 evaluation fairness를 명확히 설명해야 한다.

Instruction tuning

Prompt-visible, response-masked SFT가 항상 diffusion LM에 맞는 것은 아닐 수 있다. Pretraining과 같은 random masking을 SFT까지 유지하는 recipe는 다른 masked generation model에도 참고할 수 있다.

Variable-length generation

Diffusion LM deployment에서 fixed block generation은 낭비가 크다. EOS/stop-aware variable-length block generation은 practical requirement다.

RL for diffusion LM

iLLaDA-Instruct의 gap은 diffusion LM post-training에서 RL alignment가 다음 큰 lever임을 시사한다. VRPO, diffu-GRPO, MDPO, ESPO 같은 method를 iLLaDA-scale model에 적용하는 것이 자연스러운 후속이다.

Multimodal diffusion LLM

Fully bidirectional masked diffusion objective는 image, audio, text를 하나의 denoising task로 묶는 데 매력적이다. iLLaDA의 text-only recipe는 multimodal diffusion LLM scaling에도 참고할 수 있다.

7-3. Production considerations

• Diffusion generation의 latency와 throughput을 AR baseline과 별도로 측정해야 한다.
• Scoring rule이 benchmark별로 바뀌면 model comparison이 복잡해진다.
• Block length와 remasking schedule은 serving API option으로 노출될 수 있다.
• Stop condition이 약하면 repetitive loop가 생길 수 있다.
• SFT-only model을 user-facing assistant로 쓰기에는 alignment gap이 남아 있다.
• Multiple-choice scoring과 open-ended generation은 서로 다른 interface이므로, eval suite는 둘을 모두 포함해야 한다.

7-4. Follow-up papers

• LLaDA: Large Language Diffusion Models
• Dream: Diffusion finetuning from Qwen2.5
• MaskGIT
• Discrete diffusion language modeling
• Diffusion LMs beat AR under data constraints
• VRPO
• diffu-GRPO
• MDPO
• ESPO
• D3LLM and diffusion KV-cache studies

8. Summary

• iLLaDA는 처음부터 학습된 8B bidirectional masked diffusion language model이다.
• LLaDA objective를 유지하지만 pretraining을 12T token으로, SFT를 25B token과 12 epoch으로 확장한다.
• GQA, tied embeddings, random-length training, confidence scoring, variable-length generation이 핵심 recipe change다.
• Base model result는 reported average에서 Qwen2.5 7B와 비슷하지만, Instruct는 여전히 Qwen2.5 Instruct보다 뒤처진다.
• 이 논문은 diffusion LM이 AR LLM replacement를 해결했다는 증명이 아니라, diffusion LM scaling을 위한 practical recipe report로 읽는 것이 가장 적절하다.