The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning Review

0. Introduction

Paper link

한 줄 요약: 이 논문은 LLM RL의 실제 deployment object가 training policy가 아니라 inference policy라는 점을 전면에 두고, sampler-referenced candidate update와 inference-gap-aware acceptance를 결합한 MIPU로 synchronized inference policy의 stable improvement를 직접 관리한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• Training-inference mismatch를 low-level numerical bug가 아니라 optimization objective misalignment로 재정의한다.
• Trainer loss가 좋아져도 deployment policy가 나빠질 수 있다는 practical failure mode를 명시적으로 다룬다.
• Update를 만드는 단계와 inference engine에서 받아들일지 결정하는 단계를 분리한다.
• FP8 rollout처럼 mismatch가 큰 setting에서 accuracy와 training stability를 함께 평가한다.

Modern LLM RL은 보통 두 engine을 사용한다. vLLM이나 SGLang이 rollout을 생성하고, FSDP나 Megatron이 log-probability와 gradient를 계산한다. Weight는 synchronization되더라도 precision, quantization, kernel, sampling implementation이 다르면 같은 token에 다른 probability를 줄 수 있다.

기존 method는 이 mismatch를 importance correction, sample filtering, learning-rate decay, precision alignment로 줄이려 했다. 그러나 논문은 더 근본적인 문제를 지적한다. Trainer에서 policy improvement가 일어났다는 사실이, synchronized inference engine의 policy improvement를 보장하지 않는다.

1. Problem Setting

1-1. Problem definition

Training policy를 $\pi_T^k$, inference policy를 $\pi_I^k$라고 하자. 두 policy는 같은 parameter checkpoint를 공유해도 implementation mismatch 때문에 같지 않을 수 있다.

Standard GRPO update는 training-side surrogate를 최적화해 $\pi_T^{k+1}$을 만든다. 그 다음 weight를 inference engine에 synchronize해 $\pi_I^{k+1}$을 얻는다.

실제 deployment에서 중요한 target은 다음이다.

\[J(\pi_I^{k+1}) - J(\pi_I^k) \geq 0\]

하지만 trainer가 직접 보는 것은 주로 $J(\pi_T^{k+1}) - J(\pi_T^k)$에 가까운 signal이다. Mismatch가 크면 두 improvement direction이 다를 수 있다.

1-2. Why previous approaches are insufficient

1) Training-side clipping

Standard GRPO는 old training policy를 기준으로 ratio를 clip한다. 하지만 trajectory와 group-relative reward는 old inference policy가 sample했다. Sampling distribution과 proximal center가 다르다.

2) Full trainer-to-sampler ratio clipping

PPO-IS처럼 trainer-to-sampler total ratio를 직접 clip하면 pre-update mismatch와 current update effect가 섞인다. Old training-inference gap이 이미 크면, 실제 current update가 작아도 ratio가 clipping range 밖으로 나가 useful update를 과도하게 막을 수 있다.

3) Mismatch filtering only

MIS는 extreme mismatch sample을 버려 instability를 줄일 수 있지만, accepted update가 synchronized inference policy를 실제로 개선하는지 확인하지 않는다.

4) Smaller learning rate

Learning-rate decay는 update magnitude를 줄이지만 objective alignment를 바꾸지 않는다. Harmful direction을 더 천천히 따라갈 뿐일 수 있다.

논문의 핵심 주장은 mismatch를 완전히 제거하기 어렵다면, inference policy transition 자체를 optimization target과 acceptance criterion에 넣어야 한다는 것이다.

2. Core Idea

2-1. Main contribution

논문은 두 개의 이름을 구분한다.

• MIPI: Monotonic Inference Policy Improvement, 목표 원칙
• MIPU: Monotonic Inference Policy Update, 실제 two-step framework

Inference-side improvement를 training policy를 경유해 분해하면 다음과 같은 구조로 볼 수 있다.

\[\begin{aligned} J(\pi_I^{k+1}) - J(\pi_I^k) =& \left[J(\pi_I^{k+1}) - J(\pi_T^{k+1})\right] \\ &+ \left[J(\pi_T^{k+1}) - J(\pi_T^k)\right] \\ &+ \left[J(\pi_T^k) - J(\pi_I^k)\right] \end{aligned}\]

• 첫 항: post-update synchronization gap
• 둘째 항: training-side policy update
• 셋째 항: pre-update training-inference gap

MIPU Step 1은 둘째와 셋째 항을 묶어 sampler-referenced candidate를 만든다. Step 2는 첫 항을 inference-side validation으로 점검한다.

2-2. Design intuition

MIPU는 update proposal과 deployment acceptance를 분리한다.

1. Step 1: Better candidate construction
   • Rollout을 만든 inference policy를 기준으로 trainer update를 보정한다.
   • Pre-existing mismatch가 gradient를 지배하지 않도록 correction weight를 truncate한다.
2. Step 2: Inference-side acceptance
   • Candidate weight를 inference engine에 synchronize한다.
   • 별도 validation prompt에서 새 inference policy로 rollout한다.
   • Candidate training policy와 synchronized inference policy 사이의 post-update gap proxy를 계산한다.
   • Gap이 tolerance를 넘는 harmful direction이면 optimizer state와 policy checkpoint를 rollback한다.

이 구조는 database transaction과 비슷하다. Trainer update는 commit candidate이고, inference validation을 통과해야 실제 next policy가 된다.

3. Architecture / Method

3-1. Overview

Item	Description
Target principle	Monotonic improvement of inference policy
Step 1	Sampler-referenced candidate update
Step 2	Inference-gap-aware validation and rollback
Rollout setting	FP8-quantized inference
Trainer	Megatron
Inference engine	vLLM
Base optimizer	Dual-clipped GRPO
Diagnostic	Inference-training K3-KL, post-update gap, rollback rate

3-2. Module breakdown

1) Sampler-referenced correction

Standard ratio는 current training policy와 old training policy를 비교하지만, reward group은 old inference policy에서 생성된다. Step 1은 sampler information을 update에 넣어 sampling distribution과 gradient reference를 맞춘다.

Full trainer-to-sampler ratio는 다음 두 factor를 섞는다.

• Pre-update training-inference mismatch
• Current trainer update ratio

MIPU는 mismatch factor를 truncated importance weight로 사용하고, proximal clipping은 current update factor에만 적용한다. 따라서 old mismatch가 큰 token이 gradient 전체를 지배하거나 useful update를 불필요하게 clip하는 것을 줄인다.

2) Candidate synchronization

Step 1이 끝나면 policy parameter와 optimizer state를 checkpoint하고 candidate weight를 inference engine에 synchronize한다. 여기까지는 candidate가 trainer objective에서 좋아졌다는 의미일 뿐, inference policy가 좋아졌다는 의미는 아니다.

3) Validation rollout

Synchronized inference policy가 별도 validation batch에서 response group을 생성한다. Reward와 group-relative advantage를 계산하고, candidate training policy와 inference policy 사이의 performance difference proxy를 추정한다.

Direct estimator에는 candidate training policy의 advantage가 필요하지만 GRPO에서는 이를 얻기 어렵다. 논문은 reverse performance-difference identity를 사용해 inference rollout에서 계산 가능한 proxy로 바꾼다.

4) Length-normalized sequence ratio

Validation response 전체의 importance correction은 token product가 되어 variance가 커질 수 있다. MIPU는 response length로 normalize한 sequence ratio를 사용한다. 이는 exact estimator가 아니라 stable proxy라는 점을 논문도 명시한다.

5) Acceptance and rollback

Estimated post-update inference gap이 tolerance보다 나쁘면 candidate를 reject한다.

• Training policy parameter restore
• Optimizer state restore
• Inference policy restore

Random rollback과 달리 update 수를 임의로 줄이는 것이 아니라, mismatch-relevant signal을 근거로 harmful candidate를 선택적으로 거른다.

6) No formal monotonic guarantee

이름에 Monotonic이 들어가지만, MIPU가 mathematical guarantee를 제공하는 것은 아니다. Validation-based proxy와 finite sample, noisy reward, tolerance를 사용해 monotonicity risk를 줄이는 practical framework다.

4. Training / Data / Recipe

4-1. Data

두 model scale에서 math RL을 수행한다.

• Qwen3-1.7B: DAPO-Math에서 filtered 5,759 examples
• Qwen3-4B: DeepMath에서 filtered 1,491 examples

Filtering은 base model success가 0 또는 1에 포화되지 않은 problem을 남겨 group reward variance가 생기도록 한다.

평가는 다섯 benchmark에서 pass@1을 사용한다.

• MATH-500
• AIME 2024
• AMC 2023
• Minerva
• OlympiadBench

AIME24와 AMC23은 small benchmark variance를 줄이기 위해 avg@16을 사용한다.

4-2. Training strategy

High-mismatch condition을 만들기 위해 rollout은 FP8-quantized inference를 사용한다.

Main hyperparameter는 다음과 같다.

• GPUs: 8 H100
• RL framework: ROLL
• Training engine: Megatron
• Inference engine: vLLM
• Learning rate: $1\times10^{-6}$
• Group size: 8
• Train batch size: 64
• Response length: 8,192
• Prompt length: 512
• Training temperature: 1.0
• KL coefficient: 0.001

Baseline은 같은 data, rollout, reward, optimization setting의 dual-clipped GRPO다. 비교 method는 MIS와 learning-rate decay를 포함한다.

4-3. Engineering notes

1) Rollback에는 optimizer state가 포함되어야 한다

Parameter만 복원하고 Adam moment를 남기면 rejected update의 history가 다음 step에 누적된다. MIPU algorithm은 trainer parameter, optimizer state, inference checkpoint를 함께 restore한다.

2) Validation batch를 training batch와 분리한다

같은 rollout로 candidate를 만들고 평가하면 acceptance proxy가 overfit될 수 있다. Independent validation prompt가 필요하다.

3) Acceptance cost를 측정한다

Step 2는 extra rollout과 re-scoring을 요구한다. Stability gain뿐 아니라 accepted update당 wall-clock, validation token, rollback waste를 기록해야 한다.

4) Tolerance를 calibration한다

너무 strict하면 policy가 stale해지고, 너무 loose하면 collapse를 막지 못한다. Paper appendix도 rejection을 많이 하는 것 자체가 좋은 것이 아니라고 보여준다.

5) Mismatch를 multiple metric으로 본다

K3-KL, token log-ratio percentile, post-update gap, clip ratio, reward, entropy를 함께 봐야 한다. Low average KL에도 tail token이 instability를 만들 수 있다.

5. Evaluation

5-1. Main results

FP8 rollout setting의 평균 결과는 다음과 같다.

Model	Method	MATH	AIME	Olympiad	Minerva	AMC23	Average	Stable to end
Qwen3-4B	Baseline	89.34	42.00	64.89	43.39	82.50	64.42	No
Qwen3-4B	MIS	90.95	38.44	62.50	44.12	81.09	63.42	No
Qwen3-4B	LR-decay	90.34	44.00	67.26	43.75	82.97	65.66	No
Qwen3-4B	MIPU	91.15	43.56	67.86	45.96	85.00	66.71	Yes
Qwen3-1.7B	Baseline	83.10	25.33	56.55	31.68	57.66	50.86	No
Qwen3-1.7B	MIPU	86.52	24.67	59.52	33.82	65.31	53.97	Yes

MIPU가 모든 individual benchmark에서 최고인 것은 아니다. 예를 들어 Qwen3-4B AIME에서는 LR-decay 44.00이 MIPU 43.56보다 높고, Qwen3-1.7B AIME에서는 baseline 25.33이 MIPU 24.67보다 높다. 중요한 결과는 average와 end-of-training stability를 함께 개선했다는 점이다.

5-2. What really matters in the experiments

1) Step 1과 Step 2의 역할이 다르다

Qwen3-4B ablation은 다음과 같다.

Variant	Average
Baseline	64.42
Step 1 only	65.36
Step 2 only	62.81
Full MIPU	66.71

Step 1은 candidate quality를 높이지만 every synchronized update를 받아들여 mismatch fluctuation이 누적될 수 있다. Step 2 only는 collapse를 막을 수 있지만 poor candidate를 better update로 바꾸지는 못한다. 둘을 합쳐야 performance와 stability가 함께 좋아진다.

2) Rejection count가 원인은 아니다

Random rollback control은 Step 2보다 더 많은 update를 reject하지만 결국 collapse한다. Update를 적게 하는 것이 아니라 어떤 candidate를 reject하는지가 중요하다.

3) Smaller model에서 mismatch가 더 volatile하다

Qwen3-1.7B는 Qwen3-4B보다 inference-training K3-KL과 post-update gap 변동이 더 크다. Quantization sensitivity가 model scale과 calibration에 따라 다를 수 있음을 보여준다.

4) Best checkpoint보다 trajectory stability를 봐야 한다

Baseline과 MIS는 중간에 높은 score를 찍더라도 sharp drop이 발생한다. MIPU는 best score만 높이는 것이 아니라 training end까지 controlled inference-policy trajectory를 유지한다. Production checkpoint selection에서는 peak보다 tail stability가 더 중요할 수 있다.

6. Limitations

1. Moderate-scale math model에 한정된다.
   • Qwen3-1.7B와 4B 결과가 larger MoE, coding, agentic RL에도 유지되는지 확인이 필요하다.
2. FP8 high-mismatch setting에 집중한다.
   • BF16 또는 well-aligned engine에서는 Step 2 cost 대비 gain이 작을 수 있다.
3. Formal monotonic improvement를 보장하지 않는다.
   • Validation proxy, finite rollout, noisy reward 때문에 harmful update를 놓치거나 useful update를 reject할 수 있다.
4. Extra validation rollout이 필요하다.
   • Candidate마다 checkpoint, synchronization, rollout, scoring, possible rollback을 수행한다.
   • Large model과 long response에서는 system overhead가 크다.
5. Tolerance가 새로운 hyperparameter다.
   • Dataset와 mismatch regime에 따라 calibration이 필요하다.
   • Conservative setting은 policy stagnation을 만들 수 있다.
6. Validation distribution에 overfit할 수 있다.
   • Acceptance batch가 narrow하면 inference policy가 그 subset에서만 monotonic하게 보일 수 있다.
7. Inference gap proxy가 exact objective는 아니다.
   • Length-normalized importance ratio와 reverse identity는 practical approximation이다.
   • Reward calibration과 sequence-length distribution에 민감할 수 있다.

7. My Take

7-1. Why this matters for my work

이 논문의 가장 중요한 메시지는 “RL training metric의 owner가 trainer가 아니라 deployment engine이어야 한다”는 점이다.

많은 RL pipeline은 rollout engine을 data generator로만 보고, update quality는 training loss와 trainer-side KL로 판단한다. 하지만 실제 user가 만나는 policy는 quantized inference engine이다. MIPU는 model sync를 단순 copy operation이 아니라 검증해야 할 policy transition으로 취급한다.

7-2. Reuse potential

1. Lightweight inference-side canary
   • 모든 update가 아니라 일정 interval마다 small validation batch로 synchronized policy를 검사한다.
2. Shadow deployment evaluation
   • Candidate checkpoint를 production-like quantization과 sampling stack에서 먼저 평가한 뒤 promote한다.
3. Rollback-ready trainer
   • Parameter, optimizer, scheduler, RNG state, inference cache version을 atomic checkpoint로 관리한다.
4. Mismatch dashboard
   • Training and inference log-probability를 same token에서 비교하고 tail ratio를 monitor한다.
5. Adaptive validation budget
   • Mismatch가 커질 때 Step 2 rollout 수를 늘리고 stable region에서는 줄인다.
6. Agentic RL extension
   • Tool-use trajectory에서 final task reward뿐 아니라 side-effect verifier를 inference-side acceptance에 포함할 수 있다.

7-3. Follow-up papers

• TIS: Training-Inference Synchronization for LLM Reinforcement Learning
• MIS: Mismatch-Aware Sample Filtering for LLM RL
• QuRL: Low-Precision Reinforcement Learning for Efficient Reasoning
• GRPO: Group Relative Policy Optimization
• ROLL: An Efficient and Flexible LLM Reinforcement Learning Framework

8. Summary

• MIPI는 trainer가 아니라 synchronized inference policy의 improvement를 실제 objective로 둔다.
• MIPU Step 1은 sampler-referenced candidate를 만들고, Step 2는 inference-side gap으로 accept 또는 rollback한다.
• FP8 rollout의 high-mismatch setting에서 Qwen3-4B와 1.7B average performance와 end-of-training stability를 개선한다.
• Step 1은 candidate quality, Step 2는 deployment acceptance를 담당하며 두 요소는 complementary하다.
• Formal guarantee는 없고 extra validation cost와 tolerance calibration이 필요하지만, production RL pipeline에 직접 연결되는 관점이다.