8 분 소요

0. Introduction

Paper link

한 줄 요약: DOPD는 privileged information을 teacher와 student 모두에게 제공해 information asymmetry를 통제한 뒤, token별 privilege advantage gap과 confidence에 따라 teacher distillation과 privileged self-distillation의 source, strength, divergence granularity를 동적으로 선택하는 dual on-policy distillation framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • On-policy distillation에서 더 강한 teacher signal이 항상 더 transferable하다는 가정을 깨뜨린다.
  • Privileged context가 만드는 apparent advantage와 실제 capability gap을 구분하는 문제를 privilege illusion으로 정식화한다.
  • 모든 token에 같은 KL objective를 적용하지 않고, token의 역할에 따라 supervision source와 granularity를 바꾼다.
  • LLM reasoning, coding뿐 아니라 VLM의 visual reasoning과 understanding까지 같은 원리로 검증한다.

On-policy distillation, OPD의 강점은 student가 직접 sample한 trajectory에서 teacher의 dense token distribution을 받는다는 데 있다. Student가 실제로 방문하는 state에서 supervision을 주기 때문에 offline teacher trajectory imitation보다 distribution mismatch를 줄일 수 있다.

여기에 step hint, rationale, bounding box 같은 privileged information을 넣으면 teacher를 더 강하게 만들 수 있다. 하지만 DOPD가 지적하는 문제는 그 강함이 두 원인에서 나온다는 점이다.

  • Transferable capability: 같은 information을 보더라도 teacher가 더 좋은 decision을 한다.
  • Information asymmetry: teacher만 정답에 가까운 hint를 보아 유리하다.

두 효과를 분리하지 않으면 student는 deploy 시점에 받을 수 없는 privileged cue를 흉내 내는 데 capacity를 쓰게 된다. 논문은 이를 privilege illusion이라고 부른다.

1. Problem Setting

1-1. Problem definition

Input $x$와 student-sampled trajectory $y$가 있을 때, 일반적인 OPD는 ordinary student policy가 teacher distribution을 따라가도록 한다. DOPD setting에서는 privileged context $p$가 추가된다.

  • Privileged teacher: $\Pi_T(\cdot\mid x,p,y_{<n})$
  • Privileged student: $\Pi_S(\cdot\mid x,p,y_{<n})$
  • Deployed student: $\Pi_S(\cdot\mid x,y_{<n})$

Privileged teacher와 privileged student가 같은 $p$를 보게 하면 information access를 맞출 수 있다. 그 상태에서도 teacher가 특정 sampled token을 더 잘 예측한다면, 그 차이는 information asymmetry보다 capability gap에 가까운 signal이 된다.

DOPD는 token $n$의 privilege advantage gap을 다음처럼 정의한다.

\[\mathcal{A}_n = \left|\log \Pi_T(y_n\mid x,p,y_{<n}) - \log \Pi_S(y_n\mid x,p,y_{<n})\right|\]

$\mathcal{A}_n$이 크면 같은 privileged information 아래에서도 teacher와 student의 판단이 크게 다르다. 반대로 작으면 teacher의 apparent gain이 privileged context 자체에서 온 것일 가능성이 높다.

1-2. Why previous approaches are insufficient

1) Uniform teacher distillation

모든 token을 teacher distribution에 동일하게 맞추면 capability-bearing token과 privilege-dominated token이 섞인다. Teacher가 정답을 알고 있기 때문에 높은 probability를 준 token과, 실제 reasoning competence 때문에 높은 probability를 준 token을 구분하지 못한다.

2) Final answer 또는 실행 trace를 privileged input으로 사용

Final answer를 직접 제공하면 information leakage가 너무 크다. Step-wise hint도 execution과 final answer를 포함하면 student가 reasoning strategy보다 answer-conditioned pattern을 학습할 수 있다.

3) Sampled-token only objective

Sampled token 하나만 맞추는 방식은 cheap하지만 teacher distribution의 secondary mode와 uncertainty structure를 잃는다. 반대로 모든 token에 full-vocabulary divergence를 쓰면 compute와 memory cost가 커진다.

4) Teacher-only supervision

Teacher가 항상 더 믿을 만한 것은 아니다. Privileged student가 이미 sampled token에 높은 confidence를 가지는 region에서 teacher로 강하게 끌면 useful exploration을 억제할 수 있다.

DOPD는 이 문제를 token routing으로 해결한다. “누구에게서”, “얼마나 강하게”, “어느 vocabulary scope에서” distill할지를 token마다 바꾼다.

2. Core Idea

2-1. Main contribution

DOPD의 핵심은 dual supervision이다.

  1. Teacher-based supervision
    • Privileged teacher가 확실한 capability advantage를 보일 때 강하게 사용한다.
  2. Self-based supervision
    • Privileged student와 ordinary student의 consistency를 이용한다.
    • Teacher signal이 불확실하거나 student가 더 confident한 region에서 policy drift를 줄인다.

Routing에는 두 종류의 signal이 사용된다.

  • Privilege advantage gap $\mathcal{A}$
  • Sampled token에 대한 teacher와 student confidence $q_T$, $q_S$

2-2. Design intuition

DOPD는 token을 네 regime으로 나눈다.

Regime Interpretation Supervision
Low $\mathcal{A}$, joint confidence high 양쪽이 token을 잘 예측하지만 capability gap은 작음 Light teacher Top-K reverse KL
Low $\mathcal{A}$, joint confidence low 둘 다 불확실하고 teacher advantage도 약함 Weak privileged-student Top-K reverse KL
High $\mathcal{A}$, $q_T \geq q_S$ Teacher가 같은 privileged context에서 명확히 우세 Strong full-vocabulary teacher JS divergence
High $\mathcal{A}$, $q_S > q_T$ Student가 더 confident해 teacher 강제 정렬이 위험 Light privileged-student Top-K reverse KL

가장 강한 supervision은 High advantage + teacher confidence token에만 적용된다. 논문은 이 token이 실제 transferable capability를 담을 가능성이 높다고 본다.

반대로 advantage가 낮은 token에는 teacher를 절대적인 target으로 두지 않는다. 이 영역은 privileged information에 의해 쉽게 맞힌 token이거나, decision-critical하지 않은 connector token일 수 있다. Weak 또는 light regularization으로 stability만 제공한다.

3. Architecture / Method

3-1. Overview

Item Description
Rollout policy Ordinary student가 on-policy trajectory 생성
Privileged context LLM은 verified step-wise hint, VLM은 query-related box annotation
Dual evaluator 같은 $p$를 보는 privileged teacher와 privileged student
Router $\mathcal{A}$, $q_T$, $q_S$로 네 token regime 결정
Divergence Top-K reverse KL 또는 full-vocabulary JS
Output policy Privileged input 없이 동작하는 ordinary student

이 구조에서 privileged information은 inference input이 아니다. Training 중 advantage를 측정하고 supervision을 구성하기 위한 control variable이다.

3-2. Module breakdown

1) Privileged input construction

LLM task에는 step-wise decomposition hint를 제공하되, direct execution trace와 final answer를 제외한다. VLM task에는 query와 관련된 bounding box, object label, coordinate를 제공한다.

논문은 GPT-5.4를 이용해 privileged content를 생성하고 다시 quality check한 뒤 low-quality sample을 제거한다. 최종적으로 LLM 32K, VLM 25K training sample을 사용한다.

이 design은 privileged input의 granularity가 중요하다는 점을 보여준다. LLM ablation에서 Step-wise Hints without Execution이 C-Eval 71.3, LiveBench 49.8로 가장 좋고, Final Answer는 각각 59.5, 36.7에 그친다. 더 직접적인 answer가 더 좋은 supervision이라는 직관과 반대다.

2) Privilege advantage computation

Student trajectory의 각 token에 대해 privileged teacher와 privileged student의 log-probability 차이를 계산한다. Outlier 영향을 줄이기 위해 상위 5% advantage token을 제거하고 batch normalization한 뒤 routing threshold를 적용한다.

같은 information을 본 두 policy를 비교하기 때문에, raw teacher-student gap보다 capability difference에 가까운 proxy를 얻는다.

3) Adaptive supervision source

Teacher가 명확히 우세한 token은 teacher full distribution을 사용한다. 이때 JS divergence를 선택해 mode coverage와 concentration 사이를 절충한다.

Student가 더 confident하거나 advantage가 약한 token은 privileged student를 stop-gradient target으로 사용한다. Parameter를 공유하는 privileged branch는 별도 expert가 아니라, 같은 student가 additional context를 보았을 때의 better-informed view다.

4) Adaptive granularity

Full vocabulary alignment는 dense하지만 비싸다. DOPD는 가장 중요한 regime에만 full-vocabulary JS를 쓰고, 나머지는 Top-K reverse KL로 제한한다.

이 선택은 compute optimization이면서 learning signal design이다. Critical token에서는 secondary preference까지 전달하고, 덜 중요한 token에서는 dominant mode와 consistency만 유지한다.

5) Total objective

각 token은 하나의 indicator mask에 배정되고, 네 regime loss를 합친다.

\[\mathcal{L}_{\mathrm{DOPD}} = \mathbb{I}^{LH}\mathcal{L}^{LH} + \mathbb{I}^{LL}\mathcal{L}^{LL} + \mathbb{I}^{HT}\mathcal{L}^{HT} + \mathbb{I}^{HS}\mathcal{L}^{HS}\]

Weak와 light distillation coefficient는 각각 $\beta_w=0.3$, $\beta_l=0.6$으로 설정된다. Strong teacher region은 unit weight의 full-vocabulary JS를 사용한다.

4. Training / Data / Recipe

4-1. Data

LLM training mixture는 다음 세 영역을 포함한다.

  • RaR-Science-20K
  • DAPO-Math-17K
  • Skywork-OR1-Coding-14K

VLM은 ViRL39K를 사용한다. Privileged data quality filtering 후 실제 사용량은 LLM 32K, VLM 25K다.

Benchmark도 각 modality에서 여덟 개씩 사용한다.

  • LLM: C-Eval, LiveBench, MATH500, AIME25, ZebraLogic, AutoLogi, BFCLv3, LCBv5
  • VLM: RealWorldQA, MMStar, MathVision, DynaMath, LogicVista, MMMU, MMMU-Pro, VSI-Bench

4-2. Training strategy

Main model pair는 다음과 같다.

  • LLM: Qwen3-8B teacher -> Qwen3-1.7B student
  • VLM: Qwen3-VL-8B teacher -> Qwen3-VL-2B student

Generalization을 위해 Qwen3 8B, 4B, 1.7B, 0.6B 사이의 여러 teacher-student pair도 평가한다.

Student가 ordinary context로 rollout을 만든 뒤, 같은 sampled token을 privileged teacher, privileged student, ordinary student context에서 re-score한다. 즉 trajectory generation은 student on-policy 상태를 유지하고, privileged branch는 supervision 계산에만 개입한다.

4-3. Engineering notes

DOPD를 구현할 때 비용을 만드는 부분은 세 가지다.

  1. Privileged content generation과 filtering
  2. Teacher forward pass
  3. Privileged student additional forward pass

Vanilla OPD보다 student forward가 하나 더 필요하므로 memory와 throughput을 함께 계산해야 한다. Full-vocabulary JS를 모든 token에 적용하지 않고 routed token에만 적용하는 이유도 여기에 있다.

또한 token routing은 discrete mask이므로 threshold 근처에서 regime이 자주 바뀔 수 있다. Advantage normalization, outlier filtering, threshold logging을 함께 남겨야 reproducibility가 높아진다.

5. Evaluation

5-1. Main results

LLM setup

Method Average over 8 benchmarks
Student 39.1
Vanilla OPD 43.9
Best non-DOPD baseline, ExOPD 47.0
DOPD 51.4
Teacher 52.8

DOPD는 Vanilla OPD보다 평균 7.5 points 높고, teacher average에 1.4 points까지 접근한다. C-Eval 71.3, LiveBench 49.8, MATH500 81.5, AIME25 23.3을 기록한다.

VLM setup

Method Average over 8 benchmarks
Student 48.3
Vanilla OPD 52.4
VA-OPD reproduction 56.3
DOPD 58.4
Teacher 62.9

VLM에서도 DOPD는 Vanilla OPD보다 평균 6.0 points 높다. MathVision과 LogicVista처럼 capability-heavy한 visual reasoning task에서 차이가 비교적 크게 나타난다.

5-2. What really matters in the experiments

1) Privileged input의 형태가 중요하다

LLM에서는 final answer보다 execution을 제거한 step-wise hint가 훨씬 좋다. 이는 privileged information이 너무 강하면 teacher gap이 information leakage로 바뀐다는 논문의 문제 설정을 직접 지지한다.

VLM에서는 Bounding Box with Object Label이 RealWorldQA 67.4, MMStar 67.2로 가장 좋다. Caption alone이나 final answer보다 query-relevant localization이 더 유용하다.

2) Advantage-aware routing이 핵심이다

Advantage-aware distillation을 제거하면 C-Eval은 71.3에서 67.6, LiveBench는 49.8에서 41.3으로 떨어진다. 모든 token을 동일하게 distill하면 네 token type을 모두 사용하는 경우에도 LiveBench 41.3에 머문다. Adaptive routing을 켜면 49.8까지 오른다.

3) Teacher와 student source가 모두 필요하다

Teacher distillation을 제거하면 C-Eval 65.9, LiveBench 41.2로 크게 하락한다. Student source를 제거하면 70.4, 47.9로 감소 폭은 작지만 일관되게 손해다. Teacher가 primary capability source이고, privileged student가 stability와 exploration 보존에 기여한다는 해석과 맞는다.

4) Divergence scope는 성능과 비용의 trade-off다

Sampled token, Top-K, full vocabulary로 scope를 넓힐수록 대체로 성능은 좋아지지만 memory와 compute가 증가한다. DOPD의 routing은 단순 loss ensemble이 아니라, expensive dense supervision을 critical token에 집중하는 allocation mechanism이다.

6. Limitations

  1. Privileged information을 만드는 비용이 크다.
    • Annotation, generation, verification, filtering pipeline이 필요하다.
    • Domain이 바뀌면 어떤 privileged representation이 적절한지 다시 설계해야 한다.
  2. 추가 student forward pass가 필요하다.
    • Ordinary branch와 privileged branch를 모두 계산하므로 Vanilla OPD보다 training cost가 높다.
  3. Advantage gap은 capability의 완전한 식별자가 아니다.
    • 같은 privileged context를 준다고 해도 model family, calibration, tokenization 차이가 gap에 섞일 수 있다.
    • 큰 gap이 항상 transferable skill을 뜻하지는 않는다.
  4. Routing은 heuristic이다.
    • Threshold, outlier filtering, confidence rule이 empirical design이다.
    • Continuous 또는 learnable router가 더 안정적인지 추가 검증이 필요하다.
  5. Privileged data generator 의존성이 있다.
    • GPT-5.4가 생성하고 검사한 hint quality가 결과에 영향을 준다.
    • Generator가 바뀌면 data distribution과 cost가 달라질 수 있다.
  6. Deployment distribution shift는 별도 문제다.
    • Student는 privileged input 없이 배포된다.
    • Training task의 privileged cue가 test-time state와 다른 경우 routing이 선택한 capability signal이 일반화되지 않을 수 있다.

7. My Take

7-1. Why this matters for my work

DOPD의 가장 좋은 지점은 distillation target을 “teacher 전체”가 아니라 “teacher advantage가 신뢰할 수 있는 token region”으로 좁힌 것이다.

실무에서 strong model이 만든 rationale, OCR box, execution trace를 small model에 그대로 학습시키는 경우가 많다. 하지만 target에만 있는 정보와 실제 reasoning competence를 분리하지 않으면, student가 배포 입력으로 재현할 수 없는 shortcut을 배울 수 있다. DOPD의 privileged teacher versus privileged student 비교는 이 문제를 진단하는 실용적인 틀을 준다.

7-2. Reuse potential

  1. Document AI distillation
    • Teacher와 student 모두 OCR text와 box를 보게 한 뒤, student가 image-only 또는 reduced OCR input에서 배울 token을 선별할 수 있다.
  2. Tool-use agent
    • Teacher와 student 모두 verified tool result를 보게 하고, planning token에서 실제 capability gap이 큰 구간만 강하게 distill할 수 있다.
  3. Reasoning trace filtering
    • Final answer와 execution을 제거한 decomposition hint를 만들어 leakage를 줄일 수 있다.
  4. Compute-aware routing
    • Full-vocabulary divergence를 top advantage percentile에만 적용해 memory budget을 제어할 수 있다.
  5. Distillation audit
    • Token type별 비율, average loss, downstream gain을 기록하면 어떤 supervision이 실제 성능을 만드는지 볼 수 있다.

7-3. Follow-up papers

  • On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
  • Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe
  • Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes
  • Distilling Step-by-Step
  • Qwen3-VL Technical Report

8. Summary

  • DOPD는 privileged information이 만드는 information asymmetry를 privilege illusion으로 정의한다.
  • Privileged teacher와 privileged student를 같은 context에서 비교해 token-level capability gap을 추정한다.
  • Advantage와 confidence에 따라 teacher 또는 self source, weak 또는 strong weight, Top-K 또는 full-vocabulary divergence를 선택한다.
  • LLM에서는 Vanilla OPD보다 평균 7.5 points, VLM에서는 6.0 points 높은 결과를 보고한다.
  • 핵심 lesson은 더 강한 teacher signal을 전부 모방하는 것이 아니라, transferable한 signal만 선택적으로 전달해야 한다는 점이다.

댓글남기기

참고