11 분 소요

0. Introduction

Paper link

MOPD는 post-training에서 여러 domain capability를 하나의 모델에 합치는 문제를 다룬다. 최근 LLM post-training은 math, software engineering, instruction following, search, tool use처럼 domain마다 다른 RL recipe를 쓰는 방향으로 세분화되고 있다. 문제는 각 domain에서 강한 teacher를 만들 수 있어도, 그 teacher들의 능력을 하나의 student에 안정적으로 통합하는 일이 어렵다는 점이다.

한 줄 요약: MOPD는 domain별 RL teacher를 병렬로 학습한 뒤, student가 자기 policy로 만든 rollout 위에서 해당 domain teacher의 token-level distribution을 따라가게 하는 multi-teacher on-policy distillation 방법이다. 핵심은 parameter space에서 teacher를 합치는 것이 아니라, policy space에서 prompt routing과 reverse KL signal로 capability를 통합하는 것이다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같다.

  • Multi-domain RL post-training에서 가장 실제적인 병목인 capability integration을 정면으로 다룬다.
  • Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge가 각각 놓치는 축을 dense optimization, on-policy training, parallel pipeline이라는 세 기준으로 정리한다.
  • MOPD는 teacher를 평균내거나 순차 학습하지 않고, domain teacher를 frozen expert로 유지한 채 student rollout에 dense token signal을 준다.
  • Qwen3-30B-A3B와 MiMo-V2-Flash에서 실험해, research-scale과 industrial-scale 모두를 연결한다.
  • Same-origin teacher가 OPD 안정성에 중요하다는 분석은 multi-teacher distillation 설계에 바로 재사용할 수 있다.

이 논문은 distillation 논문이면서 동시에 post-training organization paper에 가깝다. 한 팀이 하나의 거대한 joint RL run을 계속 고치는 대신, domain team이 teacher를 독립적으로 만들고 마지막에 MOPD로 통합하는 workflow를 제안하기 때문이다.

1. Problem Setting

1-1. Problem definition

문제는 여러 domain RL capability를 하나의 student model에 통합하는 것이다. 각 domain은 서로 다른 reward, data, rollout environment, verifier, sandbox, hyperparameter를 가질 수 있다.

예를 들어 math reasoning은 verifiable answer RL에 잘 맞고, software engineering은 executable sandbox와 test feedback이 중요하다. Instruction following은 rubric-based reward가 필요할 수 있고, search나 tool-use는 environment interaction을 포함한다. 각 domain에서 별도 RL teacher를 만들 수는 있지만, 최종 제품 모델은 모든 domain에서 균형 있게 잘해야 한다.

따라서 핵심 질문은 다음과 같다.

  • Domain별 teacher의 능력을 하나의 student에 어떻게 안정적으로 옮길 것인가?
  • Training distribution과 inference distribution mismatch를 어떻게 줄일 것인가?
  • Domain별 RL 개발을 병렬화하면서도, 최종 모델에서는 capability 간 interference를 줄일 수 있는가?

1-2. Why previous approaches are insufficient

논문은 기존 capability integration 방식을 네 가지로 정리한다.

방식 핵심 아이디어 한계
Mix-RL 여러 domain prompt를 섞어 joint RL을 수행 domain signal이 서로 간섭하고 see-saw effect가 생길 수 있다
Cascade RL domain을 순서대로 RL 학습 나중 domain을 학습하는 동안 이전 capability가 decay할 수 있다
Off-Policy Finetune domain teacher rollout을 모아 SFT student가 자기 inference state에서 학습하지 않아 exposure bias가 생긴다
Param-Merge teacher weight 또는 task vector를 합침 weight-space fusion이 불안정하고 모든 teacher capability를 맞추기 어렵다

이 네 방법은 각각 하나 이상의 축을 놓친다. 논문의 기준은 세 가지다.

  1. Dense optimization
    • Trajectory-level reward만 쓰지 않고 token-level signal을 줄 수 있는가?
  2. On-policy training
    • Student가 실제로 방문하는 state 위에서 학습하는가?
  3. Parallelizable pipeline
    • Domain teacher를 독립적으로 개발하고 나중에 통합할 수 있는가?

MOPD는 이 세 조건을 동시에 만족하는 방법으로 제시된다.

2. Core Idea

2-1. Main contribution

MOPD의 핵심은 다음 세 단계다.

  1. Stage 1: SFT
    • 모든 domain이 공유할 SFT checkpoint를 만든다.
  2. Stage 2: Domain-specialized RL
    • 같은 SFT checkpoint에서 출발해 math, instruction following, software engineering 등 domain별 RL teacher를 독립적으로 학습한다.
    • 각 teacher는 자기 domain에 맞는 reward와 RL recipe를 사용할 수 있다.
  3. Stage 3: MOPD
    • Student도 Stage 1 SFT checkpoint에서 시작한다.
    • Prompt를 domain에 따라 matching teacher로 route한다.
    • Student가 자기 policy로 rollout을 생성한다.
    • Matching teacher가 그 rollout prefix 위에서 token-level probability를 계산한다.
    • Student는 teacher와의 per-token reverse KL을 줄이도록 update된다.

여기서 가장 중요한 말은 “student rollout”이다. Student가 teacher가 만든 answer를 그대로 외우는 것이 아니라, student가 실제 inference에서 갈 법한 trajectory 위에서 teacher의 distribution을 받는다. 이 때문에 exposure bias를 줄이고, token-level dense signal을 얻을 수 있다.

2-2. Design intuition

MOPD의 직관은 teacher capability를 parameter로 합치지 않고, policy behavior로 흡수하는 것이다.

Param-Merge는 teacher weight를 평균내거나 task vector를 조합한다. 하지만 서로 다른 domain RL teacher는 parameter space에서 같은 방향으로 능력을 담고 있다는 보장이 약하다. 반면 MOPD는 teacher를 그대로 frozen expert로 둔 뒤, student가 방문한 state에서 teacher가 어떤 token distribution을 선호하는지 물어본다.

이를 간단히 쓰면 다음과 같다.

\[L_{rev_kl} = E[(1 / N) sum_t sum_v p_s(v) log (p_s(v) / p_t(v))]\]

여기서 $p_s$는 student distribution이고, $p_t$는 해당 prompt domain에 route된 teacher distribution이다. 실제 논문에서는 prompt $x$와 student rollout $y$의 prefix 조건이 들어가지만, 핵심은 student가 만든 token trajectory에서 teacher와 student의 token distribution 차이를 줄이는 것이다.

이 구조의 설계 직관은 네 가지다.

  • Student가 자기 rollout에서 학습하므로 on-policy에 가깝다.
  • Teacher는 매 token마다 distribution을 제공하므로 dense supervision이 된다.
  • Prompt routing으로 domain별 teacher를 선택하므로 capability integration이 policy space에서 일어난다.
  • Teacher는 모두 같은 SFT origin에서 출발하므로 student와 distribution gap이 작다.

3. Architecture / Method

3-1. Overview

항목 설명
Goal 여러 domain RL teacher의 capability를 하나의 student에 통합
Base model Qwen3-30B-A3B, MiMo-V2-Flash 실험 포함
Key module Prompt domain router, frozen domain teachers, student on-policy rollout
Loss Per-token reverse KL 기반 OPD
Baselines Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge
Engineering angle Domain teacher 개발과 final integration을 분리
주요 조건 Same-origin teacher와 student의 distribution alignment

MOPD는 architecture 자체를 크게 바꾸는 방법이 아니다. Post-training pipeline을 재구성하는 방법이다. Student와 teacher model은 같은 SFT origin에서 출발하고, Stage 3에서는 teacher weight를 업데이트하지 않는다. 업데이트 대상은 student 하나다.

3-2. Module breakdown

1) Shared SFT checkpoint

Stage 1은 모든 teacher와 student의 common origin을 만든다. 이 단계가 단순 초기화 이상의 의미를 가진다. Teacher와 student가 같은 SFT checkpoint에서 출발해야, later OPD에서 policy distribution gap이 너무 커지지 않는다.

논문 후반 분석은 이 조건이 꽤 중요하다는 것을 보여준다. 더 큰 external teacher를 가져오면 absolute capability는 높을 수 있지만, student와 distribution gap이 커져 distillation이 불안정해질 수 있다.

2) Domain RL teachers

Stage 2에서는 domain마다 독립적인 RL teacher를 만든다. 예를 들어 math teacher는 verifiable answer RL에 맞게, software engineering teacher는 executable sandbox agent RL에 맞게 학습할 수 있다.

이 설계는 workflow 관점에서 중요하다.

  • 각 domain team이 자기 reward와 data pipeline을 독립적으로 개선할 수 있다.
  • 한 domain의 hyperparameter failure가 다른 domain training을 중단시키지 않는다.
  • Joint RL처럼 모든 domain signal이 한 training loop에서 섞이지 않는다.
  • 마지막 integration 전에 teacher capability를 domain별로 검증할 수 있다.

3) Prompt routing

Stage 3에서는 prompt가 어떤 domain에 속하는지에 따라 teacher를 선택한다. Math prompt는 math teacher, SWE prompt는 SWE teacher, instruction following prompt는 IF teacher로 route된다.

이 routing은 단순해 보이지만, MOPD의 안정성에 중요하다. 모든 teacher distribution을 average하지 않는다. 각 prompt에 대해 가장 관련 있는 teacher 하나를 선택하고, 그 teacher의 token-level signal만 사용한다. 이렇게 하면 서로 다른 teacher가 같은 token 위치에서 상충하는 signal을 주는 상황을 줄일 수 있다.

4) Student rollout and teacher prefill

Student는 prompt를 받아 자기 policy로 answer trajectory를 생성한다. 이후 matching teacher는 그 trajectory를 teacher forcing 방식으로 prefill하여 각 token 위치의 probability distribution을 계산한다.

이때 teacher가 생성한 answer를 따라 쓰는 것이 아니다. Student가 실제로 만든 trajectory 위에서 teacher가 그 token을 얼마나 지지하는지, 또는 어떤 alternative token에 probability를 두는지를 본다. 이것이 Off-Policy Finetune과의 가장 큰 차이다.

5) Reverse KL objective

논문은 per-token reverse KL objective를 사용한다. Policy-gradient form으로 보면 teacher와 student의 log probability difference가 token-level advantage처럼 작동한다.

논문은 두 구현을 제시한다.

  1. Policy-gradient implementation
    • Existing PPO or GRPO framework에 넣기 쉽다.
    • Advantage computation만 teacher-student log difference로 바꾸면 된다.
  2. Top-k distillation implementation
    • Teacher의 top-k token distribution을 더 활용한다.
    • Lower-variance alternative로 제시되지만, 실험에서는 same-origin teacher setting에서 policy-gradient form이 이미 안정적이었다.

4. Training / Data / Recipe

4-1. Data

Qwen3-30B-A3B 실험은 세 domain을 중심으로 한다.

Domain Benchmarks
Math AIME25, AIME26
Instruction Following IFBench, IFEval
Software Engineering SWE-bench Verified

MiMo-V2-Flash 실험은 더 큰 industrial-scale setting으로 확장된다. 논문은 Math, Code, IF, SWE, Tool Use teacher를 포함한다고 설명하고, AIME25, HMMT25, LCB, IFBench, SWE-Bench Verified, tau2-Bench, tau2-Telecom 결과를 제시한다.

4-2. Training strategy

MOPD training은 다음 순서로 정리할 수 있다.

  1. 모든 domain의 common SFT checkpoint를 만든다.
  2. 같은 checkpoint에서 domain별 RL teacher를 병렬로 학습한다.
  3. Student를 다시 common SFT checkpoint에서 초기화한다.
  4. Multi-domain prompt dataset에서 batch를 샘플링한다.
  5. 각 prompt를 matching teacher로 route한다.
  6. Student가 자기 rollout을 생성한다.
  7. Teacher가 student rollout을 prefill해 token-level probability를 계산한다.
  8. Student를 reverse KL objective로 업데이트한다.
  9. 필요한 경우 post-MOPD student에서 다시 domain teacher를 만들고 다음 round를 반복한다.

이 과정에서 중요한 engineering property는 decoupling이다. Domain capability production은 Stage 2에서 병렬로 일어나고, capability integration은 Stage 3에서 별도로 일어난다. 따라서 joint multi-domain RL에서 흔히 생기는 ordering 문제와 restart risk를 줄인다.

4-3. Engineering notes

실무적으로 가져갈 만한 점은 다음과 같다.

  1. Domain teacher는 same-origin이어야 한다.
    • 더 큰 external teacher가 항상 좋은 distillation teacher는 아니다.
    • Teacher-student KL gap이 너무 크면 OPD가 불안정해질 수 있다.
  2. Prompt domain routing이 learning signal의 품질을 결정한다.
    • 잘못 route된 prompt는 잘못된 teacher signal을 받는다.
    • 실제 product에서는 domain classifier, mixed-domain prompt handling, fallback policy가 필요하다.
  3. Teacher prefill cost가 있다.
    • Stage 3에서는 student rollout뿐 아니라 teacher prefill도 필요하다.
    • Dense signal은 sample efficiency를 주지만, per-step compute cost는 늘 수 있다.
  4. Normalized score를 봐야 한다.
    • Domain마다 absolute accuracy headroom이 다르다.
    • Raw average만 보면 headroom이 큰 domain에 결과가 끌릴 수 있다.
  5. Multi-round evolution이 가능하다.
    • Iter 1 MOPD student를 다음 round의 SFT-like origin으로 두고, 다시 per-domain teacher를 만들 수 있다.
    • 다만 round가 늘수록 compute budget과 domain selection 전략이 더 중요해진다.

5. Evaluation

5-1. Main results

Qwen3-30B-A3B에서 논문은 per-benchmark accuracy와 normalized score를 보고한다. Normalized score는 Stage 1 SFT student를 0, per-domain RL teacher를 1로 두고 method가 teacher headroom을 얼마나 회수했는지 보는 지표다.

방식 AIME25 AIME26 IFBench IFEval SWE-bench Verified Norm. score
Student SFT-only 45.42 54.48 42.69 84.17 35.80 0.0000
RL Teacher 54.79 63.65 78.40 95.50 51.20 1.0000
Mix-RL 52.71 63.75 75.00 94.58 48.80 0.8818
Cascade RL 48.54 61.88 77.11 95.80 47.80 0.7752
Off-Policy Finetune 51.56 63.44 80.95 93.35 45.80 0.8241
Param-Merge Avg. 47.81 59.58 53.74 88.79 39.60 0.3280
Param-Merge Task Arith. 49.38 63.96 78.23 95.81 48.80 0.8574
MOPD 51.46 65.31 77.89 93.84 50.40 0.9373

이 table은 단순히 MOPD가 모든 column에서 최고라는 뜻은 아니다. 예를 들어 IFBench에서는 Off-Policy Finetune이 더 높고, IFEval에서는 Cascade RL과 Param-Merge Task Arith.가 더 높다. 하지만 normalized score 기준으로는 MOPD가 가장 높고, domain별 headroom 회수 profile이 가장 균일하다는 점이 논문의 핵심 주장이다.

논문은 MOPD가 normalized score 0.937을 달성해 Mix-RL 0.882보다 0.055 높고, domain별 normalized score 범위가 0.91에서 0.95 사이로 가장 좁다고 설명한다. 또한 Figure 2에서는 MOPD가 IF에서 약 25K samples, SWE에서 약 30K samples 안에 teacher-level plateau에 도달한다고 해석한다. 이는 teacher의 dense per-token supervision이 trajectory-level RL reward보다 sample-efficient하다는 논지를 뒷받침한다.

MiMo-V2-Flash에서도 full MOPD pipeline을 적용한다.

모델 AIME25 HMMT25 LCB IFBench SWE-Bench V. tau2-Bench tau2-Telecom
Student 89.3 76.9 77.5 55.4 67.8 75.9 92.7
Teacher 93.9 82.6 82.6 68.9 74.2 79.6 95.0
MOPD 94.1 84.4 83.2 66.7 73.4 80.3 95.3

여기서도 MOPD는 대부분의 benchmark에서 teacher를 match하거나 넘지만, IFBench와 SWE-Bench Verified에서는 teacher보다 낮다. 따라서 이 결과는 “MOPD가 항상 teacher를 넘는다”가 아니라, frontier-scale setting에서도 multi-teacher capability integration recipe가 작동한다는 근거로 읽는 편이 맞다.

5-2. What really matters in the experiments

1) Normalized score가 핵심이다

Domain마다 headroom이 다르면 raw accuracy average는 오해를 만들 수 있다. MOPD의 강점은 특정 benchmark 최고점보다, 여러 domain에서 teacher headroom을 균일하게 회수했다는 점이다.

2) MOPD는 sample efficiency를 주장한다

Mix-RL은 trajectory-level reward 기반 joint RL이므로 많은 samples를 쓰면서 domain signal이 섞인다. MOPD는 student rollout마다 teacher token distribution을 받기 때문에 signal density가 높다. 이 차이가 Figure 2의 빠른 plateau 해석으로 이어진다.

3) Same-origin teacher가 매우 중요하다

논문은 Math teacher를 same-origin RL teacher 대신 더 큰 Qwen3-235B-A22B로 바꾸는 실험을 한다. 더 강한 external teacher를 쓰면 좋아질 것 같지만, 실제로는 math performance가 떨어지고 KL과 entropy가 불안정해진다. Top-k distillation variant는 더 심하게 collapse된다.

이 결과는 multi-teacher OPD에서 teacher absolute score보다 teacher-student distribution alignment가 더 중요할 수 있음을 보여준다.

4) Loss variant보다 teacher alignment가 먼저다

Policy-gradient form과 top-k distillation은 same-origin teacher에서는 비슷하게 작동한다. 하지만 external teacher setting에서는 둘 다 불안정하고, top-k는 catastrophic collapse를 보인다. 따라서 loss trick보다 teacher construction이 먼저다.

5) Multi-round evolution은 가능하지만 비용이 있다

논문은 Iter 1 MOPD 이후 다시 Math와 IF teacher를 만들고 Iter 2 MOPD를 수행한다. Normalized score는 0.937에서 0.986으로 오른다. 이는 capability headroom을 추가로 흡수할 수 있다는 점을 보여준다. 다만 SWE teacher는 새로 만들지 않았고, round를 반복할수록 compute budget과 domain selection이 더 중요해진다.

6. Limitations

  1. Same-origin teacher 조건이 강하다.
    • MOPD는 teacher와 student가 같은 SFT checkpoint에서 출발할 때 안정적이다.
    • 이미 존재하는 강한 external model을 teacher로 바로 쓰는 setting에는 취약할 수 있다.
  2. Prompt routing이 명확한 domain setting을 가정한다.
    • 실제 user prompt는 math와 coding, tool use, instruction following이 섞일 수 있다.
    • Mixed-domain prompt에서 어떤 teacher를 선택할지, 여러 teacher signal을 어떻게 조합할지는 추가 설계가 필요하다.
  3. Teacher prefill compute가 무시되지 않는다.
    • Dense token signal은 sample efficiency를 주지만, 매 rollout마다 teacher forward가 필요하다.
    • Domain teacher 수가 많아질수록 serving and training infrastructure가 복잡해질 수 있다.
  4. MOPD도 teacher capability를 완전히 복제하지는 않는다.
    • Qwen3-30B-A3B table에서 MOPD는 AIME25, IFBench, IFEval, SWE-bench Verified에서 RL Teacher보다 낮다.
    • MiMo-V2-Flash에서도 IFBench와 SWE-Bench Verified는 teacher보다 낮다.
  5. Evaluation domain이 아직 제한적이다.
    • Math, IF, SWE, Code, Tool Use는 중요하지만, safety, multilinguality, long-horizon agent, multimodal RL까지 일반화하려면 추가 검증이 필요하다.
  6. Catastrophic failure handling이 더 필요하다.
    • External teacher 실험은 distribution gap이 커지면 collapse가 날 수 있음을 보여준다.
    • 실제 pipeline에서는 KL monitor, entropy monitor, teacher fallback, trust-region style filtering이 필요할 가능성이 높다.

7. My Take

7-1. Why this matters for my work

이 논문이 중요한 이유는 capability integration을 “한 번의 joint RL run” 문제가 아니라 “teacher production과 student integration을 분리하는 system design” 문제로 바꿔 보기 때문이다.

실제 post-training pipeline에서는 domain마다 성공 조건이 다르다. Math는 verifier가 있고, SWE는 sandbox와 test가 있고, instruction following은 rubric과 judge가 있으며, tool-use는 environment interaction이 있다. 이들을 한 training loop에 모두 넣으면 reward scale, data curriculum, hyperparameter, stability issue가 엉킨다.

MOPD는 이 복잡도를 줄이는 방향을 제시한다. 각 domain team은 자기 teacher를 독립적으로 개선하고, final integration은 student rollout 위에서 teacher distribution을 distill한다. 이 관점은 large-scale post-training 조직과 infrastructure에 꽤 잘 맞는다.

7-2. Reuse potential

재사용해볼 만한 포인트는 다음과 같다.

  1. Capability integration metric
    • Raw score average 대신 teacher headroom 기준 normalized score를 쓴다.
  2. Same-origin teacher protocol
    • Strong teacher보다 aligned teacher를 우선한다.
  3. Domain-isolated RL development
    • Domain teacher를 병렬 개발하고, restart risk를 domain 내부로 제한한다.
  4. Student-rollout distillation
    • Teacher answer SFT가 아니라 student trajectory 위에서 dense signal을 받는다.
  5. Monitoring design
    • Teacher-student KL, policy entropy, per-domain headroom closure를 training dashboard에 넣는다.

7-3. Follow-up papers

  • MiniLLM: On-policy distillation of large language models
  • Rethinking On-Policy Distillation of Large Language Models
  • Trust Region On-Policy Distillation
  • On the Geometry of On-Policy Distillation
  • DeepSeek-R1 style RLVR recipe papers
  • Task arithmetic and model merging papers
  • Multi-task learning interference papers

8. Summary

  • MOPD는 여러 domain RL teacher의 capability를 하나의 student에 통합하는 post-training method다.
  • 핵심은 student rollout 위에서 matching teacher의 token-level distribution을 distill하는 것이다.
  • Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge 대비 dense optimization, on-policy training, parallel pipeline을 동시에 만족한다.
  • Qwen3-30B-A3B에서는 normalized score 0.9373으로 비교 method 중 가장 높은 aggregate integration을 보인다.
  • 가장 중요한 교훈은 더 강한 external teacher보다 same-origin aligned teacher가 OPD 안정성에 중요하다는 점이다.

댓글남기기

참고