SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning Review

0. Introduction

Paper link

한 줄 요약: SEED는 completed on-policy trajectory에서 natural-language hindsight skill을 추출하고, 같은 sampled action을 ordinary context와 skill-augmented context에서 re-score해 얻은 token-level log-probability shift를 outcome RL과 함께 distill하는 self-evolving agentic RL framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• Long-horizon agent의 sparse terminal reward를 dense token supervision으로 바꾸는 구체적인 mechanism을 제공한다.
• Static skill library 대신 최신 policy가 actor와 trajectory analyzer를 동시에 맡아 behavior와 supervision을 함께 진화시킨다.
• Skill을 inference prompt에 붙이지 않고 policy parameter에 internalize해 deployment overhead를 없앤다.
• Embodied interaction, web navigation, search QA, vision-based planning에서 같은 recipe를 검증한다.

Agentic RL에서는 하나의 episode가 수십 번의 observation, action, tool call로 구성되지만 reward는 마지막에 하나만 주어지는 경우가 많다. GRPO 같은 outcome-based objective는 successful trajectory에 positive advantage를 줄 수 있지만, 그 안의 어떤 token이 좋은 planning을 만들었고 어떤 action이 우연히 성공했는지는 알려주지 않는다.

완료된 trajectory를 뒤에서 보면 더 많은 정보를 얻을 수 있다. 어떤 observation이 결정적이었는지, 어떤 탐색이 불필요했는지, 실패를 피하려면 어떤 순서를 따라야 하는지 알 수 있다. SEED는 이 hindsight information을 natural-language skill로 표현한 뒤, 그 skill이 sampled action probability를 얼마나 바꾸는지를 dense learning signal로 사용한다.

1. Problem Setting

1-1. Problem definition

Long-horizon agent task를 partially observable process로 보면, agent는 현재 observation만으로 hidden environment state를 완전히 알 수 없다. 따라서 history $h_t$를 기반으로 action을 선택한다.

\[h_t = (o_0, a_0, o_1, a_1, \ldots, o_t)\]

Episode가 끝나면 trajectory $\tau$와 terminal reward $R(\tau)$를 얻는다. Standard outcome RL은 같은 trajectory에 포함된 valid action token에 group-relative advantage를 broadcast한다.

문제는 동일한 positive trajectory 안에도 다음이 섞인다는 점이다.

• Goal에 직접 기여한 action
• 불필요하지만 harmless한 exploration
• 잘못된 시도에서 우연히 recovery한 action
• Environment constraint를 정확히 반영한 planning token

SEED의 목표는 completed trajectory를 분석해 episode-level skill $s_\tau$를 만들고, 이 skill을 보았을 때 probability가 올라가는 sampled action을 positive guidance로 internalize하는 것이다.

1-2. Why previous approaches are insufficient

1) Outcome-only RL

Terminal reward는 정확하지만 coarse하다. 모든 valid token에 같은 trajectory advantage가 들어가므로 local credit assignment가 약하다.

2) Skill prompting

Skill을 inference context에 넣으면 behavior를 즉시 바꿀 수 있지만 context cost가 늘고, skill retrieval error가 그대로 deployment behavior에 들어간다. Prompt가 길어질수록 current observation과 skill instruction이 경쟁할 수도 있다.

3) Static skill distillation

Offline expert나 fixed analyzer가 만든 skill은 training 초반에는 유용할 수 있다. 하지만 policy가 개선되면 방문하는 state, 실패 pattern, action distribution이 달라진다. Static skill은 점점 stale supervision이 된다.

4) Separate teacher evolution

Actor와 analyzer를 별도 schedule로 갱신하면 trajectory distribution과 skill interpretation이 어긋날 수 있다. SEED는 동일한 latest checkpoint를 두 역할에 사용해 synchronization을 유지한다.

2. Core Idea

2-1. Main contribution

SEED는 두 단계로 구성된다.

1. Hindsight Skill SFT
   • External analyzer가 completed trajectory를 읽고 reusable skill 또는 failure-avoidance rule을 만든다.
   • 같은 backbone을 trajectory-to-skill model로 fine-tune한다.
2. Self-Evolving On-Policy Distillation
   • Latest policy snapshot이 trajectory를 수집한다.
   • 같은 snapshot이 completed trajectory를 분석해 hindsight skill을 생성한다.
   • Sampled action을 ordinary context와 skill-augmented context에서 re-score한다.
   • Skill이 만드는 log-probability shift를 detached token supervision으로 사용한다.
   • Outcome RL과 OPD loss를 함께 최적화한다.

Inference에서는 analyzer와 skill context를 모두 제거하고 learned policy만 사용한다.

2-2. Design intuition

현재 policy가 action $a$를 ordinary history $h$에서 평가한 log-probability와, hindsight skill $s$가 추가된 context에서 평가한 log-probability를 비교한다.

\[\Delta = \operatorname{sg}\left[\log \pi_\theta(a\mid h,s) - \log \pi_\theta(a\mid h)\right]\]

$\operatorname{sg}$는 stop-gradient다. Skill-augmented branch는 target signal을 제공하지만 gradient를 받지 않는다.

그 다음 confidence gate를 만든다.

\[g = \sigma(\beta_{\mathrm{opd}}\Delta)\]

Skill을 보았을 때 sampled action의 probability가 크게 올라가면 $g$가 커진다. 이 action은 hindsight skill과 일치하는 behavior이므로 ordinary policy가 더 쉽게 선택하도록 distill한다. 반대로 skill을 보아도 probability가 오르지 않으면 auxiliary signal을 약하게 만든다.

핵심은 새 action을 teacher가 생성하는 것이 아니라, actor가 실제로 sample한 action을 두 context에서 paired re-scoring한다는 점이다. 따라서 supervision은 current on-policy state distribution에 남는다.

3. Architecture / Method

3-1. Overview

Item	Description
RL backbone	Group-relative outcome RL
Skill source	Completed on-policy trajectory
Analyzer	Latest frozen policy snapshot
Teacher view	Ordinary history + hindsight skill
Student view	Ordinary history only
Dense signal	Detached skill-induced token log-probability shift
Deployment	Skill prompt와 analyzer 없이 policy만 사용

3-2. Module breakdown

1) Hindsight Skill SFT

초기 policy는 trajectory를 읽고 좋은 skill을 생성하는 능력이 없다. 따라서 Stage 1에서는 external analyzer로 bootstrap한다.

Successful trajectory에서는 reusable workflow와 decisive strategy를 추출한다. Failed trajectory에서는 반복하면 안 되는 action, missing check, recovery rule을 추출한다. Format validation을 통과한 trajectory-skill pair만 SFT에 사용한다.

이 단계의 목적은 task answer를 학습하는 것이 아니라, policy가 자신의 completed interaction을 structured guidance로 요약하는 capability를 얻는 것이다.

2) Synchronized actor-analyzer

Stage 2에서 frozen snapshot $\pi_{\theta_{old}}$는 두 역할을 맡는다.

• Actor: environment에서 trajectory를 sample한다.
• Analyzer: completed trajectory에서 hindsight skill을 생성한다.

Policy update가 끝나면 새 checkpoint가 다음 actor와 analyzer가 된다. 이렇게 하면 skill source가 policy의 최신 success와 failure mode를 따라간다.

3) Paired contextual re-scoring

각 sampled action token에 대해 current trainable policy를 두 번 평가한다.

• Ordinary branch: deployment와 같은 history만 입력
• Skill branch: 같은 history에 episode-level hindsight skill 추가

두 branch는 parameter를 공유한다. Skill branch의 output은 detached target이고, gradient는 ordinary branch에만 흐른다. 따라서 inference-time skill dependency를 만들지 않으면서 privileged hindsight guidance를 parameter에 흡수한다.

4) Confidence-gated OPD

단순히 $\Delta$를 그대로 maximize하면 noisy skill이 policy를 잘못 끌 수 있다. SEED는 sigmoid gate로 signal strength를 조절한다. Skill이 해당 sampled action을 실제로 지지할 때만 강한 OPD signal을 준다.

이 design은 teacher confidence와 student action을 같은 token에서 비교하므로 별도 process reward model 없이 dense credit assignment를 만든다.

5) Joint outcome RL and OPD

전체 objective는 다음처럼 구성된다.

\[\mathcal{L}_{\mathrm{SEED}} = \mathcal{L}_{\mathrm{RL}} + \lambda_{\mathrm{opd}}\mathcal{L}_{\mathrm{OPD}}\]

Outcome RL은 final success를 보존하고, OPD는 trajectory 내부 action에 dense guidance를 제공한다. 둘 중 하나만 쓰면 각각 coarse reward와 potentially noisy hindsight의 한계를 가진다.

4. Training / Data / Recipe

4-1. Data

세 가지 text-based agent setting을 사용한다.

• ALFWorld: embodied household interaction
• WebShop: product search와 purchase navigation
• Search-based QA: NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle

추가 appendix에서는 vision-based Sokoban과 EZPoints도 평가한다.

Backbone은 Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, Qwen3-1.7B-Instruct다.

4-2. Training strategy

각 backbone의 Stage 1 recipe는 다음과 같다.

• 180 training task sample
• Task당 8 rollout
• 총 1,440 completed trajectory
• External analyzer: GLM-5.2
• Hindsight Skill SFT: 3 epochs

Stage 2는 150 policy update를 수행한다.

• ALFWorld와 WebShop batch size: 16
• Search-based QA batch size: 128
• Rollout group size: 8

Stage 2에서는 external analyzer를 계속 사용하지 않는다. SFT된 latest policy snapshot이 analyzer가 된다.

4-3. Engineering notes

1) Full trajectory serialization이 중요하다

Analyzer가 outcome만 보는 것이 아니라 observation-action sequence와 environment feedback을 함께 봐야 한다. Tool result truncation이나 state omission이 있으면 skill이 잘못된 원인을 학습할 수 있다.

2) Successful skill과 failure skill을 분리한다

Success에서는 reusable procedure를, failure에서는 anti-pattern과 corrective rule을 생성하는 별도 prompt가 유용하다.

3) Action mask를 엄격히 둔다

Environment observation이나 system token까지 distill하면 auxiliary loss가 실제 decision token보다 커질 수 있다. 논문은 valid sampled action token에 loss를 적용한다.

4) Analyzer quality monitoring이 필요하다

Stage 2에서는 analyzer도 policy 자체이므로, policy update가 skill generation quality를 항상 높인다고 보장할 수 없다. Skill length, format validity, repeated phrase, action grounding을 별도 metric으로 남기는 편이 안전하다.

5) Paired forward cost를 계산해야 한다

Ordinary branch와 skill branch를 모두 re-score하므로 outcome-only GRPO보다 training FLOPs와 activation memory가 증가한다. Inference overhead가 없다는 장점과 training cost를 분리해 평가해야 한다.

5. Evaluation

5-1. Main results

Qwen2.5-3B-Instruct에서 대표 결과는 다음과 같다.

Method	ALFWorld avg	Search QA avg	WebShop score	WebShop success
GRPO	75.0	36.4	79.8	63.3
SEED	91.8	45.7	88.5	78.9

세 backbone 전체에서 SEED는 GRPO 대비 다음 범위의 gain을 보고한다.

• ALFWorld: +14.9 to +45.9 points
• Search-based QA: +1.4 to +9.3 points
• WebShop score: +8.7 to +19.8 points
• WebShop success: +5.5 to +39.0 points

Vision-based appendix에서도 Qwen2.5-VL-3B 기반 SEED가 Sokoban 82.0, EZPoints 100.0, average 91.0을 기록하고, GRPO average 77.0보다 14.0 points 높다.

5-2. What really matters in the experiments

1) Skill internalization이 prompt보다 낫다

Skill-Prompt와 Skill-GRPO처럼 evaluation context에 skill을 넣는 방법보다, SEED가 aggregate metric 전반에서 강하다. Skill이 유용하다는 것과 skill을 prompt로 제공하는 것이 최선이라는 것은 다른 문제다. SEED는 deployment input을 바꾸지 않고 behavior를 internalize한다.

2) Self-evolving source가 static source보다 중요하다

Static offline skill로 바꾸는 ablation은 ALFWorld average를 91.8에서 84.4로 낮춘다. Hindsight Skill SFT를 제거하면 86.0, self-evolving OPD를 제거하면 87.0이다. 가장 큰 하락이 static skill replacement에서 나타난다는 점은 policy-synchronized supervision이 핵심임을 보여준다.

3) Sample efficiency가 좋아진다

ALFWorld training data 60%만 사용한 SEED가 80.7을 기록해, full-data GRPO의 75.0보다 높다. Sparse reward를 같은 수만큼 모으더라도 completed trajectory에서 추가 token supervision을 추출하기 때문에 data reuse efficiency가 높아진다.

4) Trajectory가 짧아지면서 success가 오른다

ALFWorld에서 step 40 부근에 SEED는 약 57%, GRPO는 약 35% success에 도달한다. Mean episode length도 약 28 turns에서 13으로 줄어들고, GRPO는 약 16 turns에 머문다. Success가 함께 오르므로 단순 premature termination보다 불필요한 exploration 감소로 해석할 수 있다.

5) Unseen split에서도 gain이 유지된다

ALFWorld unseen macro-average에서 GRPO 70.9, SEED 86.2로 15.3 points 차이가 난다. Heat, Look, Pick에서 큰 gain이 나타난다. 다만 Clean category는 2.9 points 낮아져 모든 task family에서 일관된 개선은 아니다.

6. Limitations

논문은 독립된 Limitations 절을 두지 않으므로, 아래는 paper scope와 method contract에서 직접 드러나는 주의점이다.

1. Stage 1은 external analyzer에 의존한다.
   • GLM-5.2가 만든 initial skill distribution이 이후 self-evolving loop의 출발점을 결정한다.
   • 다른 analyzer나 prompt에서 같은 결과가 유지되는지 확인이 필요하다.
2. Natural-language skill의 correctness를 보장하지 않는다.
   • Stage 1은 lightweight format validation을 사용한다.
   • Skill이 environment evidence를 정확히 반영하는지 별도 verifier가 필요한 setting이 있다.
3. Paired re-scoring 비용이 추가된다.
   • Ordinary와 skill-augmented context를 모두 forward해야 한다.
   • Long trajectory와 large model에서는 training throughput이 병목이 될 수 있다.
4. Latest policy가 항상 better analyzer는 아니다.
   • Actor capability와 trajectory-analysis capability가 같은 속도로 좋아진다고 보장할 수 없다.
   • Self-reinforcing wrong skill이 생기면 bias가 반복될 가능성이 있다.
5. Benchmark horizon이 실제 production agent를 완전히 대표하지 않는다.
   • ALFWorld, WebShop, Search QA는 대표적이지만 multi-day workflow, external side effect, user correction, access control은 포함하지 않는다.
6. Outcome group이 모두 같은 reward를 받는 경우가 남는다.
   • Group-relative RL advantage가 0에 가까워져도 OPD signal은 남을 수 있지만, skill 자체가 noisy하면 auxiliary objective가 update를 주도할 수 있다.

7. My Take

7-1. Why this matters for my work

SEED의 핵심은 natural-language reflection을 memory로 저장하는 대신, 그 reflection이 current action distribution을 어떻게 바꾸는지 측정해 parameter update로 연결한 데 있다.

Agent trajectory에는 성공 여부보다 훨씬 많은 정보가 있다. 하지만 이를 process reward로 만들려면 annotation cost가 크다. SEED는 completed trajectory를 skill로 요약하고 paired log-probability shift를 이용해 token-level signal을 얻는다. 완전한 causal credit assignment는 아니지만, terminal reward broadcast보다 구조적인 supervision을 만든다.

7-2. Reuse potential

1. Search agent
   • Successful trajectory에서 query refinement와 evidence verification rule을 추출한다.
   • 같은 search action을 skill context 유무로 re-score해 useful retrieval decision을 internalize한다.
2. Document workflow agent
   • 실패 episode에서 missing validation, wrong field mapping, premature submission을 anti-skill로 만든다.
3. Coding agent
   • Test failure 이후의 recovery trajectory에서 reproduction, patch, regression test 순서를 skill로 추출한다.
4. Offline pilot
   • 처음부터 RL loop를 만들기 어렵다면 stored trajectory에 paired re-scoring만 적용해 OPD signal quality를 먼저 분석할 수 있다.
5. Analyzer audit
   • Skill이 지지한 token과 실제 success contribution이 얼마나 일치하는지 case-level dashboard를 만들 수 있다.

7-3. Follow-up papers

• On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
• Reflexion: Language Agents with Verbal Reinforcement Learning
• Hindsight Experience Replay
• Learning to Reason via Skill Distillation
• Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

8. Summary

• SEED는 completed trajectory를 hindsight skill로 바꾸고 그 behavioral effect를 token-level OPD signal로 사용한다.
• Stage 1은 external analyzer로 skill extraction capability를 bootstrap하고, Stage 2는 latest policy를 actor와 analyzer로 동기화한다.
• Ordinary와 skill-augmented context의 paired log-probability shift를 confidence gate로 조절한다.
• Outcome RL과 dense hindsight OPD를 함께 최적화하며 inference에서는 skill prompt를 제거한다.
• 성능, sample efficiency, unseen generalization이 개선되지만 analyzer quality와 paired-forward cost는 별도 관리가 필요하다.