10 분 소요

0. Introduction

Paper link

Project page

Code repository

AutoResearch agent의 성능은 underlying coding model만으로 결정되지 않는다. 같은 model and evaluator를 사용해도 몇 개 branch를 열지, 어떤 attempt를 먼저 확장할지, 언제 병렬로 실행할지, 어느 line을 중단할지에 따라 discovery cost와 best result가 크게 달라진다.

이 meta-exploration policy는 보통 사람이 고정된 heuristic으로 작성한다. Fixed policy는 accumulated experience를 배우지 못하고, online optimization은 candidate policy 하나를 평가할 때마다 entire discovery run을 다시 수행해야 한다. Feedback이 느리고 비싸며, policy search space도 매우 크다.

Dream-RSI는 완료된 discovery history를 다른 방식으로 읽는다.

이미 실행한 discovery tree는 text log가 아니라, realized search space에 대한 replay simulator다.

Tree node에는 exploration decision, observation, generated candidate, execution result가 저장되어 있다. Alternative exploration policy는 같은 tree를 다른 order and stopping rule로 traverse할 수 있다. Node outcome은 이미 실행되어 있으므로 coding agent and evaluator를 다시 호출하지 않고 candidate policy를 빠르게 비교할 수 있다.

Dream-RSI는 이 replay simulator에서 policy를 여러 번 수정하고 평가한 뒤, 가장 좋은 policy 하나만 online world에 다시 배포한다. 새 online run은 이전 policy가 가지 못한 branch를 추가하고 simulator pool을 확장한다. History와 policy가 같이 진화하는 loop다.

한 줄 요약: Dream-RSI는 completed discovery tree를 realized search space의 exact replay simulator로 사용해 exploration policy를 zero-execution-cost로 offline 평가하고, 개선된 policy를 online deployment해 새로운 tree를 수집하는 meta-exploration recursive self-improvement framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Recursive self-improvement의 target을 model weight가 아니라 exploration orchestration policy로 둔다.
  • Long-horizon discovery에서 delayed feedback을 reusable replay signal로 바꾼다.
  • Underlying coding agent를 고정해 improvement source를 exploration policy에 집중한다.
  • Algorithm engineering, mathematical optimization, GPU kernel engineering의 서로 다른 search problem에 적용한다.
  • 더 많은 semantic guidance보다 exact historical replay가 나을 수 있다는 counterintuitive result를 보여준다.

1. Problem Setting

1-1. Discovery agent와 exploration policy

Discovery process를 tree $\mathcal{T}$로 보자. Node는 candidate attempt와 execution outcome을 담고, edge는 다음 exploration decision을 나타낸다.

Exploration policy $\pi$는 current history and active branches를 보고 다음 action을 정한다.

  • 어떤 branch를 확장할 것인가.
  • 몇 개 attempt를 병렬 실행할 것인가.
  • Failed line을 언제 중단할 것인가.
  • Promising candidate를 얼마나 refine할 것인가.
  • 전체 search를 언제 멈출 것인가.

Underlying coding agent는 selected branch에서 code or solution proposal을 만들고, evaluator는 runtime or score를 반환한다. Dream-RSI가 바꾸는 대상은 agent weight가 아니라 이 orchestration policy다.

1-2. Fixed exploration의 한계

1) Search landscape가 변해도 policy가 그대로다

초기에는 broad exploration이 필요하지만 strong candidate가 생기면 local refinement가 중요해질 수 있다. Fixed branch width and stopping rule은 phase transition을 반영하지 못한다.

2) 이미 실패한 direction에 compute를 반복한다

History가 쌓여도 heuristic이 바뀌지 않으면 같은 유형의 dead end에 계속 budget을 쓸 수 있다.

1-3. Online meta-policy optimization의 한계

Exploration policy 하나의 quality를 평가하려면 whole discovery process를 끝까지 실행해야 한다. Candidate policy 수가 $M$이고 one run cost가 $C$라면 naive online search는 대략 $M C$의 비용을 요구한다.

Meta-level reward는 다음 특성을 가진다.

  • Delayed
  • Expensive
  • High variance
  • Long horizon
  • Sparse

일반적인 online RL or evolutionary search를 그대로 적용하기 어렵다.

1-4. Textual reflection만으로 충분하지 않은 이유

Past trajectory를 natural-language lesson으로 요약해 prompt에 넣는 방법도 있다. 하지만 long-horizon parallel search에서는 explicit semantic guidance가 search space를 과도하게 좁힐 수 있다.

Dream-RSI experiment에서는 equal budget에서 semantic directional guidance가 unguided counterpart보다 낮은 결과를 보인다. History를 lesson으로 압축하는 것과 executable decision consequence를 replay하는 것은 다른 supervision이다.

2. Core Idea

2-1. History as replay simulator

Round $t$에서 deployed policy $\pi_t$가 online discovery tree $\mathcal{T}_t$를 만든다고 하자. Accumulated history는 다음과 같다.

\[\mathcal{H}_t = (\mathcal{T}_1,\ldots,\mathcal{T}_t)\]

Alternative policy $\pi’$는 history 안의 node만 사용해 replay된다.

\[V(\pi';\mathcal{H}_t) = \frac{1}{t} \sum_{i=1}^{t} R(\operatorname{Replay}(\pi',\mathcal{T}_i))\]

Replay는 new outcome을 예측하지 않는다. Policy가 historical tree 안에서 어떤 branch를 어떤 order로 선택했을지 계산하고, selected node의 recorded evaluator result를 재사용한다.

따라서 simulator는 realized tree 안에서는 exact하다. Learned world model처럼 outcome approximation error가 없다.

2-2. Exact하지만 complete하지 않다

Replay simulator의 범위는 history가 실제로 방문한 node에 한정된다.

  • Historical node outcome은 exact하다.
  • Unvisited action and branch outcome은 알 수 없다.
  • Current tree의 bad coverage는 offline policy evaluation도 제한한다.

이 한계 때문에 Dream-RSI는 one-shot offline optimization이 아니라 recursive loop를 사용한다. New policy를 online deployment하면 다른 region을 방문하고, 다음 round simulator가 넓어진다.

2-3. Online and offline loop

전체 process는 다음처럼 쓸 수 있다.

\[\mathcal{H}_t \xrightarrow{\operatorname{Replay}} \pi_{t+1} \xrightarrow{\operatorname{Deploy}} \mathcal{T}_{t+1}\]
  1. Online explore
    • Current policy가 coding agent를 orchestration한다.
    • New discovery tree and trace를 저장한다.
  2. Construct replay simulator
    • Completed tree를 immutable replay world로 추가한다.
  3. Dreaming-based policy improvement
    • Policy-development agent가 orchestration code를 여러 번 수정한다.
    • 모든 version을 simulator pool에서 replay한다.
  4. Redeploy
    • Replay score가 가장 좋은 policy를 다음 online round에 사용한다.

2-4. Replay score monotonicity

Offline candidate set에는 current policy $\pi_t$도 포함된다.

\[\pi_{t+1} = \arg\max_{\pi\in\mathcal{C}_t} V(\pi;\mathcal{H}_t), \qquad \pi_t\in\mathcal{C}_t\]

따라서 fixed history에 대한 replay score는 다음을 만족한다.

\[V(\pi_{t+1};\mathcal{H}_t) \ge V(\pi_t;\mathcal{H}_t)\]

이 보장은 historical replay world에만 적용된다. New online task, unvisited branch, evaluator drift에 대한 no-regression guarantee는 아니다.

3. Architecture / Method

3-1. Overview

Component Role
Underlying discovery agent Code or solution proposal 생성
Exploration policy Branching, parallelism, scheduling, stopping 결정
Evaluator Runtime, objective, kernel performance 측정
Discovery tree Attempt, observation, outcome, parent relation 저장
Replay simulator Historical tree에서 alternative policy 실행
Policy-development agent Exploration policy code 수정
Simulator pool 여러 round의 tree를 함께 평가

3-2. Lightweight orchestration layer

Exploration policy는 executable code다. Coding model의 prompt or weight를 바꾸는 것이 아니라 agent call scheduling을 조절한다.

대표 decision은 다음과 같다.

  • Active branch count
  • Attempt allocation
  • Parallel group size
  • Candidate refinement depth
  • Early stopping threshold
  • Global stopping condition

이 layer가 lightweight하기 때문에 same coding agent를 유지하면서 meta-policy effect를 분리할 수 있다.

3-3. Discovery tree representation

Tree node는 단순 text response가 아니다.

  • Parent attempt
  • Observation and prompt context
  • Generated candidate
  • Execution result
  • Objective score
  • Failure or diagnostic feedback
  • Resource cost

Replay policy는 tree 안에서 selected subtree를 만든다. Parallel execution을 선택하면 해당 group의 node cost를 모두 부담하고, early stop하면 downstream node를 읽지 않는다.

3-4. Policy development through code revision

Offline phase에서 current policy code를 시작점으로 $M$개의 revision을 만든다.

\[\pi^0=\pi_t, \pi^1, \ldots, \pi^{M-1}\]

각 revision은 simulator pool 전체에서 평가된다. Feedback은 다음 revision의 input이 된다.

  • Score per tree
  • Attempt count
  • Parallel penalty
  • Missed high-value branch
  • Premature stopping
  • Redundant exploration pattern

Final winner만 online execution cost를 지불한다.

3-5. Score design

Replay score는 discovery quality와 cost를 같이 본다. Project description은 Pareto frontier area and parallel penalty를 결합하는 형태로 설명한다.

개념적으로 다음처럼 쓸 수 있다.

\[R(\pi,\mathcal{T}) = \operatorname{QualityArea}(\pi,\mathcal{T}) - \lambda C_{\mathrm{parallel}}(\pi,\mathcal{T})\]

Exact implementation은 task별 objective and budget에 맞춰 달라질 수 있다. 중요한 점은 final best score만 최대화하지 않고 discovery trajectory의 quality-cost trade-off를 본다는 것이다.

3-6. Simulator pool across rounds

Single tree에 overfit하지 않도록 accumulated trees를 함께 replay한다. Policy는 특정 run의 lucky branch보다 여러 world에서 평균적으로 좋은 scheduling rule을 찾아야 한다.

New online round가 추가될수록 다음 정보가 늘어난다.

  • Different initialization outcome
  • New branch topology
  • New failure modes
  • New plateau location
  • New parallelism trade-off

4. Training / Data / Recipe

4-1. Weight training이 아니라 policy-code evolution이다

Dream-RSI는 underlying coding model을 gradient update하지 않는다. Self-improvement target은 exploration policy code다.

따라서 recipe는 standard SFT or RL hyperparameter보다 다음 system contract가 중요하다.

  • Tree logging completeness
  • Deterministic or reproducible evaluator
  • Replay semantics
  • Candidate policy sandbox
  • Budget accounting
  • Online and offline separation

4-2. Evaluation domains

Paper는 8 discovery tasks를 3 domains에서 다룬다.

Algorithm engineering

  • Lasso regularization path solver optimization
  • 여러 held-out dataset에서 downstream runtime 측정

Mathematical optimization

  • Sum-Difference
  • Circle Packing
  • Auto Correlation

GPU kernel engineering

  • VGG16
  • LayerNorm
  • ConvDiv
  • ConvMax

Task마다 search object and evaluator는 다르지만 exploration policy interface는 공통으로 유지한다.

4-3. Controlled baseline

Main baseline은 Recursive Fixed Exploration이다.

  • Same underlying agent
  • Same evaluator
  • Same initialization
  • Same per-round budget
  • Same initial handwritten policy
  • Exploration policy만 update하지 않음

Round 1은 같은 policy에서 시작하므로 identical by construction이다. 이후 round difference를 policy self-improvement effect로 해석하기 쉽다.

4-4. Engineering notes

1) Replay log는 append-only and immutable해야 한다

Offline policy가 historical outcome을 바꾸거나 missing node를 silently skip하면 score가 신뢰할 수 없게 된다. Node hash, evaluator version, code artifact checksum을 저장하는 것이 좋다.

2) Unvisited action을 false negative로 처리하면 안 된다

History에 없는 branch는 실패가 아니라 unknown이다. Replay engine이 unknown action을 어떻게 처리하는지 policy search bias에 큰 영향을 준다.

3) Evaluator determinism을 확인해야 한다

Runtime benchmark and GPU kernel score는 noise가 있다. Repeated measurement, warmup, environment pinning 없이 recorded outcome을 exact simulator로 재사용하면 measurement noise까지 고정된다.

4) Policy code sandbox가 필요하다

Self-modified orchestration code는 runaway parallelism, infinite loop, invalid file access를 만들 수 있다. Static check, resource limit, timeout을 적용해야 한다.

5) New world coverage metric이 필요하다

Replay score만 높이는 policy가 historical tree의 high-score branch만 exploitation할 수 있다. Online round에서 new node coverage and novelty를 함께 측정해야 한다.

6) Cost ledger를 role별로 분리해야 한다

  • Coding agent calls
  • Evaluator executions
  • Policy-development model calls
  • Replay computation
  • Wall-clock and parallel resources

Zero execution cost replay도 policy-development model inference cost는 남는다.

5. Evaluation

5-1. Algorithm engineering

Lasso solver task에서 Dream-RSI는 Recursive Fixed Exploration보다 downstream runtime을 줄이면서 discovery calls도 줄인다.

Project summary는 Gemini 3.1 Pro setting에서 다음 headline을 보고한다.

  • About 1.22x faster downstream runtime
  • About 1.74x less discovery compute
  • SimpleTES 대비 up to 162x fewer discovery-agent calls

여기서 SimpleTES comparison은 model, search interface, total setup이 fixed-exploration baseline과 완전히 같은 paired comparison이 아니다. Controlled claim은 Recursive Fixed Exploration comparison에 두는 편이 안전하다.

5-2. Mathematical optimization

Three tasks 중 두 task에서 selected baseline과 같거나 높은 result를 보고한다.

  • Sum-Difference: strong improvement
  • Circle Packing: strong improvement
  • Auto Correlation: selected baseline을 일관되게 이기지 못함

모든 discovery domain에서 무조건 winner가 아니라는 점이 중요하다. Replay world quality and search landscape에 따라 gain이 달라진다.

5-3. GPU kernel engineering

Headline result는 다음과 같다.

  • VGG16: comparable performance에서 2.43x fewer generations
  • LayerNorm: 1.79x fewer generations at comparable performance
  • ConvDiv: comparable budget에서 2.09x higher performance
  • ConvMax: 1.44x higher performance

Kernel task는 evaluator가 executable and numeric이어서 replay tree를 만들기 좋은 setting이다. 그러나 hardware noise and kernel compilation cache를 엄격히 관리해야 한다.

5-4. Learned exploration behavior

ConvDiv analysis에서 policy는 단순히 branch를 계속 줄이거나 늘리지 않는다.

  • 초기 performance가 올라갈 때 evaluated attempts를 110에서 50 수준으로 줄인다.
  • Progress가 plateau에 도달하면 다시 exploration budget을 늘린다.
  • Broader search 이후 next performance jump가 나타난다.

이는 static breadth or depth rule보다 phase-adaptive orchestration이 유용할 수 있음을 보여준다.

5-5. Semantic guidance ablation

Past trajectory를 high-level directional insight로 요약해 prompt에 넣는 explicit guidance는 equal budget에서 unguided version보다 낮다.

가능한 해석은 다음과 같다.

  • Semantic summary가 branch diversity를 줄인다.
  • Early hypothesis가 strong prior로 고정된다.
  • Parallel threads의 heterogeneous failure를 한 문장으로 압축한다.
  • Exact outcome structure보다 information density가 낮다.

이 결과는 reflection이 항상 나쁘다는 뜻이 아니다. Long-horizon discovery에서는 abstract lesson보다 executable replay가 더 faithful한 feedback일 수 있다는 evidence다.

6. Limitations

  1. Replay simulator는 realized search space에만 exact하다.
    • Historical tree 밖의 policy action을 평가할 수 없다.
  2. Offline monotonicity는 online guarantee가 아니다.
    • Replay score가 no worse여도 new world에서는 더 나쁠 수 있다.
  3. Historical coverage bias를 강화할 수 있다.
    • Early policy가 방문하지 않은 promising region은 simulator에 존재하지 않는다.
  4. Underlying coding agent는 개선되지 않는다.
    • Discovery capability gain은 orchestration layer에 한정된다.
  5. Task scope가 8 tasks and 3 domains로 제한된다.
    • Software engineering repository task, scientific experiment, browser research로 확장 검증이 필요하다.
  6. Full code release 상태를 확인해야 한다.
    • Public repository는 paper and project materials를 제공하지만 reproduction code는 release plan에 따라 단계적으로 공개되는 상태다.
  7. Evaluator noise가 replay world에 고정된다.
    • Runtime measurement error or flaky execution이 repeated offline evaluation에서 사실처럼 재사용될 수 있다.
  8. Policy-development inference cost가 있다.
    • Zero execution cost는 coding agent and evaluator replay에 대한 표현이지 전체 offline optimization이 무료라는 뜻은 아니다.

7. My Take

7-1. Why this matters for my work

Dream-RSI의 가장 날카로운 아이디어는 long agent trajectory를 training text보다 counterfactual execution structure로 본다는 점이다.

많은 agent system은 history를 summary, memory, SFT data로 바꾼다. Dream-RSI는 history 안에 이미 alternative scheduling policy를 비교할 수 있는 partial world가 들어 있다고 본다. 특히 expensive executable evaluation이 있는 auto-optimization task에서는 이 접근이 매우 실용적이다.

7-2. Reuse potential

1) Experiment scheduling policy

ML experiment history를 tree로 저장하면 어떤 run family를 expand하고 언제 early stop할지 offline replay할 수 있다.

2) Research agent branching

Literature search agent가 만든 query-result tree에서 alternative query scheduling and stopping policy를 replay할 수 있다.

3) Data generation pipeline

Synthetic data generation에서 prompt family, verifier, rejection path를 tree로 기록하고 next batch allocation policy를 개선할 수 있다.

4) Benchmark construction

Task synthesis and filtering history를 replay해 which candidate family deserves more generation budget를 학습할 수 있다.

5) Hybrid replay plus learned generalization

Exact historical replay와 learned predictor를 결합하되 known node는 replay, unseen branch만 uncertainty-aware model로 estimate하는 extension을 생각할 수 있다.

7-3. Follow-up papers

  • AlphaEvolve
  • FunSearch
  • SimpleTES
  • Meta-Harness
  • Automated Design of Agentic Systems
  • Darwin Godel Machine
  • OpenForgeRL

8. Summary

  • Dream-RSI는 recursive self-improvement를 exploration orchestration policy에 적용한다.
  • Completed discovery tree를 realized search space의 exact replay simulator로 사용한다.
  • Thousands of candidate policy를 offline replay하고 winner 하나만 online deployment한다.
  • Algorithm, math optimization, GPU kernel task에서 competitive quality와 lower discovery cost를 보고한다.
  • 핵심 한계는 replay가 historical coverage 밖의 branch를 평가하지 못하고 offline no-regression이 online generalization을 보장하지 않는다는 점이다.

댓글남기기

참고