10 분 소요

0. Introduction

Paper link

Project page

Model collection

Demo

한 줄 요약: AREX는 deep research를 한 번의 긴 search trajectory로 끝내지 않고, inner research loop가 provisional answer를 만들면 outer loop가 constraint별로 검증해 accept, refine, restart를 반복하는 recursively self-improving agent다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Deep research의 핵심 비대칭을 answer discovery는 어렵지만 candidate verification은 상대적으로 분해 가능하다는 점에서 찾는다.
  • Search를 더 오래 하는 대신 current answer를 constraint-wise audit하고 targeted follow-up research를 실행한다.
  • Long trajectory를 generic summary가 아니라 verified evidence, unresolved constraint, rejected candidate를 보존하는 improvement state로 압축한다.
  • Agentic mid-training과 long-horizon RL을 key evidence and correction step 중심으로 설계한다.
  • Dense 4B와 122B-A10B MoE에서 broad deep-research benchmark를 함께 평가한다.

Deep-research agent는 여러 source를 탐색하고, candidate를 비교하고, 조건을 하나씩 확인한 뒤 최종 답을 만든다. 기존 방식은 주어진 context budget 안에서 한 번의 trajectory를 길게 실행하는 경우가 많다.

문제는 초반에 wrong candidate를 선택하거나 일부 constraint를 놓치면 이후 search가 그 방향을 강화할 수 있다는 점이다. 더 많은 turn을 허용해도 agent가 무엇을 다시 검증해야 하는지 모르면 같은 오류를 반복한다.

AREX는 이를 recursive self-improvement 문제로 바꾼다. 완벽한 답을 한 번에 찾는 대신, 현재 provisional answer를 만들고, 무엇이 검증되었고 무엇이 부족한지 audit한 다음, 그 gap을 새로운 research objective로 사용한다.

1. Problem Setting

1-1. Problem definition

Deep research question은 보통 여러 constraint의 conjunction으로 볼 수 있다.

\[C(x) = \bigwedge_{j=1}^{m} C_j(x)\]

Candidate $x$를 처음부터 발견하는 것은 open-ended search 문제다. 반면 특정 candidate가 $C_j$를 만족하는지 확인하는 것은 source search, date check, numeric comparison, citation verification처럼 더 좁은 subproblem으로 나눌 수 있다.

논문이 말하는 discovery-verification asymmetry는 다음과 같다.

  • Discovery: Large candidate space에서 정답을 찾는다.
  • Verification: Current candidate를 constraint별로 검사한다.
  • Refinement: Failed or unresolved constraint만 targeted search한다.

AREX trajectory는 inner and outer loop로 구성된다.

  • Inner loop: Search, browse, integrate, provisional answer construction
  • Outer loop: Constraint audit, confidence estimation, accept/refine/restart decision

1-2. Why previous approaches are insufficient

1) Single-pass search는 early commitment에 취약하다

Agent가 초반 candidate를 사실로 받아들이면 이후 query가 confirmation search로 바뀔 수 있다. Final synthesis에서만 검증하면 이미 긴 trajectory 전체가 wrong premise에 의존한 뒤다.

2) More turns가 targeted correction을 보장하지 않는다

Turn budget을 늘려도 unresolved condition을 추적하는 state가 없으면 redundant search가 늘 수 있다. Long horizon은 capability가 아니라 error accumulation을 키울 수도 있다.

3) Generic summarization은 improvement state를 보존하지 못한다

Conversation summary는 읽기 쉬운 narrative를 만들지만, 다음 research round에 필요한 rejected candidate, missing constraint, source validity issue, next action을 빠뜨릴 수 있다.

4) Final reward는 key correction step을 구분하지 못한다

Deep research trajectory가 성공했더라도 decisive evidence를 찾은 step, wrong direction을 버린 step, context를 잘 압축한 step은 소수다. Outcome reward만으로는 이 step에 충분한 signal을 주기 어렵다.

5) External summarizer는 system cost와 dependency를 늘린다

Long context를 별도 large model이 요약하게 하면 core agent의 self-management capability를 평가하기 어렵고, serving architecture도 복잡해진다.

2. Core Idea

2-1. Main contribution

AREX의 method는 네 부분으로 정리할 수 있다.

  1. Recursive self-improvement loop
    • Inner loop가 provisional answer and evidence를 만든다.
    • Outer loop가 constraint-wise audit한다.
  2. Accept, refine, restart policy
    • Confidence가 충분하면 accept한다.
    • Candidate가 recoverable하면 unresolved issue만 refine한다.
    • Premise가 무너지면 restart한다.
  3. Autonomous context update
    • Agent가 필요할 때 history를 compact improvement state로 바꾼다.
    • External model 없이 같은 model이 tool을 호출한다.
  4. Progressive training with key-step emphasis
    • Agentic mid-training을 browse-intensive, reasoning-intensive, mixed stage로 진행한다.
    • RL에서는 decisive evidence, redirect, context-update step에 bounded bonus를 준다.

2-2. Design intuition

AREX가 보존하려는 state는 generic memory가 아니라 다음 round를 위한 repair contract다.

State field 역할
Verified findings 이미 근거가 확보된 사실
Source identifiers Evidence provenance
Candidate answers 현재 고려 중인 답
Unresolved constraints 아직 확인되지 않은 조건
Validity concerns Source conflict, date, authority 문제
Rejected candidates 다시 탐색하지 않아야 할 후보와 이유
Next plan 다음 targeted research objective

이 state가 있으면 outer loop는 전체 history를 다시 읽지 않고도 다음 decision을 내릴 수 있다.

또한 refine와 restart를 구분한다.

  • Refine: Candidate core는 유지하고 missing constraint만 추가 조사한다.
  • Restart: Candidate or reasoning direction 자체가 잘못되어 새 search path를 연다.

이 구분은 long-horizon efficiency에 중요하다. 모든 low-confidence answer를 restart하면 verified progress를 버리고, 모든 answer를 refine하면 wrong premise를 오래 끌고 간다.

3. Architecture / Method

3-1. Overview

Item Description
Agent family AREX-Turbo, AREX-Base
Backbones Dense Qwen3.5-4B, Qwen3.5-122B-A10B MoE
Main loop Inner research plus outer self-improvement
Outer actions Accept, refine, restart
Context tool Autonomous update_context
Training Progressive agentic mid-training plus long-horizon RL
RL emphasis Key evidence, redirect, context-update steps
Max episode 300 inner turns plus 5 outer operations in reported setup

3-2. Module breakdown

1) Inner research loop

Inner loop는 ordinary deep-research agent처럼 작동한다.

  1. Query plan을 세운다.
  2. Search tool을 호출한다.
  3. Page를 browse한다.
  4. Evidence를 추출한다.
  5. Candidate를 비교한다.
  6. Provisional answer, evidence, confidence를 만든다.

Inner loop output은 final answer가 아니라 outer loop가 audit할 object다.

2) Constraint-wise verification

Outer loop는 question을 condition set으로 보고 provisional answer가 각 condition을 만족하는지 검사한다.

검증 결과는 단순 pass/fail이 아니다.

  • Supported
  • Unsupported
  • Contradicted
  • Ambiguous
  • Source quality concern
  • Missing evidence

Unresolved item은 다음 round의 targeted objective가 된다.

3) Confidence-gated acceptance

Agent는 finish 시 answer, evidence, confidence score를 함께 낸다. Confidence가 threshold를 넘으면 accept한다.

Threshold를 넘지 못하면 recoverability를 판단한다.

  • Evidence core가 건전하고 gap이 local하면 refine
  • Candidate core가 무너지거나 search direction이 잘못되면 restart

Maximum round 안에서 threshold를 넘는 answer가 없으면 highest-confidence result를 반환한다.

4) Autonomous context update

update_context는 agent가 tool처럼 호출한다. Full history를 compact state로 바꾸되 다음 information을 보존하도록 학습된다.

  • Verified evidence and source ID
  • Current candidate and support status
  • Unresolved constraint
  • Rejected candidate and rejection reason
  • Next search plan

이 tool은 fixed interval마다 자동 호출되는 summarizer가 아니다. Agent가 context pressure와 information structure를 보고 호출 timing을 정한다.

5) Progressive agentic mid-training

Training은 curriculum 형태다.

  1. Browse-intensive tasks
    • Search, source reading, evidence extraction을 강화한다.
  2. Reasoning-intensive tasks
    • Constraint combination, comparison, hypothesis rejection을 강화한다.
  3. Mixed-capability consolidation
    • Browsing and reasoning을 같은 trajectory에 결합한다.

Successful accepted trajectory에서 key step을 선택적으로 replay한다.

  • First decisive evidence
  • First reject or redirect
  • Important context update

Random step replay보다 learning signal이 더 task-relevant하다는 가정이다.

6) Long-horizon reinforcement learning

AREX는 group-based policy optimization을 사용하되 token-level product ratio가 long response에서 불안정해지는 문제를 줄이기 위해 step-aware ratio를 사용한다.

각 agent step의 policy ratio를 geometric mean으로 집계하고, step끼리 hierarchical average한다. Outcome advantage에 key-step bonus를 더한다.

\[A_{i,j} = A_i^{out} + \lambda_{key} \mathbf{1}[R_i > 0]B_{i,j}\]
  • $A_i^{out}$: trajectory outcome advantage
  • $B_{i,j}$: key-step indicator or score
  • Bonus는 final reward가 positive인 trajectory에만 적용

이 gating은 failed trajectory의 plausible-looking key step을 무조건 강화하는 것을 막는다.

7) Synthetic task construction

Training task는 세 범주로 구성된다.

  • Browse-intensive
  • Reasoning-intensive
  • Scientific literature

Human template와 real source에서 latent answer and constraint를 만들고, automatic verifier로 uniqueness, evidence, difficulty를 확인한다. Teacher trajectory도 같은 tool environment에서 생성하며, unsupported answer, bad tool use, low confidence를 filter한다.

4. Training / Data / Recipe

4-1. Data

AREX data pipeline은 verified synthetic task와 high-quality agent trajectory를 결합한다.

Task는 answer만 존재하면 되는 것이 아니라 다음 요소를 갖는다.

  • 동시에 만족할 수 있는 여러 constraint
  • 추적 가능한 source evidence
  • 유일하거나 명확히 제한된 answer
  • 단순 lookup으로 끝나지 않는 discovery path
  • 자동 또는 수동으로 검증 가능한 candidate check

Teacher trajectory는 successful answer만 남기는 것이 아니라 tool usage와 evidence grounding도 filter한다. Progressive stage마다 필요한 trajectory type을 다르게 배치한다.

4-2. Training strategy

Agentic mid-training

Browse-intensive에서 시작해 reasoning-intensive로 이동하고, 마지막 mixed stage에서 두 capability를 통합한다. Mixed data를 처음부터 한 번에 쓰는 baseline보다 progressive ordering이 좋다고 보고한다.

Selective key-step replay

Full trajectory를 동일 weight로 반복하는 대신 decisive step을 추가로 replay한다. Random step replay와 비교해 key-step selection의 효과를 검증한다.

Long-horizon RL

  • Outcome reward로 answer correctness and evidence quality를 반영한다.
  • Step-aware ratio로 long action segment의 update variance를 관리한다.
  • Key-step bonus를 success trajectory에만 제한한다.
  • KL penalty로 base behavior와의 divergence를 제어한다.

Inference budget

Reported deep-research setting은 episode당 최대 300 inner turn과 5 outer operation을 허용한다. 이는 일반 chat inference보다 훨씬 큰 test-time compute다. Model capability와 budget effect를 함께 해석해야 한다.

4-3. Engineering notes

1) Context state schema를 versioning해야 한다

update_context output이 free-form이면 later round가 field를 놓칠 수 있다. Verified finding, unresolved constraint, rejected candidate, next plan을 structured schema로 관리하는 것이 안전하다.

2) Source identity를 summary에서 잃지 않아야 한다

Claim text만 보존하고 URL or document ID를 버리면 final citation을 복원하기 어렵다. Evidence span과 source timestamp까지 연결하는 것이 좋다.

3) Restart는 explicit rollback이다

Restart 시 어떤 state를 버리고 어떤 global constraint를 유지할지 정해야 한다. Wrong candidate evidence를 남기면 새 round가 다시 오염되고, 모든 것을 지우면 비용이 커진다.

4) Confidence calibration이 필요하다

Self-reported confidence가 threshold decision을 지배한다. In-domain threshold가 new domain에서도 맞는지 reliability diagram과 selective accuracy로 확인해야 한다.

5) Budget-normalized comparison이 필요하다

Agent comparison에는 token, search call, page open, wall-clock, retry count를 함께 기록해야 한다. High score가 더 큰 test-time compute에서 온 것인지 구분해야 한다.

6) Key-step label leakage를 피해야 한다

Key step을 final answer를 본 teacher가 post hoc으로 고르면 training에는 useful하지만 online detectability와 차이가 생긴다. Inference-time state에서 key step을 예측할 수 있는지 별도 실험이 필요하다.

5. Evaluation

5-1. Main results

대표 benchmark 결과는 다음과 같다.

Model BrowseComp GAIA xbench DeepSearchQA WideSearch HLE
AREX-Turbo 70.7 81.6 57.0 78.5 68.5 40.6
AREX-Base 82.5 85.4 71.0 89.9 82.0 52.4

AREX-Turbo는 dense 4B, AREX-Base는 122B total and 10B active MoE다. Comparable-scale baseline보다 높은 결과를 보고하지만, table의 HLE는 full and text-only variant marker가 섞여 있어 모든 cell을 완전히 동일 조건으로 비교하면 안 된다.

Autonomous context update behavior

BrowseComp에서 reported behavior는 다음과 같다.

  • update_context 사용 비율: 전체 case의 80.3%
  • update_context 호출 시 평균 active context: 25,721 tokens
  • Model context limit: 128K
  • 가장 흔한 trigger category: strategy revision, 66.9%

update_context output에 각 field가 포함된 비율은 다음과 같다.

Field Update content share
Unresolved constraints 95.5
Next plan 96.4
Rejected candidates 81.5
Verified findings 72.1

Verified findings의 inclusion share가 72.1%로 listed field 중 가장 낮다는 점은 중요하다. 이 값은 기존 evidence의 직접적인 recall metric이라기보다 update output에 해당 category가 포함된 비율이므로, compression fidelity와 동일하게 해석하면 안 된다.

5-2. What really matters in the experiments

1) Progressive training order가 중요하다

BrowseComp ablation의 대표 결과는 다음과 같다.

Variant Score
Full AREX 82.5
Mixed training instead of progressive 77.5
Random-step replay instead of key-step replay 74.1
Standard GRPO instead of step-aware method 79.4

Progressive curriculum과 key-step replay가 모두 큰 contribution을 보인다. 특히 random-step replay가 74.1로 떨어지는 것은 extra replay count보다 어떤 step을 반복하는지가 중요하다는 근거다.

2) Hard step은 evidence acquisition만이 아니다

Reported per-step loss는 ordinary step 0.232, decisive evidence 0.277, redirect 0.298, context update 0.300이다. Wrong direction을 버리거나 state를 잘 압축하는 step이 더 어려운 learning target임을 보여준다.

3) Context compression은 free gain이 아니다

Average context를 128K보다 크게 줄이지만 verified finding preservation은 72.1%다. Compression이 cost를 줄이는 동시에 evidence loss를 만들 수 있다.

4) Score와 inference budget을 같이 봐야 한다

Maximum 300 inner turns와 5 outer operations는 strong search budget이다. Recursive loop의 algorithmic value를 보려면 equal-budget single-pass agent, no-restart agent, fixed-summary agent와 비교하는 것이 중요하다.

6. Limitations

  1. Inference budget이 매우 크다.
    • 최대 300 inner turns와 5 outer operations를 허용한다.
    • Accuracy gain 일부가 model/training보다 test-time compute에서 올 수 있다.
  2. Confidence는 self-reported and threshold-dependent다.
    • Calibration error가 accept/refine/restart decision을 바꿀 수 있다.
    • Domain shift에서 threshold 안정성이 확인되어야 한다.
  3. Synthetic task와 teacher trajectory bias가 있다.
    • Task template, source selection, teacher search style가 training distribution을 결정한다.
    • Real user request와 open-world ambiguity에서 같은 behavior가 유지되는지 추가 검증이 필요하다.
  4. Benchmark comparison 조건이 완전히 통일되지 않는다.
    • HLE full and text-only marker처럼 table cell의 evaluation variant가 다를 수 있다.
    • Model ranking보다 within-paper ablation을 더 신뢰하는 것이 안전하다.
  5. Context update가 verified evidence를 잃을 수 있다.
    • Preservation rate가 unresolved constraint보다 낮다.
    • Evidence provenance를 lossless store에 따로 유지할 필요가 있다.
  6. Refine and restart decision의 error cost가 크다.
    • Wrong restart는 useful evidence를 버리고, wrong refine은 bad premise를 유지한다.
    • Decision policy 자체의 evaluation이 더 필요하다.
  7. Training analysis가 아직 preliminary하다.
    • 논문도 key-step utility와 broader step credit assignment을 future direction으로 둔다.
    • Key-step bonus가 어떤 task family에서 일반화되는지 명확하지 않다.
  8. Search backend dependency가 남는다.
    • Model score는 web index, page access, tool latency, source availability에 영향을 받는다.

7. My Take

7-1. Why this matters for my work

AREX의 핵심은 self-improvement라는 큰 표현보다 outer loop의 state contract다. Verified evidence, unresolved constraint, rejected candidate, next plan을 분리해 관리하면 deep research를 막연한 long context problem이 아니라 iterative verification workflow로 바꿀 수 있다.

Evidence-grounded RAG agent에서도 같은 구조를 재사용할 수 있다. Final answer를 바로 생성하지 않고 provisional answer를 claim set으로 분해한 뒤, unsupported claim만 다시 retrieve하고, contradicted claim이 있으면 candidate를 restart하는 방식이다.

7-2. Reuse potential

1) Claim-level refinement loop

Final draft의 claim마다 support status를 붙이고 unsupported claim만 새로운 retrieval query로 바꿀 수 있다.

2) Lossless evidence store plus compact working state

Source text와 citation은 append-only store에 보존하고, model context에는 compact decision state만 넣는 hybrid memory가 안전하다.

3) Restart policy benchmark

Same query에서 refine, restart, continue를 각각 실행해 success, token cost, evidence retention을 비교할 수 있다.

4) Key-step supervision

Trajectory 전체를 SFT하는 대신 first decisive evidence, first contradiction recovery, final verification step을 추가 weight로 학습할 수 있다.

5) Calibrated stop rule

Self-confidence만 쓰지 않고 verifier agreement, constraint coverage, citation entailment를 결합한 acceptance score를 만들 수 있다.

7-3. Follow-up papers

  • WebGPT
  • DeepResearch Bench
  • BrowseComp
  • Search-R1
  • R1-Searcher
  • ReAct
  • Reflexion
  • Self-Refine

8. Summary

  • AREX는 discovery보다 candidate verification이 더 분해 가능하다는 비대칭에서 출발한다.
  • Inner research loop와 outer accept/refine/restart loop를 반복해 provisional answer를 개선한다.
  • Autonomous context update는 verified evidence, unresolved constraint, rejected candidate, next plan을 compact state로 보존한다.
  • Progressive mid-training, key-step replay, step-aware RL이 주요 training component다.
  • Strong benchmark 결과를 보이지만 large test-time budget, confidence calibration, synthetic trajectory bias를 함께 봐야 한다.

댓글남기기

참고