8 분 소요

0. Introduction

Paper link

The Red Queen Godel Machine, 이하 RQGM은 self-improving agent 연구에서 굉장히 중요한 가정을 건드린다. 기존 recursive self-improvement나 agent search는 대개 fixed evaluator를 둔다. Benchmark, verifier, labeled dataset, reward model이 일정하다고 가정하고, agent가 그 기준을 더 잘 만족하도록 search한다.

하지만 실제 evolution은 그렇지 않다. Agent가 강해지면 evaluator의 빈틈을 찾고, benchmark가 saturation되고, reward proxy가 exploit된다. Coding agent가 unit tests를 넘어 verifier loophole을 찾는 것과 비슷하다. 그러면 evaluator도 같이 바뀌어야 한다. RQGM의 핵심은 self-improvement loop 안에 evaluation evolution을 넣는 것이다.

논문은 이를 controlled utility evolution으로 정리한다. Epoch 내부에서는 fixed utility로 search한다. Epoch boundary에서는 utility 자체가 update될 수 있다. 이렇게 하면 한 epoch 안에서는 기존 self-improvement guarantee를 유지하면서, epoch 사이에서는 non-stationary objective를 다룰 수 있다.

한 줄 요약: RQGM은 recursive self-improvement에서 evaluator를 고정하지 않고, epochs 안에서는 fixed utility로 agent search를 수행하되 epoch boundary에서 evaluator, adversarial objective, dynamic utility를 업데이트해 agent와 evaluator가 함께 진화하도록 만드는 controlled utility evolution framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Self-improving agents의 hidden assumption인 stationary evaluation criterion을 정면으로 문제 삼는다.
  • Verification Horizon 논문과 비슷하게 “verifier도 policy와 함께 진화해야 한다”는 관점을 recursive self-improvement 이론 쪽으로 확장한다.
  • Coding tasks, scientific paper writing/reviewing, Olympiad-level proof writing/grading에 같은 framework를 적용한다.
  • Agent-as-a-judge code-review signal이 test pass rate를 높이면서 token use를 줄일 수 있음을 보고한다.
  • Reviewer over-acceptance of AI-generated papers를 adversarial objective로 교정하는 예시를 제시한다.
  • Evaluation을 target이 아니라 co-evolving environment로 보는 agent research 방향을 명확히 보여준다.

이 글에서는 RQGM을 “또 하나의 self-improving agent”보다, agent improvement와 evaluator improvement를 한 loop로 묶는 non-stationary utility framework로 읽는다.

1. Problem Setting

1-1. Problem definition

Self-improving agent는 보통 candidate policy나 solution을 search하고, fixed evaluator로 점수를 매긴다.

\[a_{t+1} = \mathrm{Improve}(a_t, U)\]

여기서 $U$는 fixed utility function이다. 문제는 $U$가 시간이 지나도 valid하다는 보장이 없다는 점이다.

Agent가 강해질수록 다음 일이 생긴다.

  • benchmark saturation
  • reward hacking
  • verifier loophole discovery
  • evaluator bias exploitation
  • static rubric misalignment
  • distribution shift from stronger agents

즉 utility 자체가 함께 진화해야 한다.

\[U_{e+1} = \mathrm{UpdateUtility}(U_e, a_e, \mathcal{F}_e)\]

여기서 $e$는 epoch이고, $\mathcal{F}_e$는 현재 failure, adversarial case, 새 evaluator에서 얻은 feedback을 의미한다.

문제는 $U$를 진화시키되 self-improvement reasoning 자체를 무너뜨리지 않는 것이다. Utility가 매 step마다 바뀌면 무엇이 improvement인지 정의하기 어렵다. RQGM은 각 epoch 안에서는 utility를 고정하고, epoch boundary에서만 utility를 업데이트하는 방식으로 이 문제를 푼다.

1-2. Why previous approaches are insufficient

1) Fixed verifier assumption

많은 coding agent method는 test나 benchmark label이 계속 유효하다고 가정한다. 하지만 agent가 그 기준을 직접 최적화하기 시작하면 fixed verifier는 exploit되거나 saturation될 수 있다.

2) Static benchmark limitation

Static benchmark는 agent가 그 distribution을 학습하기 전까지는 progress를 측정할 수 있다. 그러나 benchmark 자체는 새로운 압력을 만들지 않는다. Evolution에는 움직이는 environment가 필요하다.

3) Reward model stationarity

한 capability level에서 학습된 reward model은 agent가 더 strategic하고 persuasive하며 adversarial해지면 실패할 수 있다. Evaluator도 함께 업데이트되어야 한다.

4) No clean guarantee under continuous objective drift

Objective가 계속 바뀌면 improvement claim은 의미를 잃는다. Controlled utility evolution은 epoch 안의 evaluation을 안정적으로 유지하면서, epoch 사이에서는 dynamic adaptation을 허용한다.

2. Core Idea

2-1. Main contribution

RQGM의 기여는 다음과 같다.

  1. Controlled utility evolution
    • Epoch 안에서는 evaluation criterion을 고정한다.
    • Epoch boundary에서 utility update를 허용한다.
    • Non-stationary objective를 허용하면서도 epoch 단위의 improvement guarantee를 보존한다.
  2. Evaluator co-evolution
    • Search space에 agent뿐 아니라 evaluator, judge, adversarial objective, dynamic utility도 포함한다.
  3. Cross-domain demonstrations
    • Agent-as-a-judge code review signal을 사용하는 coding task
    • Scientific paper writing and reviewing
    • Olympiad-level proof writing and grading
  4. Adversarial reviewer objective
    • AI work와 human work에 똑같이 엄격한 reviewer policy를 찾는다.
    • AI-generated paper를 과도하게 accept하는 bias를 다룬다.

2-2. Design intuition

Red Queen metaphor가 적절한 이유는 단순하다. 계속 개선하려면 agent가 고정된 환경이 아니라 함께 변하는 환경 안에서 움직여야 한다.

Fixed evaluator는 결국 너무 약해진다. 반대로 evaluator가 너무 빠르게 바뀌면 learning 자체가 불안정해진다. RQGM은 그 중간 지점을 선택한다.

epoch e:
  fix utility U_e
  search agent improvements under U_e
  collect failures and evaluator weaknesses

epoch boundary:
  update utility to U_{e+1}
  optionally update evaluator or adversarial objective

이는 curriculum learning, red-team evaluation, co-evolution과 닮았지만, RQGM은 이를 controlled utility update가 포함된 recursive self-improvement framework로 정식화한다.

3. Architecture / Method

3-1. Overview

Item Description
Goal Non-stationary utility 아래에서 recursive self-improvement 수행
Core mechanism Controlled utility evolution
Time structure Epoch 안에서는 utility를 고정
Utility update Epoch boundary에서 허용
Evolving components Agents, evaluators, adversarial objectives, dynamic utilities
Domains Coding, scientific writing/reviewing, Olympiad proof writing/grading
Main motivation Agent가 개선될수록 static evaluator가 실패함

3-2. Module breakdown

한 epoch 안에서 framework는 현재 utility $U_e$ 아래에서 개선된 agent variant를 search한다.

\[a' = \arg\max_{a \in \mathcal{A}_e} U_e(a)\]

Candidate agent는 prompt, tool policy, critique strategy, code-review behavior, writing/reviewing strategy가 다를 수 있다.

2) Fixed within-epoch utility

하나의 epoch 안에서는 objective가 고정된다. 그래야 improvement를 비교할 수 있다.

\[U_e(a_{e+1}) \geq U_e(a_e)\]

정확한 guarantee는 search procedure와 acceptance rule에 달려 있다. 핵심은 비교가 같은 utility 아래에서 이루어진다는 점이다.

3) Utility evolution

Epoch boundary에서는 utility가 바뀔 수 있다.

\[U_{e+1} = \mathcal{T} \left( U_e, a_{e+1}, E_e \right)\]

여기서 $E_e$는 failure, adversarial case, new judge signal, evaluator bias audit을 포함할 수 있다.

4) Agent-as-a-judge review signal

Coding task에서 RQGM은 test-based evaluation 위에 complementary code-review signal을 추가한다. 논문은 이 방식이 prior SOTA보다 test pass rate를 높이고, token 사용량은 1.35x-1.72x 줄인다고 보고한다.

중요한 점은 단순히 “LLM judge를 하나 추가한다”가 아니다. Evaluator signal이 evolve하면서 search loop의 일부가 된다는 점이다.

5) Adversarial evaluator objective

Scientific reviewing에서는 strongest baseline reviewer가 AI-generated paper를 human paper 대비 최대 1.91x 더 많이 accept한다는 결과가 나온다. RQGM은 AI work와 human work에 equally stringent한 reviewer policy를 찾기 위해 adversarial objective를 도입한다.

이는 evaluator co-evolution의 구체적인 예다. Evaluator는 고정된 채로 남지 않고, 발견된 bias를 교정하도록 objective가 바뀐다.

4. Training / Data / Recipe

4-1. Domains

논문은 RQGM을 크게 세 domain에 적용한다.

Domain Agent role Evaluator role
Coding Coding task 해결 Test와 code-review judge
Scientific paper writing/reviewing Paper 작성 또는 review Diverse agent-as-a-judge panel
Olympiad proof writing/grading Proof 작성 또는 grading Grading accuracy와 proof quality

4-2. Controlled utility recipe

일반적인 recipe는 다음과 같다.

  1. Agent와 utility를 초기화한다.
  2. Fixed utility 아래에서 epoch 내부 search를 수행한다.
  3. Epoch utility 기준으로 improvement를 accept한다.
  4. Evaluator failure, bias, saturation을 audit한다.
  5. Epoch boundary에서 utility를 update한다.
  6. 이 과정을 반복한다.

이 구조가 controlled non-stationary loop를 만든다.

4-3. Engineering notes

  1. Objective를 매 step 업데이트하지 않는다
    • Epoch 안의 evaluation 기준은 고정해 둔다.
  2. Evaluator version을 기록한다
    • Utility evolution은 나중에 추적하고 감사할 수 있어야 한다.
  3. Agent improvement와 utility update를 분리한다
    • 그렇지 않으면 무엇이 improvement인지 모호해진다.
  4. Evaluator bias에는 adversarial objective를 사용한다
    • Evaluator에서 발견된 bias는 다음 utility를 바꾸는 압력으로 들어가야 한다.
  5. Token cost를 측정한다
    • Evolved evaluator는 품질을 높이는 동시에 compute를 줄일 수도 있다.
  6. Evaluator overfitting을 피한다
    • Evaluator가 현재 agent에게 유리한 방향으로만 바뀌면 co-evolution은 self-confirmation으로 무너진다.

5. Evaluation

5-1. Coding tasks

논문은 complementary agent-as-a-judge code-review signal을 추가해 RQGM이 prior SOTA보다 test pass rate를 개선한다고 보고한다. 또한 RQGM은 token을 1.35x-1.72x 적게 사용해 이 signal이 더 저렴하다고 보고한다.

이 결과는 coding agent verification과 연결된다. Test만으로는 유용하지만 불완전하다. Code-review signal은 추가 evaluator pressure를 제공할 수 있다.

5-2. Scientific paper writing and reviewing

Scientific paper writing에서는 co-evolved writer가 diverse agent-as-a-judge panel 아래에서 1.78x-1.86x 높은 acceptance rate를 보인다.

Paper reviewing에서는 strongest baseline reviewer가 AI-generated paper를 human paper 대비 최대 1.91x 더 많이 accept한다. RQGM은 AI work와 human work에 equally stringent한 reviewer를 찾는 adversarial objective로 이를 교정한다.

개념적으로 가장 흥미로운 결과는 이 부분이다. Evaluator evolution이 특정 evaluator bias를 직접 다룰 수 있음을 보여주기 때문이다.

5-3. Olympiad proof writing and grading

논문은 co-evolved grader가 9% 높은 ground-truth accuracy를 보인다고 보고한다. 이는 grader quality가 중요한 formal 또는 semi-formal reasoning task에서 evaluator co-evolution이 도움이 될 수 있음을 시사한다.

5-4. What really matters in the experiments

1) Evaluation 자체가 search space의 일부가 된다

Evolving object는 agent만이 아니다. Reviewer, grader, utility, adversarial objective도 함께 evolve할 수 있다.

2) Fixed benchmark success만으로는 부족하다

System은 fixed evaluator에서는 개선되면서도 broader quality와는 misaligned될 수 있다. Evaluator bias는 발견되고 교정되어야 한다.

3) Epoch structure가 핵심이다

Epoch 안의 utility가 고정되지 않으면 improvement를 정의하기 어렵다. 반대로 epoch 사이 update가 없으면 evaluator가 오래되어 약해진다.

4) Cost도 evaluator design의 일부다

RQGM의 coding result는 token 사용량 감소도 보고한다. 이는 evaluator evolution이 quality뿐 아니라 compute에도 영향을 줄 수 있음을 보여준다.

6. Limitations

  1. Evaluation detail은 세심하게 읽어야 한다
    • Abstract는 강한 상대 개선을 보고하지만, 재현 전에는 정확한 dataset, baseline, judging setup을 확인해야 한다.
  2. Agent-as-a-judge는 여전히 틀릴 수 있다
    • Evolving evaluator는 새로운 bias를 만들 수 있다.
  3. Utility update policy가 중요하다
    • 잘못된 utility update는 목표를 도움이 되지 않는 방향으로 움직일 수 있다.
  4. Co-evolution은 과적응될 수 있다
    • Diversity와 external check가 약하면 agent와 evaluator가 서로에게 과적응하거나 사실상 담합할 수 있다.
  5. Scientific paper acceptance는 ground truth가 아니다
    • Agent-as-a-judge panel의 acceptance는 유용한 signal이지만 실제 peer review와 동일하지는 않다.
  6. Adversarial objective가 너무 좁을 수 있다
    • AI paper와 human paper에 같은 엄격함을 적용하는 것은 하나의 bias를 다루는 것이지, 모든 reviewer quality issue를 해결하는 것은 아니다.
  7. Proof grading에는 formal validation이 필요하다
    • Ground-truth accuracy가 9% 높다는 결과는 promising하지만, benchmark와 proof correctness 정의가 중요하다.
  8. 운영 복잡도가 크다
    • Evolving utility, evaluator version, audit log를 유지하려면 infrastructure 부담이 크다.
  9. Safety governance가 필요하다
    • Evolving utility 아래의 recursive self-improvement에는 명백한 governance risk가 있다.
    • Human oversight와 external evaluation은 여전히 필요하다.
  10. 이론적 보장은 epoch 단위 claim이다
    • Epoch 사이에 utility가 바뀌므로, 하나의 fixed objective 아래에서 global monotonic improvement를 보장한다는 주장은 아니다.

7. My Take

7-1. Why this matters for my work

RQGM의 핵심은 self-improvement보다 evaluator non-stationarity를 핵심 설계 대상으로 만든 것이다.

Agent research는 evaluation을 종종 배경에 고정된 장치처럼 다룬다. 하지만 agent가 강해질수록 evaluator weakness는 exploit 가능한 resource가 된다. Evaluator는 움직이고, audit되며, versioning되는 component가 되어야 한다.

이는 coding reward hacking과 Verification Horizon이 말하는 교훈과 같지만, 그 관점을 recursive self-improvement로 밀어붙인 형태다.

7-2. Reuse potential

Coding agent RL

Test는 utility component 중 하나가 될 수 있다. Code review, trajectory monitor, exploit detector, human patch review는 별도 evaluator module로 진화할 수 있다.

Scientific agent evaluation

Paper-writing and reviewing agent에는 evaluator diversity가 필요하다. 특정 reviewer가 AI-generated work를 과도하게 accept한다면, adversarial utility로 더 균형 잡힌 reviewer를 만들 수 있다.

Benchmark maintenance

Benchmark는 static leaderboard에 머물러서는 안 된다. Evaluator update process, adversarial case, new utility version을 포함해야 한다.

Process reward design

Process reward model은 policy와 함께 evolve할 수 있지만, self-confirmation loop를 피하려면 external sanity check가 필요하다.

7-3. Production considerations

  • 모든 evaluator와 utility를 versioning한다.
  • Release decision을 비교 가능하게 하려면 fixed evaluation window를 유지한다.
  • Evaluator는 planned boundary에서만 update한다.
  • 너무 빠르게 co-evolve하지 않는 external holdout test를 유지한다.
  • 단일 judge가 아니라 diverse evaluator panel을 사용한다.
  • Policy improvement 이후 evaluator bias를 audit한다.
  • Token cost와 evaluator latency를 utility design의 일부로 기록한다.
  • Utility change에는 human governance를 추가한다.

7-4. Follow-up papers

  • Godel Machine
  • Red Queen hypothesis in evolutionary systems
  • Self-improving coding agents
  • Verification Horizon
  • Reward hacking and specification gaming
  • Agent-as-a-judge evaluation papers
  • AI Scientist and AI Scientist-v2
  • Automated theorem proving and proof grading papers

8. Summary

  • RQGM은 evolving evaluator 아래의 recursive self-improvement를 다룬다.
  • Utility는 epoch 안에서 고정되고, epoch boundary에서 update된다.
  • 이 구조는 non-stationary objective를 허용하면서도 per-epoch improvement를 유지한다.
  • Framework는 coding, scientific writing/reviewing, proof grading에서 평가된다.
  • 핵심 교훈은 agent와 evaluator가 명시적인 governance 아래 함께 co-evolve해야 한다는 점이다.

댓글남기기

참고