13 분 소요

0. Introduction

Paper link

Project page

Code link

AutoResearch agent를 여러 개 병렬로 실행하면 research throughput이 자동으로 늘어날 것처럼 보인다. 실제로는 각 session이 비슷한 baseline을 다시 읽고, 이미 실패한 hypothesis를 다시 시도하고, 다른 worker의 result를 믿어야 하는지 알지 못해 duplicated search가 늘 수 있다. Transcript or shared folder만으로는 어떤 result가 무엇을 기반으로 했는지, 누가 독립적으로 재현했는지, 어느 branch가 아직 탐색되지 않았는지 추적하기 어렵다.

Agora는 multi-agent conversation framework보다 research memory infrastructure에 가깝다. Result, failure, hypothesis, verification, report를 append-only Git commit으로 저장한다. Commit parent는 contribution이 어떤 prior work를 기반으로 하는지 나타낸다. Derived index는 frontier, neglected branch, reuse, reproduction, contested verification을 searchable view로 만든다.

이 논문의 강점은 platform abstraction만 제시하고 끝나지 않는다는 점이다. 13 language-model workers를 nearly 12 days 동안 실행해 하나의 weight-transfer problem을 연구하게 했다. Central planner or assigned subtask 없이 worker가 shared graph를 읽고 experiment를 선택했다. 동시에 paper는 이 run 하나가 collective intelligence advantage를 증명하지 않는다는 boundary도 명시한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Agent memory를 conversation summary가 아니라 immutable contribution graph로 설계한다.
  • Claim and code를 같은 commit artifact에 묶어 checkout and reproduction을 mechanical operation으로 만든다.
  • Independent reuse and reproduction을 evidence score에 반영하고 self-citation을 제외한다.
  • Leading result와 underexplored branch를 함께 추천하는 diversity-aware analysis view를 제공한다.
  • Sustained run에서 monoculture, parallel rediscovery, plateau, human intervention까지 숨기지 않고 보고한다.

한 줄 요약: Agora는 autonomous research contribution을 Git-backed append-only DAG로 기록하고 evidence and diversity-aware views로 worker의 experiment selection을 돕는 shared memory system이며, 13 workers의 12-day weight-transfer run을 통해 provenance and coordination의 가능성과 search concentration의 한계를 함께 보여준다.

1. Problem Setting

1-1. Parallel agents do not automatically accumulate knowledge

Independent agent $a_k$가 research state $s_k$에서 experiment $e_k$를 선택한다고 하자. Shared state가 없으면 각 worker는 자신의 transcript and workspace만 본다.

\[e_k \sim \pi_k(e \mid s_k)\]

Worker 수를 늘려도 prior failure, negative result, unverified claim을 공유하지 못하면 effective search coverage는 worker count만큼 늘지 않는다.

Typical failure는 다음과 같다.

  • Same baseline and hyperparameter를 여러 worker가 반복한다.
  • Good result를 copy하지만 exact code and dependency를 잃는다.
  • Failed branch가 기록되지 않아 다시 시도된다.
  • One early winner에 all workers가 몰려 alternative approach가 사라진다.
  • Reproduction and extension이 같은 종류의 support처럼 섞인다.
  • Human이 lineage and evidence를 나중에 복원해야 한다.

1-2. Why chat-based multi-agent coordination is insufficient

1) Conversation is not durable research state

Long transcript는 what happened를 설명할 수 있지만 executable artifact and exact parent dependency를 강하게 보장하지 않는다. Summary는 negative result or implementation detail을 잃을 수 있다.

2) Shared filesystem has weak provenance

File overwrite 방식은 current best artifact는 남기지만, 어떤 contribution이 어떤 parent에서 나왔는지, 누가 무엇을 바꿨는지 명확하지 않을 수 있다.

3) Leaderboard encourages exploitation only

Single score ranking은 current leader extension을 장려한다. Underexplored branch, contested claim, verification need를 별도 signal로 노출하지 않으면 monoculture가 생긴다.

4) Citation count is not evidence quality

A result가 많이 reference되었다고 correct하다는 뜻은 아니다. Same account의 self-reuse and independent reproduction을 구분해야 한다.

5) Central planner becomes a bottleneck

Planner가 모든 task allocation and synthesis를 담당하면 planner quality, context budget, single point of failure에 의존한다. Agora는 worker가 shared record를 읽고 own experiment를 선택하게 한다.

2. Core Idea

2-1. Research contribution as an immutable Git commit

Agora에서 basic unit은 message가 아니라 contribution commit이다.

Contribution type은 다음을 포함할 수 있다.

  • Result
  • Negative result
  • Hypothesis
  • Insight
  • Reproduction
  • Verification
  • Report

Commit은 code, metadata, score, artifact reference, author, parent relationship을 함께 가진다. Parent edge는 simple chronology가 아니라 builds on relation을 표현한다.

Contribution graph를 $G=(V,E)$라고 하자.

  • $v \in V$: immutable research contribution
  • $(u,v) \in E$: contribution $v$가 $u$를 기반으로 함

Research state는 latest transcript가 아니라 entire DAG다.

2-2. Git for storage, database for views

Git은 immutable content-addressed history and checkout을 제공한다. 하지만 graph query, score aggregation, frontier analysis에는 relational index가 더 편리하다.

Agora는 두 layer를 분리한다.

  1. Source of truth
    • Git commits and parent edges
    • Rebuildable immutable contribution history
  2. Derived operational index
    • SQLite contribution index
    • Search, frontier, reuse, verification, recommendation views

Derived database가 손상되어도 Git에서 rebuild할 수 있다. 다만 authentication and project metadata는 별도 database backup이 필요하다. Git이 entire operational state를 모두 대체하는 것은 아니다.

2-3. Evidence score from independent reuse and reproduction

Agora는 parent contribution이 다른 worker에게 얼마나 재사용되고 독립적으로 검증되었는지 evidence signal로 사용한다.

Conceptual score는 다음처럼 볼 수 있다.

\[E(v) = w_r R_{ind}(v) + w_u U_{ind}(v) - w_c C(v)\]
  • $R_{ind}$: independent reproduction support
  • $U_{ind}$: independent reuse or extension
  • $C$: contested or failed verification signal
  • Same-account self-citation은 evidence accumulation에서 제외

Paper implementation의 exact formula and normalization은 project code를 확인해야 하지만, design principle은 popularity and independent evidence를 분리하는 것이다.

2-4. analyze() as a research-navigation interface

Worker는 one API call로 shared graph의 current state를 본다.

  • Leading result
  • Frequently reused contribution
  • Open hypothesis
  • Contested verification
  • Neglected branch
  • Underexplored cluster

Recommendation은 best score만 내지 않는다. UCB-style rule로 exploitation and exploration을 함께 반영한다.

Conceptually, contribution or branch $b$의 selection score는 아래와 유사하다.

\[UCB(b) = \hat{\mu}_b + \kappa \sqrt{ \frac{\log N}{n_b+1} }\]
  • $\hat{\mu}_b$: observed utility or evidence
  • $n_b$: branch exploration count
  • $N$: total activity
  • $\kappa$: exploration strength

Agora는 여기에 diversity information을 추가해 all workers가 one lineage에만 몰리는 것을 줄이려 한다.

2-5. Project defines the contract, Agora stores the process

Agora 자체가 evaluator or research objective를 정하지 않는다. Each project가 아래를 정의한다.

  • Task instruction
  • Allowed resources
  • Metric and evaluator
  • Required artifact
  • Safety boundary
  • Submission interface

Agora는 contribution state, provenance, evidence, recommendation을 제공한다. 이 separation 덕분에 weight transfer 이외의 code optimization, benchmark analysis, model training study에도 적용할 수 있다.

3. Architecture / Method

3-1. Overview

Component Role
Git contribution store Immutable code, metadata, parent lineage
Contribution DAG Builds-on relation and research ancestry
SQLite index Searchable operational views reconstructed from Git
Evidence scoring Independent reproduction and reuse tracking
analyze() Leading, contested, open, neglected research state summary
Diversity-aware recommendation Exploitation and underexplored branch balance
Project contract Task, metric, artifacts, permissions, safety

3-2. Worker loop

Worker session은 다음 loop를 따른다.

  1. Pull latest contribution graph.
  2. Call analyze() or query specific branch.
  3. Select a leading or neglected contribution.
  4. Checkout parent commit.
  5. Run experiment or analysis.
  6. Package code, result, metadata, and explanation.
  7. Commit with explicit parent edges.
  8. Optionally reproduce another contribution.
  9. Budget이 끝날 때까지 반복한다.

Worker들은 conversation history or writable workspace를 공유하지 않는다. 공유되는 state는 contribution graph and derived index다.

3-3. Multi-parent contribution

Research progress는 independent branch를 결합하는 경우가 많다. Git commit은 여러 parent를 가질 수 있고, Agora는 이를 synthesis relation으로 사용한다.

  • Parent A: embedding initialization method
  • Parent B: attention edit
  • Parent C: SSM edit
  • Child: combined transfer function

At cutoff, graph에는 149 multi-parent nodes가 있었다. Multi-parent ancestry is important because final method is rarely one linear chain.

3-4. Verification and reproduction

Reproduction contribution은 target result를 참조하고 artifact or method를 독립적으로 실행한다. 다른 account가 result를 재현할수록 evidence가 강해진다.

Paper run reports 165 reproductions across 95 targets and no reported failures. This is strong provenance evidence, but no reported failures does not mean every possible condition was reproduced. Same evaluator, environment, and project contract boundary 안의 result다.

3-5. Auditability

각 claim이 checkout 가능한 commit이므로 human auditor는 다음 항목을 검사할 수 있다.

  • Exact parent
  • Code diff
  • Evaluation output
  • Author and timestamp
  • Reproduction history
  • Downstream reuse
  • Alternative branch

Research narrative는 agent transcript만이 아니라 graph에서 재구성할 수 있다.

4. Training / Data / Recipe

4-1. The sustained weight-transfer task

Agora의 first sustained run은 training-free model initialization problem이다.

Target model:

  • 119,572,320 parameters
  • 14 layers
  • Hidden size 672
  • 7 attention heads
  • Attention and SSM hybrid
  • Architecture dimensions match none of the donors
  • Frozen evaluator model after transfer

Available donors:

  • 141 pretrained open-weight models
  • 32 architecture families
  • Total 534 GB

Restrictions:

  • No target training data
  • No gradient update
  • No pretraining or finetuning
  • Evaluator modification forbidden
  • Participant submits transfer(model, config)

Evaluator는 200개 FineWeb-Edu text를 사용하고 bits per byte를 보고하며, 낮을수록 좋다.

4-2. Community setup

  • 13 language-model workers
  • Nearly 12 days
  • No assigned subtask
  • No central planner
  • Shared project brief, evaluator, donor models, and Agora graph
  • Workers choose own experiment

Cutoff 시점 graph의 규모는 다음과 같다.

Item Count
Contributions 1,703
Parent edges 1,894
Multi-parent nodes 149
Workers in run 13
Accounts in best ancestry 15
Independent reproductions 165

Best ancestry가 worker count보다 많은 account를 포함하는 이유는 contribution authorship and system account composition을 paper record 기준으로 봐야 한다. Exact account definition은 graph metadata를 확인하는 편이 안전하다.

4-3. Winning method Stage A: donor predictions, not donor weights

Best method는 architecture mismatch 때문에 donor parameter를 직접 copy하는 대신 donor next-token statistics를 사용한다.

  1. GPT-2 vocabulary를 공유하는 six donors를 선택한다.
  2. 28 single-token contexts에서 next-token log-probability를 query한다.
  3. Donor log-softmax statistics를 blend한다.
  4. $50,257 \times 50,257$ bigram-like table을 만든다.
  5. Table을 center한다.
  6. Randomized SVD로 rank 671 factorization을 수행한다.
  7. Left and right factors를 target input embedding and output head에 배치한다.
  8. Residual sublayer는 일단 zero initialization한다.

Conceptually centered matrix $M$에 대해 다음 decomposition을 사용한다.

\[M \approx U_{671}\Sigma_{671}V_{671}^\top\]

Embedding and output head initialization은 donor가 next-token space에서 표현한 relation을 target hidden dimension 672에 맞게 compress한다.

4-4. Winning method Stage B: sparse deterministic sublayer edits

Stage A는 next-token prior를 강하게 초기화하지만 context modeling capability가 제한된다. Stage B는 96-dimensional hidden bands에 sparse deterministic edit를 넣는다.

  • Attention
    • Selected band에서 uniform causal mean-pooling behavior를 만든다.
  • SSM
    • Gated depthwise causal convolution 형태의 short-range state update를 만든다.
  • FFN
    • Layer 0에 GPT-2 small MLP slice를 SVD projection해 배치한다.

Full donor layer를 copy하지 않고 target architecture에 맞는 small functional motif를 이식한다.

4-5. Engineering notes

1) Contribution schema가 research quality를 좌우한다

Score만 commit하면 negative result and reproduction context를 해석하기 어렵다. Environment, parent, command, artifact hash, metric, failure mode, hypothesis를 structured metadata로 저장해야 한다.

2) Database must be rebuildable

Search index and recommendation cache는 Git source of truth에서 deterministic rebuild가 가능해야 한다. Otherwise shared memory가 two conflicting stores로 나뉜다.

3) Reproduction identity를 엄격히 정의해야 한다

Same code same machine rerun, different seed, different hardware, clean-room implementation은 evidence strength가 다르다. Reproduction type을 metadata로 구분하는 것이 좋다.

4) Negative result를 first-class artifact로 둬야 한다

Failed experiment가 score leaderboard에서 사라지면 duplicated search가 다시 생긴다. Failure reason and invalidation boundary를 검색 가능하게 해야 한다.

5) Diversity view를 automatic policy와 구분해야 한다

Neglected branch dashboard가 있어도 worker가 이를 선택한다는 보장은 없다. Recommendation exposure, click, experiment selection, outcome을 로그해야 실제 diversity effect를 측정할 수 있다.

6) Operational database backup is still necessary

Authentication, project membership, permission, secrets, service state는 Git commit graph만으로 충분하지 않다. Agora README도 separate database backup boundary를 명시한다.

5. Evaluation

5-1. Main result

Development evaluator bits per byte는 다음과 같이 변했다.

Milestone bpb Interpretation
Random initialization 3.3923 Baseline
First scored attempt 4.6784 Donor slice-copy, random보다 악화
Unigram-style prior 2.5151 Donor prediction statistics 사용
Early bigram methods about 1.93 Multiple context count extension
May 1 milestone 1.904 More donors, 28 contexts, improved SVD
Cutoff 1.899 Sparse attention, FFN, SSM edits added

Trained GPT-2 124M reference는 about 1.0 bpb다. Paper는 random initialization과 trained reference 사이 gap의 62%를 transfer가 closed했다고 계산한다.

이 수치는 target를 training하지 않고 얻은 initialization quality를 나타낸다. Trained model equivalence를 의미하지 않는다.

5-2. Research lineage

Best contribution의 ancestry:

  • 145 commits
  • 15 accounts
  • Multiple method branches and reproductions

Final result가 one worker의 isolated insight가 아니라 여러 contribution을 따라 축적되었다는 evidence다. 하지만 ancestry length 자체가 contribution quality를 뜻하지는 않는다. Minor reuse, verification, combination도 count에 포함될 수 있다.

5-3. Fast early gains and long plateau

Research progress는 균일하지 않았다.

  • First 8 improvements: total gain의 roughly 70%
  • First day 18 scored contributions: total reduction의 about 98%
  • Remaining 1,106 contributions: next about 0.03 bpb improvement

Worker parallelism이 early discovery에는 유효했지만 later plateau에서는 marginal return이 급격히 낮아졌다.

5-4. Monoculture and parallel rediscovery

Graph는 diverse tree처럼 보이지만 activity는 매우 concentrated했다.

  • One connected component contains 98.9% of nodes.
  • Most follow-on work extends one lineage.
  • 696 identical-score pairs from different accounts were observed.
  • About 63% arrived within one hour.
  • About 80% arrived within six hours.

This is parallel rediscovery evidence. Shared memory가 있어도 worker가 same attractive branch를 동시에 선택할 수 있다.

5-5. Human intervention

Bigram method에 activity가 5일 동안 집중된 뒤, 저자들은 5월 2일 search concentration and neglected branch view를 추가했다. 5월 3일 한 worker가 state-space cluster를 탐색해 1.9028 bpb의 first SSM edit을 게시했다.

Worker가 experiment를 직접 선택한 구조는 유지되었지만, 한 번의 human intervention으로 information environment가 바뀌었다. 따라서 run 전체를 처음부터 끝까지 fully autonomous coordination이라고 설명하면 안 된다.

5-6. Reproduction evidence and its boundary

95 targets에 대한 165 reproduction contribution에서 reported failure는 없었다. 이는 project setup 내부의 operational reproducibility를 지지한다.

다만 paper는 다음 boundary도 명시한다.

  • All method choices used the same 200-text development evaluator.
  • Final improvement was smaller than observed cross-hardware variation.
  • No matched isolated-agent control exists.

Reproduction은 observed environment에서 artifact behavior를 검증한다. 다른 evaluator or hardware로의 generalization까지 단독으로 증명하지는 않는다.

5-7. What really matters in the experiments

1) Shared state value is plausible, not causally isolated

Final method는 많은 contribution and explicit reproduction을 사용하지만, same compute에서 Agora 없이 일하거나 다른 coordination method를 사용하는 control이 없다.

2) Trace quality is a major contribution

Causal efficiency proof가 없더라도 paper는 idea lineage, duplicated search, branch concentration, human steering, verification behavior에 대한 드문 long-horizon trace를 제공한다.

3) Negative result preservation matters

First scored method는 random보다 나빴고 graph에 그대로 남았다. 이는 append-only record가 narrative bias를 줄이는 데 어떤 가치를 가지는지 보여준다.

4) Development evaluator overfitting is a serious risk

모든 method decision은 같은 200 texts를 기준으로 이루어졌다. Final bpb and method ranking은 이 development evaluator에 특화되었을 수 있다.

6. Limitations

  1. No matched coordination control.
    • Same workers and compute without shared graph were not run.
    • Agora improves discovery per compute is not established causally.
  2. One task and one sustained run.
    • Weight transfer without gradients is unusual.
    • Result may not generalize to scientific literature review, large training, robotics, or human-subject research.
  3. Human intervention changed the information environment.
    • Neglected-branch and concentration views were added mid-run.
    • Fully autonomous diversity claim is not supported.
  4. Development-evaluator overfitting.
    • All choices used the same 200 FineWeb-Edu texts.
    • Separate untouched test evaluator is needed.
  5. Final improvement is within hardware variation concern.
    • Paper and README note final small gain was smaller than observed cross-hardware variation.
    • Plateau-stage rank ordering should be interpreted cautiously.
  6. Reproduction definition is environment-bound.
    • 165 successful reproductions do not establish cross-hardware or clean-room reproducibility.
  7. Monoculture remains.
    • One component contains 98.9% of nodes and most work follows one lineage.
    • Diversity-aware recommendation did not prevent concentration by itself.
  8. Git is not full operational state.
    • Authentication and project metadata require separate database backup.
    • Large binary artifact storage and secret management need additional systems.

7. My Take

7-1. Why this matters for my work

Agora의 가장 중요한 contribution은 multi-agent score보다 research record schema다. Autonomous science system이 scale하려면 answer aggregation보다 provenance, negative-result retention, reproduction, branch selection이 먼저 구조화되어야 한다.

Paper-review or experiment platform에도 같은 pattern을 적용할 수 있다.

  • Each experiment is immutable commit.
  • Claim links to exact artifact and parent hypothesis.
  • Reproduction is separate contribution type.
  • Failed run remains searchable.
  • Frontier and neglected branch are system views, not human memory.

7-2. Reuse potential

1) ML experiment coordination

Hydra config, code commit, checkpoint pointer, metric table, analysis note를 one contribution object로 묶을 수 있다.

2) Paper revision and rebuttal evidence graph

Each reviewer claim, response, experiment, table update, verification을 parent-linked DAG로 관리하면 which evidence resolves which concern인지 추적하기 쉽다.

3) Multi-agent literature review

Paper summary보다 claim-evidence relation and independent verification을 commit unit으로 만들 수 있다. Duplicate paper discovery and unsupported synthesis를 줄일 수 있다.

4) Research portfolio selection

UCB-style branch selection을 idea queue에 적용해 strong result exploitation and underexplored direction을 균형 있게 배분할 수 있다.

5) Human-agent mixed research

Human insight and agent experiment를 same provenance graph에 넣되, author type and verification level을 metadata로 분리할 수 있다.

7-3. Follow-up papers

  • AutoResearch and autonomous coding-research loops
  • AREX: recursively self-improving deep research agent
  • Dream-RSI: history as replay simulator for exploration policy
  • ModularRSI: harness-level recursive improvement
  • Scientific multi-agent systems with provenance and verification
  • Experiment tracking systems such as MLflow, W&B Artifacts, and DVC

8. Summary

  • Agora는 autonomous research memory를 Git-backed append-only contribution DAG로 만든다.
  • Result, failure, hypothesis, verification, report가 immutable commit and parent lineage로 남는다.
  • Derived index는 frontier, neglected branch, reuse, reproduction, contested claim을 노출한다.
  • 13 workers가 nearly 12 days 동안 1,703 contributions를 만들었다.
  • Frozen 119.6M attention-SSM target을 random 3.3923 bpb에서 1.899 bpb로 초기화했다.
  • Best method는 donor weight copy보다 donor next-token statistics and low-rank factorization을 사용했다.
  • Early gain은 빠르게 나왔지만 later search는 monoculture and parallel rediscovery를 보였다.
  • One human intervention and no matched control 때문에 collective advantage는 아직 causal claim이 아니다.

댓글남기기

참고