15 분 소요

0. Introduction

Paper link

Code link

한 줄 요약: PRO-LONG은 long-horizon agent memory를 learned summary나 fixed context window로 압축하지 않고 모든 interaction을 structured append-only log에 보존한 뒤, strong coding agent가 grep, regex, shell, Python으로 필요한 history를 programmatically 검색하게 하는 minimal context management framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Agent memory의 핵심 trade-off를 information fidelity와 retrieval tractability 사이의 문제로 명확히 정의한다.
  • Memory를 neural module이나 vector database가 아니라 auditable structured log와 programmatic search로 구현한다.
  • ARC-AGI-3의 수백 action, 여러 level, hidden-rule environment에서 out-of-the-box frontier model을 평가한다.
  • Full history를 prompt에 넣지 않고도 100K line을 넘는 trajectory를 exact하게 검색하는 방식을 보여준다.
  • Tool ladder, workspace persistence, token cost, qualitative behavior를 통해 어디서 gain이 생기는지 분석한다.

Long-horizon agent는 시간이 지날수록 두 종류의 state를 가진다.

  1. 지금 model context 안에 들어 있는 정보
  2. Context 밖에 있지만 tool을 통해 다시 접근할 수 있는 정보

PRO-LONG은 이를 각각 accessed state와 accessible state로 구분한다.

  • Accessed state: 현재 forward pass에 직접 들어간 token과 observation
  • Accessible state: File, database, log, external memory에 보존되어 필요할 때 읽을 수 있는 history

기존 agent context management는 accessed state를 잘 만드는 데 집중한다.

  • Recent window
  • Rolling summary
  • Episodic memory
  • Vector retrieval
  • Learned compression
  • Handwritten notes
  • Subagent delegation

하지만 long-horizon exploration에서는 초반 observation이 훨씬 뒤에 다시 필요할 수 있다. Summary가 이를 버리면 복구할 수 없다. 반대로 모든 history를 prompt에 넣으면 context가 커지고 중요한 evidence를 찾기 어렵다.

PRO-LONG은 이 trade-off에 매우 단순한 답을 제시한다.

모든 것을 lossless하게 log에 남기고, 읽을 때 code를 사용한다.

Agent는 매 action, resulting board, level, attempt, score, plan summary를 structured text로 append한다. 필요한 정보를 찾을 때는 log 전체를 context에 넣는 대신 grep, sed, awk, regex, Python parser를 사용한다.

이 방식은 strong coding agent의 새로운 능력을 이용한다. Model이 긴 text를 직접 attention으로 읽지 않아도, program을 작성해 exact match, state transition, repeated pattern, action history를 검색할 수 있다.

논문은 이를 ARC-AGI-3 public game set에서 검증한다. Agent는 hidden rule을 탐색하고, 여러 level에서 knowledge를 누적하며, action budget 안에 목표를 달성해야 한다.

PRO-LONG의 매력은 memory module이 복잡하지 않다는 데 있다.

  • Learned retriever 없음
  • Embedding index 없음
  • Summary model 없음
  • Subagent 없음
  • Custom world model training 없음
  • Full interaction log는 삭제하지 않음

대신 memory quality를 coding tool competence에 맡긴다.

1. Problem Setting

1-1. Problem definition

Long-horizon environment에서 episode는 observation과 action의 sequence다.

\[\tau = (o_0, a_0, o_1, a_1, \ldots, o_T)\]

시간 $T$가 커질수록 전체 trajectory를 prompt에 유지하기 어렵다. Agent는 memory policy $M$을 통해 accessible state를 만들고, retrieval policy $R$로 현재 context에 필요한 부분을 가져온다.

\[m_T = M(\tau_{0:T})\] \[c_T = R(q_T, m_T)\]

여기서 $m_T$가 summary라면 memory write에서 information loss가 생긴다. $m_T$가 raw log라면 write는 lossless하지만 retrieval이 어려워진다.

PRO-LONG은 다음 목표를 가진다.

  1. Write fidelity를 최대화한다.
  2. Memory format을 transparent하게 유지한다.
  3. Retrieval을 coding tools로 tractable하게 만든다.
  4. Base agent의 reasoning harness를 크게 바꾸지 않는다.
  5. Context budget과 billed token을 줄인다.
  6. Level 사이에서 discovered rule과 state transition을 재사용한다.

ARC-AGI-3 environment는 이 문제를 테스트하기 좋다.

  • 25개 public games
  • Game당 6-10 levels
  • Hidden transition rules
  • 64 x 64 grid
  • 16 colors
  • Move, click, undo, reset action
  • Default 500 actions per game
  • Turn당 최대 20 environment actions

Non-vision agent에는 grid가 ASCII text로 주어진다. Agent는 단순 image recognition이 아니라 state transition, object manipulation, goal discovery를 수행한다.

Problem setting을 표로 정리하면 다음과 같다.

Question PRO-LONG의 답
무엇을 저장하는가 모든 observation, action, outcome
어떤 형식인가 Structured append-only text log
어떻게 읽는가 grep, regex, shell, Python
Prompt에는 무엇을 넣는가 최근 state와 search result
무엇을 압축하는가 Accessed context, not accessible memory
무엇을 삭제하지 않는가 Full trajectory
어떤 agent가 필요한가 Strong coding agent
어떤 benchmark인가 ARC-AGI-3 public game set

1-2. Why previous approaches are insufficient

1) Full-context retention은 long-horizon에서 비싸고 noisy하다

모든 board와 action을 prompt에 유지하면 token 수가 빠르게 늘어난다. Grid가 반복될 때 context 대부분이 redundant observation이 될 수 있다.

Long context model도 다음 문제를 겪는다.

  • Attention cost
  • Lost-in-the-middle
  • Repeated state confusion
  • Context compaction
  • Tool result truncation
  • Billed token 증가

2) Summary는 irreversible loss를 만든다

Agent가 지금 중요하지 않다고 판단한 detail이 나중 level의 rule을 푸는 key가 될 수 있다.

예를 들어 특정 color가 한 level에서는 decoration처럼 보이지만 다음 level에서는 switch state를 나타낼 수 있다. Summary가 이를 버리면 original observation을 다시 확인할 수 없다.

3) Vector retrieval은 exact transition query에 약할 수 있다

Semantic similarity는 natural-language fact retrieval에는 유용하다. 하지만 ARC-like environment에서는 다음 query가 필요하다.

  • 이 board hash가 이전에 등장했는가.
  • Action LEFT 이후 score가 어떻게 변했는가.
  • 특정 coordinate의 color가 3이었던 state를 모두 찾는다.
  • Level 4에서 reset 전에 수행한 action sequence를 복원한다.
  • Same object configuration에서 성공한 transition을 찾는다.

이런 query는 exact match와 structured parsing이 더 적합하다.

4) Handwritten note는 agent의 memory discipline에 의존한다

Agent에게 notes.md를 주면 무엇을 적을지 스스로 선택해야 한다. Exploration 중 중요한 detail을 놓치거나, speculative hypothesis를 fact처럼 기록할 수 있다.

PRO-LONG은 observation과 action을 자동으로 log해 write omission을 줄인다. Agent note는 선택 사항이고 full trace가 ground truth로 남는다.

5) Learned memory는 training and maintenance cost가 있다

Memory controller, summarizer, retriever를 학습하려면 data와 objective가 필요하다. Benchmark나 environment가 바뀌면 다시 튜닝할 수 있다.

PRO-LONG은 model training 없이 base coding agent의 existing tool competence를 활용한다.

2. Core Idea

2-1. Main contribution

1) Accessed state와 accessible state의 분리

Current context가 작다고 memory도 작을 필요는 없다. Agent가 필요할 때 external log를 읽을 수 있다면 full history는 accessible state로 유지된다.

이 구분은 context length를 memory capacity와 동일시하지 않게 만든다.

  • Context capacity: One model call에 직접 넣을 수 있는 token
  • Memory capacity: Tool을 통해 검색할 수 있는 total external state
  • Retrieval cost: Relevant evidence를 찾는 program과 returned text
  • Fidelity: Original observation을 exact하게 복원할 수 있는가

2) Lossless append-only interaction log

매 step의 record는 다음 field를 포함한다.

  • Global action number
  • Game and level
  • Attempt
  • Current score
  • Short plan summary
  • Selected action
  • Resulting board
  • Optional metadata

Conceptual record는 다음처럼 볼 수 있다.

ACTION=1842 LEVEL=7 ATTEMPT=3 SCORE=0.64
PLAN=Test whether red tile toggles the left gate.
ACT=CLICK 12 19
BOARD_BEGIN
...
BOARD_END

Append-only format은 auditability가 높다.

  • Past record가 silently rewritten되지 않는다.
  • Search result의 source line을 추적할 수 있다.
  • Human이 agent memory를 inspect할 수 있다.
  • Failure analysis에서 exact trajectory를 복원할 수 있다.

3) Programmatic read

Agent는 log를 natural language로 처음부터 읽지 않는다. Query를 code로 바꾼다.

예를 들어 다음 작업이 가능하다.

grep -n "LEVEL=7" history.log

grep -n "SCORE=1.0" history.log

sed -n '18000,18300p' history.log

# Parse repeated board states and transitions.

Strong coding model은 search program을 iterative하게 수정할 수 있다.

  1. Broad grep
  2. Candidate line range
  3. Local context extraction
  4. Python parsing
  5. State transition table
  6. Planning

4) Minimal harness intervention

PRO-LONG prompt는 약 30 lines로 작다. Agent에게 다음 principle만 알려준다.

  • 모든 interaction은 log에 기록된다.
  • 필요하면 shell or Python으로 검색한다.
  • Current context에 full history가 없다고 memory가 사라진 것은 아니다.
  • Important rule은 file로 정리할 수 있다.

별도 subagent나 learned planner를 추가하지 않는다.

5) Tool capability ladder

논문은 memory read capability를 단계적으로 추가한다.

Tool setting Capability
Read only Log file sequential read
+ grep / regex Exact pattern search
+ Python Structured parsing and computation
+ write / edit Persistent model-built notes and programs

GPT-5.5 setting에서 score는 다음처럼 증가한다.

Tool setting Pass@1
Read only 23.1
+ grep / regex 27.2
+ Python 38.3
+ write / edit 41.2

Gain의 대부분은 단순 storage가 아니라 Python을 통한 structured manipulation에서 나온다.

2-2. Design intuition

1) Write는 cheap하고 complete하게, read는 selective하고 computational하게

Memory write 시점에 future relevance를 완벽히 예측할 수 없다. 따라서 write compression을 최소화한다.

대신 retrieval 시점에는 current goal이 있으므로 query를 더 정확히 만들 수 있다. Search program이 그 goal을 반영한다.

2) Coding agent를 memory controller로 사용한다

최근 coding agent는 file navigation, grep, parser 작성, debugging에 강하다. PRO-LONG은 이 capability를 long-horizon reasoning에 재사용한다.

새로운 neural memory를 학습하는 대신 already-available algorithmic tool use를 활용한다.

3) Exact history는 hypothesis correction에 중요하다

Long exploration에서 agent는 잘못된 rule을 추측할 수 있다. Summary memory가 hypothesis만 남기면 future reasoning이 오염된다.

Raw log가 있으면 original board와 action outcome을 다시 확인해 hypothesis를 falsify할 수 있다.

4) Memory size보다 query cost가 bottleneck이다

Append-only log가 100K 또는 300K lines를 넘더라도 grep과 streaming parser는 tractable하다. Model context에 전체를 넣지 않기 때문에 token cost는 log size와 직접 비례하지 않는다.

5) Simple memory는 model progress를 바로 흡수한다

Base coding model이 더 좋아지면 programmatic retrieval도 함께 좋아진다. 별도 memory model을 재학습할 필요가 없다.

3. Architecture / Method

3-1. Overview

Item Description
Goal Long-horizon exploration에서 full history fidelity와 tractable retrieval을 동시에 확보
Memory write Structured append-only log
Memory read Shell, regex, Python
Context policy Recent state plus selected retrieval result
Training None
Harness change Small prompt and logging interface
Benchmark ARC-AGI-3 public games
Base agents Frontier coding agents
Main comparison No-log coding agent and specialized harnesses
Main cost axis Billed tokens and run cost

3-2. Module breakdown

1) Environment adapter

Environment adapter는 ARC-AGI-3 board를 text representation으로 변환한다. Action command를 environment API로 보내고 result를 받는다.

각 step에서 다음을 처리한다.

  • Current level and attempt
  • Board serialization
  • Legal action
  • Score
  • Life or reset state
  • Termination

2) Automatic logger

Logger는 model memory decision과 무관하게 every interaction을 저장한다.

이 separation이 중요하다. Agent가 “이 observation은 중요하지 않다”고 판단해도 raw record는 남는다.

3) Current prompt builder

Every model call에 full history를 넣지 않는다. Prompt는 다음을 포함한다.

  • Current board
  • Current game state
  • Action budget
  • Recent action subset
  • Memory tool instruction
  • Agent-created notes if any
  • Tool output from current search

Default base agent는 약 250K-token context까지 current history를 볼 수 있지만, PRO-LONG은 external log search를 통해 billed input을 줄인다.

4) Shell tool interface

Agent는 standard command-line tool을 사용한다. Special memory API가 아니라 file path와 ordinary shell command를 제공한다.

이 선택은 portability가 높다.

  • Local process
  • Container
  • Remote file system
  • Existing coding harness

모두 쉽게 지원할 수 있다.

5) Python analysis

Complex search는 Python으로 처리한다.

예를 들어 agent는 board를 matrix로 parse하고 state hash를 만든 뒤 transition graph를 구축할 수 있다.

\[G = (V,E)\] \[E = \{ (s_t,a_t,s_{t+1}) \}\]

Repeated state를 node로, action transition을 edge로 만들면 BFS or planning algorithm을 실행할 수 있다.

논문의 qualitative case에서 agent는 transition function을 구성하고 BFS를 사용해 level을 푼다.

6) Last-25-action ablation

Full programmatic memory와 recent-only memory를 비교하기 위해 last-25-action variant를 둔다.

이 ablation은 gain이 simply better formatting 때문인지, distant history access 때문인지 구분한다. Long-horizon에서 full log의 advantage가 나타난다.

7) Workspace persistence ablation

Agent가 작성한 file과 program을 model call 사이에 유지할지 지울지 비교한다.

GPT-5.5에서 다음 결과를 보고한다.

Setting Persistent workspace Wiped each call
PRO-LONG 41.2 +/- 3.5 40.7 +/- 3.6
No-log 24.0 +/- 2.0 19.9 +/- 2.1

PRO-LONG은 raw log가 자동 보존되므로 workspace wipe에 덜 민감하다. No-log agent는 자기 notes와 files에 더 의존한다.

4. Training / Data / Recipe

4-1. No model training

PRO-LONG은 SFT, RL, memory encoder training을 하지 않는다.

이 점은 result 해석에서 중요하다. Score gain은 parameter update가 아니라 inference-time memory interface와 tool use에서 나온다.

1) Base harness

  • GPT family는 Codex harness
  • Claude family는 Claude Code
  • Python standard library
  • Shell utilities
  • No subagent
  • No learned memory

2) Action budget

Default는 game당 500 actions다. 한 model turn에서 최대 20 environment actions를 수행할 수 있다.

Fable 5 scale experiment에서는 action budget을 2000으로 늘린다. Budget 확대는 benchmark comparability와 cost에 큰 영향을 주므로 별도 setting으로 봐야 한다.

4-2. ARC-AGI-3 data

Public set은 25 games로 구성된다. 각 game은 여러 level을 가지고 hidden mechanics를 공유하거나 점진적으로 확장한다.

Agent는 level을 풀며 다음 knowledge를 축적한다.

  • Object semantics
  • Action effect
  • Goal condition
  • Failure condition
  • Reusable transition
  • Level-specific exception

Memory는 static document retrieval이 아니라 interactive world-model construction을 지원해야 한다.

4-3. Evaluation score

논문은 RHAE-style score를 사용한다. Level $l$과 episode $e$에서 human action count를 $h_{l,e}$, agent action count를 $a_{l,e}$라고 하면 efficiency factor는 다음과 같다.

\[S_{l,e} = \min \left( \left( \frac{h_{l,e}} {a_{l,e}} \right)^2, 1.15 \right)\]

이 factor는 success뿐 아니라 action efficiency를 반영한다. Agent가 human보다 훨씬 많은 action을 쓰면 score가 낮아진다.

전체 benchmark score는 level and episode weight를 결합한다. Exact aggregation은 원문 formula를 기준으로 다시 확인해야 한다.

4-4. Main model results

논문에서 보고하는 representative result는 다음과 같다.

Model / setting Pass@1 or main score Additional result
GPT-5.5 + PRO-LONG 41.2 Best@5 60.1
Opus 4.6 + PRO-LONG 42.4 Pass@1
Fable 5, 2000 actions 94.6 Best@2 97.4

Fable 5 experiment는 high-budget lower bound에 가깝다.

  • 2000 action budget
  • Pass@1 run cost total 약 1500 dollars
  • Best@2 total cost 약 1750 dollars

Default practical setting과 직접 비교하면 안 된다.

4-5. Token and cost analysis

PRO-LONG은 specialized harness와 비교해 billed token을 줄인다.

  • GPT-5.5 comparison: WorldModeler보다 5.8x fewer billed tokens
  • Claude or Opus comparison: 4.2x fewer billed tokens

이 gain은 full history를 every prompt에 반복하지 않고, programmatically selected slice만 읽기 때문에 나온다.

다만 shell tool call과 Python execution cost는 token metric에 완전히 반영되지 않을 수 있다. Wall-clock과 compute cost도 함께 봐야 한다.

4-6. Engineering notes

1) Log schema가 retrieval quality를 좌우한다

Board delimiter, action number, level id가 consistent해야 grep과 parser가 안정적이다.

2) Log integrity가 중요하다

Agent가 memory file을 수정할 수 있으면 history tampering이 가능하다. Raw append-only log는 read-only로 두고 agent note file을 분리하는 것이 안전하다.

3) Privacy and retention policy가 필요하다

Real service에서는 tool output에 secret, PII, proprietary document가 포함될 수 있다. 모든 것을 lossless하게 저장한다는 원칙은 compliance risk를 만든다.

4) Search result도 context budget을 소비한다

Grep가 너무 broad하면 수천 line이 prompt로 들어간다. Query refinement와 line range limit가 필요하다.

5. Evaluation

5-1. Main results

1) Across-model average improvement

PRO-LONG은 frontier model across setting에서 no-log coding agent보다 평균 18.0 percentage points 개선된다.

이 result는 memory interface가 특정 model 하나에만 맞지 않는다는 evidence다. 하지만 model family와 harness가 다르므로 exact paired comparison을 봐야 한다.

2) GPT-5.5 result

GPT-5.5 + PRO-LONG은 41.2 pass@1, 60.1 best@5를 보고한다.

No-log baseline은 lower score를 보이고, tool ladder에서 Python과 write/edit capability를 추가할수록 performance가 올라간다.

3) Specialized harness comparison

PRO-LONG은 complex world model or specialized memory harness와 비슷하거나 더 높은 score를 보이면서 billed token을 줄인다.

다만 specialized harness paper마다 selection protocol, action budget, replicate 수가 다를 수 있다. Authors는 released run을 common metric으로 rescore하지만 완전한 controlled comparison은 아니다.

4) Fable 5 high-budget ceiling

Fable 5와 2000 action budget에서 94.6 pass@1, 97.4 best@2를 보고한다.

이 결과는 ARC-AGI-3 public set의 practical saturation 가능성을 보여준다. 동시에 benchmark difficulty가 model and budget release에 따라 빠르게 변한다는 뜻이다.

5) Very long log case

g50t case에서 log가 320K lines를 넘는다. Agent는 log 전체를 prompt에 넣지 않고 search and parsing으로 필요한 state를 찾는다.

m0r0 case에서는 transition function을 구축하고 BFS를 적용해 100% success를 달성하며, no-log baseline은 34.2를 보인다.

이 qualitative evidence는 programmatic memory가 simple fact recall뿐 아니라 explicit algorithm construction을 지원한다는 점을 보여준다.

6) Tool usage distribution

PRO-LONG agent tool call 중 Python이 60.6%, log parsing이 20.3%를 차지한다.

No-log agent는 notes와 workspace operation에 더 많은 tool use를 쓴다. Full raw memory가 있으면 agent가 history reconstruction보다 direct analysis에 compute를 쓸 수 있다는 해석이 가능하다.

5-2. What really matters in the experiments

1) Storage alone이 아니라 read programmability가 핵심이다

Read-only log setting은 23.1이고 Python까지 추가하면 38.3이다. Lossless storage만 제공한다고 long-horizon reasoning이 해결되지는 않는다.

2) Best@k는 reliability와 search budget을 섞는다

Best@5가 높아도 single-run deployment reliability는 낮을 수 있다. Pass@1, best@k, total cost를 함께 봐야 한다.

3) Action budget은 memory method와 상호작용한다

Longer budget은 more exploration and more memory를 만든다. Programmatic log는 이를 처리할 수 있지만, result가 500-action setting과 같은 benchmark라고 보기는 어렵다.

4) Coding ability가 hidden dependency다

Programmatic memory의 success는 model이 correct parser, regex, graph search를 작성할 수 있는지에 달려 있다. Weak model에서는 raw log가 있어도 활용하지 못할 수 있다.

5) ARC-AGI-3는 interactive but narrow하다

Hidden-rule grid game은 controlled long-horizon test지만, web research, software engineering, enterprise workflow의 memory pattern과 다르다.

6. Limitations

  1. Evaluation domain이 ARC-AGI-3 public 25 games에 집중된다.
    • 다른 long-horizon environment에서 same gain을 보장하지 않는다.
    • Text grid representation은 visual perception difficulty를 제거한다.
  2. Strong coding agent가 필요하다.
    • Regex, parser, state graph를 잘 만들지 못하는 model은 log를 효과적으로 사용하지 못한다.
    • Memory system benefit과 base coding capability가 얽힌다.
  3. Append-only log가 무한히 커진다.
    • Disk capacity는 context보다 크지만 무제한은 아니다.
    • Long-running production agent에는 archival, partition, index, retention policy가 필요하다.
  4. Search program도 실패할 수 있다.
    • Wrong regex, parser bug, off-by-one line range가 relevant evidence를 누락한다.
    • Program output을 검증하는 mechanism이 필요하다.
  5. Benchmark model timing이 contamination concern을 만든다.
    • 일부 frontier model은 benchmark public release 이후 학습되었을 수 있다.
    • Public game knowledge가 pretraining or post-training data에 들어갔는지 완전히 알기 어렵다.
  6. Run variance와 best@k cost가 크다.
    • Repeated rollout은 score를 높이지만 token and dollar cost도 증가한다.
    • Single-run reliability를 별도로 봐야 한다.
  7. Specialized harness comparison protocol이 다를 수 있다.
    • Action budget, model version, selection rule, evaluation date가 다르면 head-to-head conclusion에 주의해야 한다.
  8. Full logging은 security and privacy risk를 만든다.
    • Secret, personal data, copyrighted content, tool credential이 log에 남을 수 있다.
    • Encryption, access control, redaction이 필요하다.
  9. Log poisoning and integrity 문제가 있다.
    • Environment output이 malicious instruction을 포함하거나 agent가 memory file을 수정하면 future retrieval이 오염될 수 있다.
    • Trusted raw log와 agent-authored note를 분리해야 한다.
  10. No training이라는 장점이 limitation이기도 하다.
    • Agent가 efficient retrieval strategy를 task feedback으로 학습하지 않는다.
    • Program search behavior가 base model habit에 의존한다.

7. My Take

7-1. Why this matters for my work

PRO-LONG의 가장 중요한 lesson은 “context compression보다 memory addressability가 먼저”라는 점이다.

Agent memory를 설계할 때 summary quality나 vector embedding을 먼저 고민하기 쉽다. 하지만 long-horizon task에서는 original evidence를 다시 열 수 있는가가 더 기본적인 requirement다.

Structured log는 sophisticated하지 않지만 다음 장점이 있다.

  • Exact
  • Auditable
  • Reproducible
  • Diffable
  • Programmatically queryable
  • Model-independent

특히 research agent, document agent, coding agent처럼 이미 shell and Python을 사용할 수 있는 system에서는 별도 memory model보다 먼저 시도할 가치가 있다.

반면 production에서는 lossless logging이 privacy와 storage risk를 만든다. 연구 benchmark의 “모든 것을 저장” 원칙을 그대로 배포하면 안 된다.

7-2. Reuse potential

1) RAG agent trajectory memory

Search query, retrieved document, selected evidence, answer revision을 append-only log로 남길 수 있다.

Agent는 다음 query를 programmatically 수행한다.

  • 특정 source를 언제 처음 열었는가.
  • Claim을 support한 evidence line은 무엇인가.
  • 같은 query를 반복했는가.
  • Contradictory evidence가 있었는가.
  • Final answer에서 사용하지 않은 retrieved page는 무엇인가.

2) Document processing workflow

Long document pipeline에서 page, OCR block, extraction candidate, validation result를 structured JSONL로 기록한다.

document_id
page_id
ocr_id
candidate
model_output
validator_result
timestamp

Python and jq query로 exact provenance를 찾을 수 있다.

3) Training run operations memory

Experiment agent가 command, git commit, config, W&B run, error, fix를 append-only log에 남기고 grep으로 검색하게 할 수 있다.

4) Hybrid memory

PRO-LONG의 raw log를 foundation으로 두고 위에 optional index를 추가할 수 있다.

  • Raw log: Source of truth
  • Regex index: Exact search
  • SQLite: Structured aggregation
  • Vector index: Semantic recall
  • Summary: Quick orientation

어떤 derived memory도 raw record를 대체하지 않게 한다.

5) Memory evaluation

Agent memory를 다음 metric으로 평가할 수 있다.

  • Evidence recall
  • Retrieval precision
  • Search tool calls
  • Returned context tokens
  • Time to retrieve
  • Unsupported memory claim
  • Recovery after wrong hypothesis
  • Log growth rate

7-3. Follow-up papers

  • ARC-AGI-3
  • WorldModeler
  • Voyager: An Open-Ended Embodied Agent with LLMs
  • Generative Agents
  • MemGPT: Towards LLMs as Operating Systems
  • HippoRAG
  • A-MEM: Agentic Memory for LLM Agents
  • LongMemEval
  • Where Do Deep-Research Agents Go Wrong?

8. Summary

  • PRO-LONG은 full interaction history를 structured append-only log로 보존하고 coding tools로 필요한 부분만 읽는다.
  • Accessed context와 accessible memory를 구분해 context length를 total memory capacity와 분리한다.
  • Tool ladder에서 grep보다 Python-based structured parsing이 큰 gain을 만들며, storage보다 read programmability가 중요하다.
  • ARC-AGI-3에서 no-log base coding agent보다 across-model average 18.0 percentage points 개선된다.
  • Very long log에서도 exact transition search와 graph planning을 수행하며 billed token을 specialized harness 대비 줄인다.
  • Strong coding model dependency, public-game scope, run cost, privacy, log integrity, unlimited growth는 중요한 한계다.

댓글남기기

참고