From Memory to Skills: Evidence-Grounded Co-Evolution Governance for Long-Horizon LLM Agents Review

0. Introduction

Paper link

한 줄 요약: MSCE는 agent의 과거 trajectory를 그대로 검색하는 데서 멈추지 않고, grounded trace, reusable policy, environmental cognition으로 계층화한 뒤, 충분한 evidence와 positive gain을 가진 policy만 executable skill로 승격시키는 training-free memory-skill co-evolution framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• Long-horizon agent의 병목이 단순 context length에서 experience governance로 이동하고 있다.
• Memory와 skill을 하나의 storage로 섞지 않고, evidence에서 policy와 skill로 올라가는 promotion path를 명시적으로 설계한다.
• Base LLM을 다시 학습하지 않고도 online interaction만으로 memory와 skill을 갱신하는 operational recipe를 제공한다.
• Success rate뿐 아니라 cost, cross-domain transfer, lifelong evolution, long-dialogue memory까지 함께 평가한다.

최근 agent memory 연구는 무엇을 저장하고 어떻게 검색할지에 집중해 왔다. 하지만 실제 agent를 오래 운영하면 더 어려운 문제가 생긴다. 과거 경험을 많이 저장할수록 좋은 경험뿐 아니라 우연히 성공한 절차, environment-specific workaround, 잘못된 reflection도 함께 쌓인다. 이를 그대로 검색하면 context noise가 커지고, 곧바로 skill로 변환하면 잘못된 procedure가 반복 실행될 수 있다.

MSCE가 던지는 질문은 “기억을 더 많이 남길 것인가”가 아니다. “어떤 experience가 reusable policy가 될 자격이 있고, 어떤 policy가 executable skill로 승격될 수 있으며, 그 판단을 어떤 evidence로 감사할 것인가”에 가깝다.

1. Problem Setting

1-1. Problem definition

Long-horizon LLM agent는 여러 episode를 거치며 state, action, observation, reflection, reward를 축적한다. 이 경험을 다음 task에 활용하려면 최소 네 가지 문제가 해결되어야 한다.

1. Grounding
   • 추상화된 policy와 skill이 실제 성공 및 실패 trace에 연결되어야 한다.
   • 어떤 tool과 command가 실제로 관찰되었는지 추적할 수 있어야 한다.
2. Abstraction
   • 단일 episode의 구체적인 action sequence를 다른 task에도 적용 가능한 procedure로 일반화해야 한다.
   • 동시에 OS, tool, error signature 같은 applicability boundary를 보존해야 한다.
3. Promotion
   • 한 번 성공한 trace를 바로 skill로 만들지 않아야 한다.
   • 반복 evidence, estimated gain, reliability가 충분한 policy만 승격해야 한다.
4. Lifecycle
   • 새 evidence가 들어오면 policy와 skill을 수정하거나 archive할 수 있어야 한다.
   • 오래된 skill이 현재 environment에서 계속 유효한지 확인해야 한다.

이 문제는 memory retrieval와 skill execution 사이에 governance layer가 필요하다는 뜻이다.

1-2. Why previous approaches are insufficient

기존 접근은 크게 두 부류로 볼 수 있다.

첫째, memory-based agent는 과거 trajectory나 reflection을 검색해 prompt에 넣는다. 이 방식은 구현이 단순하고 evidence를 보존하기 쉽지만, retrieved trace가 곧바로 reusable behavior가 되지는 않는다. 같은 error message가 다른 원인에서 발생할 수도 있고, task-specific action을 무리하게 재사용할 수도 있다.

둘째, trajectory-to-skill 방식은 경험을 natural-language procedure나 executable tool로 압축한다. 하지만 promotion 기준이 약하면 skill hallucination과 over-generalization이 생긴다. Skill의 출처, 적용 경계, 실패 history가 분리되어 있으면 잘못된 skill을 사후에 추적하기도 어렵다.

MSCE는 이 두 흐름을 연결하되, memory와 skill을 같은 object로 취급하지 않는다. Memory는 evidence와 abstraction을 관리하고, skill은 검증된 procedure를 실행하는 별도 계층으로 둔다.

2. Core Idea

2-1. Main contribution

MSCE의 핵심 기여는 세 단계 memory와 별도 skill registry를 evidence anchor와 value signal로 연결한 것이다.

Layer	Stored object	Main role
L1 Trace Memory	state, action, observation, reflection, value	실제 interaction evidence 보존
L2 Policy Memory	trigger, procedure, verification, boundary, L1 links	반복 경험에서 reusable policy 유도
L3 Environmental Cognition	environment structure, constraint, action-response regularity	여러 policy를 관통하는 declarative knowledge 추상화
Skill Registry	executable procedure, tool list, decision guidance, reliability	검증된 policy를 future task에서 실행

중요한 점은 L1에서 곧바로 skill로 가지 않는다는 것이다. L1 trace가 value threshold를 넘으면 L2 policy의 evidence가 되고, 여러 episode에서 positive gain과 stability가 확인된 L2 policy만 skill crystallization 후보가 된다. L3는 environment에 대한 더 넓은 규칙을 제공해 policy와 skill의 적용 범위를 보완한다.

2-2. Design intuition

MSCE의 설계 직관은 “memory에서 skill로의 승격은 summarization이 아니라 evidence-governed promotion”이라는 데 있다.

한 episode의 terminal reward를 모든 step에 동일하게 주면 exploration step과 decisive step을 구분하기 어렵다. MSCE는 reflection score를 이용해 terminal feedback을 trace로 backfill한다.

\[V(f_{i,t}^{(1)}) = \alpha_{i,t} R_i + (1-\alpha_{i,t})\gamma V(f_{i,t+1}^{(1)})\]

여기서 $R_i$는 episode feedback, $\alpha_{i,t}$는 해당 step의 reflection이 terminal outcome을 얼마나 직접 설명하는지 나타내는 weight, $\gamma$는 discount factor다. Reflection을 절대적인 truth로 믿는 것이 아니라, feedback attribution을 조절하는 heuristic signal로 사용한다.

L2 policy는 다음과 같은 구조를 가진다.

\[f^{(2)} = (\phi, \pi, \kappa, \mathcal{B}, \{f^{(1)}\})\]

• $\phi$: trigger condition
• $\pi$: natural-language procedure
• $\kappa$: verification 또는 fallback criterion
• $\mathcal{B}$: applicability boundary
• ${f^{(1)}}$: supporting L1 evidence

이 구조 덕분에 policy는 “무엇을 할 것인가”뿐 아니라 “언제 적용하고, 어떻게 성공을 검증하며, 어떤 evidence에서 나왔는가”를 함께 가진다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	Long-horizon interaction을 grounded memory와 reusable skill로 누적
Learning mode	Base LLM parameter를 바꾸지 않는 training-free online evolution
Main state	L1, L2, L3 memory와 skill registry
Promotion signal	Trace value, policy gain, reliability, evidence coverage
Safety mechanism	Evidence ID 검사, observed tool whitelist, deterministic schema verifier
Runtime use	Current task에 맞는 memory와 skill을 retrieve하고 applicability를 다시 평가

MSCE의 전체 loop는 episode execution, feedback processing, trace valuation, policy induction, cognition abstraction, skill crystallization, retrieval과 lifecycle update로 이어진다.

3-2. Module breakdown

1) L1 grounded trace

L1은 가장 구체적인 interaction unit이다. State, action, observation, reflection과 value를 보존하며, 이후 abstraction이 원문 evidence를 잃지 않도록 anchor 역할을 한다.

여기서 중요한 것은 successful trace만 저장하지 않는다는 점이다. 실패 trace도 error signature와 corrective reflection을 제공할 수 있다. 다만 후속 policy induction에서 value와 episode evidence를 이용해 weight가 조정된다.

2) L2 reusable policy

Value가 충분한 L1 trace는 embedding similarity, domain tag, tool type, normalized error signature를 이용해 기존 L2 policy와 연결되거나 새 candidate를 만든다.

L2 policy는 반복 evidence를 통해 trigger와 procedure를 다듬는다. 예를 들어 container에서 Python package compilation이 실패한 여러 episode가 모이면, 단순히 특정 package 설치 command를 외우는 대신 다음과 같은 policy를 만들 수 있다.

• Trigger: container에서 system library 부족으로 pip build가 실패한다.
• Procedure: missing component를 찾고 OS package manager로 development library를 설치한 뒤 재시도한다.
• Verification: package import 또는 target build가 성공하는지 확인한다.
• Boundary: container 환경에 한정하고 native system에는 무조건 적용하지 않는다.

이처럼 procedure와 boundary를 함께 유도하는 것이 flat memory와의 차이다.

3) L3 environmental cognition

L3는 여러 L2 policy를 관통하는 environment-level regularity를 저장한다. Tool invocation의 일반 규칙, dependency hierarchy, action-response relation, environment constraint 같은 declarative knowledge가 여기에 들어간다.

L3는 직접 실행되는 skill이 아니다. 대신 current task와 retrieved policy의 applicability를 판단하고, 새로운 situation에서 과도한 skill injection을 줄이는 context를 제공한다.

4) Skill crystallization

L2 policy가 positive estimated gain과 stability 조건을 충족하면 skill draft가 생성된다. Draft에는 precondition, ordered step, parameter, example, allowed tool, verification, decision guidance가 포함된다.

그 다음 deterministic verifier가 세 가지를 확인한다.

1. Required schema가 완전한가.
2. Cited evidence ID가 실제 support set에 있는가.
3. Declared tool과 command가 evidence에서 관찰된 whitelist를 벗어나지 않는가.

이 검증을 통과해야 skill registry에 들어간다. Reliability는 invocation 결과에 따라 갱신되고, 낮아진 skill은 retrieval 우선순위가 떨어지거나 archive 대상이 된다.

5) Retrieval and value calibration

새 task가 오면 memory와 skill candidate를 retrieve한 뒤, current context에서 expected gain과 applicability를 다시 평가한다. 논문의 ablation에서 value calibration을 제거하면 모든 domain에서 Pass@1이 낮아지고 cost가 증가한다. 즉 retrieval score만으로 skill을 주입하는 것보다, “지금 이 skill을 써도 되는가”를 한 번 더 판단하는 과정이 중요하다.

4. Training / Data / Recipe

4-1. Data

MSCE는 별도의 offline training corpus로 base model을 fine-tune하지 않는다. EvoAgentBench의 online evolution episode에서 memory와 skill을 축적하고, LoCoMo에서는 long-dialogue memory consistency를 평가한다.

EvoAgentBench는 다섯 domain을 포함한다.

• Information Retrieval, IR
• Mathematical Reasoning, Math
• Software Engineering, SE
• Code Implementation, Code
• Knowledge Work, KW

각 domain은 success criterion과 cost 단위가 다르다. Math cost는 character 수이고, 나머지는 interaction turn 수다. 따라서 domain 간 raw cost를 직접 비교하기보다 같은 domain 안에서 method를 비교해야 한다.

4-2. Training strategy

정확히 말하면 MSCE의 핵심은 model training이 아니라 external cognitive state update다.

• Agent backbone: GPT-5.2
• Auxiliary prompted operators: GPT-4o
• Runtime: OpenClaw v2026.5.7
• Updated objects: trace value, L2 policy, L3 cognition, skill state
• Frozen object: base LLM parameter

GPT-4o는 reflection scoring, L2 induction, L3 abstraction, skill drafting에 사용된다. 생성 결과를 그대로 신뢰하지 않고 evidence constraint와 deterministic verifier를 통과시킨다는 점이 중요하다.

4-3. Engineering notes

실제 구현에서 재사용할 만한 포인트는 다음과 같다.

1. Evidence lineage를 first-class field로 둔다.
   • Policy와 skill마다 source episode와 trace ID를 남겨야 한다.
   • 결과가 나빠졌을 때 어느 evidence에서 잘못 일반화되었는지 추적할 수 있다.
2. Promotion과 retrieval을 분리한다.
   • 좋은 policy라도 모든 task에서 retrieve할 필요는 없다.
   • Skill quality와 task applicability를 별도 score로 관리하는 편이 안전하다.
3. Tool whitelist를 evidence에서 만든다.
   • LLM이 plausible하지만 존재하지 않는 command를 skill에 추가하는 것을 줄일 수 있다.
4. Skill lifecycle을 운영 지표로 남긴다.
   • Invocation count, success count, recent failure, environment version을 기록해야 한다.
   • 단순 vector DB entry보다 registry에 가까운 관리가 필요하다.

5. Evaluation

5-1. Main results

EvoAgentBench에서 MSCE는 다섯 domain 모두 best 또는 tied-best Pass@1을 기록한다.

Domain	MSCE Pass@1	MSCE cost	Strongest-baseline 대비 핵심 결과
IR	26.15	8.7 turns	Pass@1 +4.61 points
Math	47.00	1140.9 chars	Pass@1 +4.00 points
SE	53.85	40.8 turns	Pass@1 +15.39 points
Code	61.54	2.0 turns	Best와 동률, cost 3.9 -> 2.0
KW	53.45	15.0 turns	Pass@1 +5.17 points

SE에서는 성공률이 크게 오르는 대신 cost가 37.3에서 40.8 turns로 증가한다. Repository navigation, edit, test를 더 수행해야 실제로 issue를 해결할 수 있다는 점을 고려하면, 낮은 cost만을 효율성으로 해석해서는 안 된다.

LoCoMo에서는 overall judge 61.23, F1 49.89를 기록한다. 가장 강한 baseline인 SkillFlow-Evolve보다 각각 2.01, 1.18 points 높다.

5-2. What really matters in the experiments

1) Flat memory와의 차이가 크다

Flat Memory로 바꾸면 IR, Math, SE Pass@1이 각각 15.38, 16.00, 19.23 points 떨어진다. 이는 성능 향상이 단순히 더 많은 experience를 저장한 결과가 아니라, hierarchy, applicability gate, skill promotion을 결합한 결과임을 보여준다.

2) Skill crystallization이 일관되게 기여한다

Skill crystallization을 제거하면 domain별 Pass@1이 6.15-11.54 points 감소하고 모든 domain에서 cost가 증가한다. Memory retrieval만으로는 반복 시행착오를 충분히 줄이지 못하며, 검증된 procedure 형태의 reuse가 필요하다는 근거다.

3) Cross-domain transfer가 positive다

여섯 source-target pair 모두에서 Pass@1이 2.56-5.13 points 오르고, 평균 gain은 3.93 points다. Cost도 여섯 pair 중 네 pair에서 감소한다. 다만 이 결과가 완전한 zero-shot transfer는 아니다. Source에서 진화한 memory와 skill로 target을 initialize한 뒤 target domain에서 추가 evolution을 수행한다.

4) Lifelong curve가 단순 memory accumulation보다 중요하다

Experience scale이 p0에서 p100으로 늘어날 때 Math, SE, IR Pass@1은 각각 17.00, 15.39, 13.84 points 증가한다. Cost는 초기에 오르다가 다시 낮아진다. 이 형태는 system이 experience를 계속 붙이는 것이 아니라, 점차 더 짧은 path를 찾도록 정리하고 있음을 시사한다.

6. Limitations

1. Governance score는 causal estimate가 아니다.
   • Trace value, policy gain, reliability는 ranking과 filtering을 위한 heuristic이다.
   • 특정 policy가 counterfactual하게 success를 만들었다고 보장하지 않는다.
2. Prompted operator 의존성이 크다.
   • Reflection scoring, policy induction, cognition abstraction, skill drafting이 auxiliary LLM에 의존한다.
   • Model과 prompt가 바뀌면 memory structure와 promotion decision도 달라질 수 있다.
3. Training-free가 cost-free를 뜻하지 않는다.
   • Parameter update는 없지만 auxiliary inference, verification, storage, retrieval cost가 추가된다.
   • Long-running service에서는 memory maintenance 비용을 별도로 측정해야 한다.
4. Runtime와 tool interface에 종속된다.
   • OpenClaw, GPT-5.2, GPT-4o 조합에서 얻은 absolute result가 다른 agent harness에 그대로 유지된다고 단정하기 어렵다.
5. Privacy와 procedural safety가 남는다.
   • Trace와 skill에는 user information, credential-like string, environment secret, unsafe procedure가 남을 수 있다.
   • Rule-based redaction만으로는 충분하지 않으며 access control과 deletion policy가 필요하다.
6. Skill interaction은 더 복잡해질 수 있다.
   • 개별 skill reliability가 높아도 여러 skill을 연속 실행할 때 conflict가 생길 수 있다.
   • 논문의 현재 평가는 skill composition과 adversarial memory poisoning을 충분히 다루지 않는다.

7. My Take

7-1. Why this matters for my work

이 논문의 가장 중요한 기여는 memory algorithm 하나보다 “agent experience를 운영 자산으로 승격시키는 contract”를 명시했다는 점이다.

Production agent에서 memory는 vector DB에 conversation을 넣는 기능으로 끝나기 쉽다. 그러나 실제로 필요한 것은 evidence lineage, promotion threshold, applicability boundary, reliability update, archive condition을 가진 registry다. MSCE는 이 operational requirement를 비교적 일관된 object model로 보여준다.

특히 document QA, research agent, coding agent처럼 같은 environment와 tool을 반복 사용하는 system에 잘 맞는다. 실패 trace에서 error signature를 모으고, 검증된 remediation만 skill로 승격시키면 단순 prompt memory보다 안정적인 reuse가 가능하다.

7-2. Reuse potential

바로 실험해볼 수 있는 최소 구현은 다음과 같다.

1. L1 trace schema부터 고정한다.
   • task ID, state summary, action, observation, verifier result, reflection, environment version을 저장한다.
2. L2 policy에 boundary를 필수화한다.
   • Procedure만 생성하지 말고 trigger, stop condition, fallback을 같이 생성한다.
3. Promotion을 batch job으로 분리한다.
   • Online execution 중 즉시 skill을 만들지 않고, 여러 episode가 모인 뒤 evidence review를 수행한다.
4. Skill마다 regression test를 둔다.
   • 과거 성공 case와 known failure case를 replay해 reliability를 갱신한다.
5. Retrieval 결과를 audit log로 남긴다.
   • 어떤 skill이 왜 선택되었고 실제 outcome에 어떤 영향을 주었는지 추적한다.

7-3. Follow-up papers

• Reflexion: Language Agents with Verbal Reinforcement Learning
• ExpeL: LLM Agents Are Experiential Learners
• MemSkill: Learning and Evolving Memory Skills for Agents
• SkillFlow: Efficient Skill Evolution for LLM Agents
• LoCoMo: Evaluating Very Long-Term Conversational Memory of LLM Agents

8. Summary

• MSCE는 agent experience를 L1 trace, L2 policy, L3 environmental cognition으로 계층화한다.
• Positive gain과 evidence stability를 가진 L2 policy만 verified skill로 crystallize한다.
• Base LLM을 다시 학습하지 않고 external memory와 skill registry를 online update한다.
• EvoAgentBench 전 domain에서 best 또는 tied-best Pass@1을 기록하고, cross-domain 및 lifelong evolution에서도 positive result를 보인다.
• 핵심 가치는 더 많은 memory가 아니라 evidence lineage, applicability gate, promotion, lifecycle을 포함한 governance design에 있다.