TaskMem Review
0. Introduction
Task-Focused Memorization for Multimodal Agents는 multimodal agent의 long-term memory를 “무엇을 저장할 것인가”라는 관점에서 다시 정의하는 논문이다. 기존 memory-augmented agent 논문들은 memory bank, retrieval, consolidation, compression 같은 system module을 많이 다뤘다. 그런데 실제 agent가 streaming video, audio, spatial signal을 계속 받는다면 더 근본적인 병목은 storage 구조 이전에 memory selection이다.
이 논문의 질문은 단순하다. agent가 보는 모든 것을 저장할 수 없다면, 미래 task에 도움이 되는 정보만 골라서 기억하게 만들 수 있는가. TaskMem은 이 문제를 fixed summarization prompt가 아니라 learnable memorization policy로 푼다. Phase One에서는 memory 자체의 fidelity, non-redundancy, formatting, richness를 학습하고, Phase Two에서는 deployment 이후 최근 task feedback을 이용해 task-relevant memory를 더 잘 만들도록 adapter를 조정한다.
한 줄 요약: TaskMem은 multimodal agent의 episodic memory generation을 RL 기반 memorization policy로 만들고, deployment task feedback을 2,048-parameter adapter에 반영해 “how to memorize”와 “what to memorize”를 분리해서 학습하는 논문이다.
이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.
- agent memory 문제를 retrieval architecture가 아니라 memorization policy learning 문제로 정식화한다.
- Phase One과 Phase Two를 나눠 memory quality와 task relevance를 분리해서 최적화한다.
- Phase Two에서 full fine-tuning 대신 2,048-parameter additive adapter를 사용해 online adaptation과 catastrophic forgetting 문제를 같이 다룬다.
- VideoMME, EgoLife, EgoTempo를 streaming memory evaluation으로 재구성해, question을 raw video가 아니라 generated memory만 보고 풀게 만든다.
- multimodal agent에서 personalization, continual learning, memory routing을 어떻게 설계할지에 대한 꽤 실용적인 단서를 준다.
이 논문은 “더 큰 memory를 붙이자”는 논문이라기보다, “무엇을 memory로 남겨야 미래 task utility가 커지는가”를 학습 대상으로 바꾼 논문에 가깝다. 그래서 memory module 자체보다도, memory generation policy와 feedback loop 설계가 핵심이다.
1. Problem Setting
1-1. Problem definition
- 이 논문이 겨냥하는 문제는 streaming multimodal agent의 long-term episodic memory generation이다.
- agent는 비디오 segment를 순차적으로 관찰하고, 각 segment에 대해 memory를 생성한다.
- 이후 question은 raw video 없이 generated memory만 보고 답해야 한다.
- 따라서 평가되는 것은 video understanding 자체라기보다, video에서 미래 task에 필요한 내용을 memory로 남겼는가이다.
- 개념적으로 evaluation은 아래처럼 볼 수 있다.
- 여기서 $memory$가 충분하지 않으면 answer generator는 “insufficient information”을 반환한다.
- 즉 이 setting은 memory의 coverage와 precision을 동시에 본다.
1-2. Why previous approaches are insufficient
- 기존 multimodal memory agent들은 memory store, retrieval, summarization, consolidation 같은 system-level component에 집중하는 경우가 많다.
- 그러나 memory content generation 자체는 prompt engineering이나 synthetic SFT template에 의존하는 경우가 많다.
- 이 경우 agent가 어떤 role을 갖는지, 어떤 task를 자주 받는지, 어떤 환경에서 동작하는지에 따라 memory focus가 바뀌어야 한다는 점이 약해진다.
- 예를 들어 housework robot은 집 구조, 물건 위치, 청소 상태를 기억해야 하고, user assistant는 user preference, habit, emotion cue를 더 중요하게 기억해야 한다.
- 같은 scene이라도 task distribution이 다르면 저장해야 할 내용이 달라진다.
- 결국 문제는 “많이 저장하기”가 아니라 “task utility가 높은 정보를 선택적으로 저장하기”다.
이 지점에서 이 논문은 memory를 passive storage가 아니라 active, goal-driven process로 본다. multimodal agent가 unbounded stream을 받는다면 모든 observation을 같은 밀도로 요약하는 것은 불가능하다. agent가 앞으로 받을 가능성이 높은 task를 기준으로 기억의 초점을 바꿔야 한다.
2. Core Idea
2-1. Main contribution
TaskMem의 기여는 크게 네 가지로 볼 수 있다.
- Memorization policy formulation
- memory generation을 fixed prompt가 아니라 learnable policy로 정의한다.
- policy는 recent video segments와 previous memories를 보고 현재 segment의 episodic memory를 생성한다.
- 목표는 faithful, coherent, non-redundant, task-useful memory를 만드는 것이다.
- Phase One: how to memorize
- deployment 이전 단계에서 기본 memory quality를 학습한다.
- reward는 format, thinking length, quality, richness로 구성된다.
- 이 단계는 task-specific focus보다, 좋은 episodic memory가 가져야 할 기본 조건을 학습하는 과정이다.
- Phase Two: what to memorize
- deployment 이후 최근 environment task를 feedback으로 사용한다.
- sparse task feedback을 pairwise preference data로 증강하고, DPO로 task-relevant memory를 더 잘 만들도록 학습한다.
- backbone 전체가 아니라 single-layer additive adapter만 업데이트한다.
- Streaming memory evaluation
- VideoMME, EgoLife, EgoTempo를 sequential task stream으로 재구성한다.
- question은 video가 처리된 뒤에만 주어진다.
- answer generator는 raw video가 아니라 generated memory만 보고 답한다.
- 그래서 benchmark score는 memory utility를 직접 반영한다.
2-2. Design intuition
이 논문의 설계 직관은 두 층으로 나뉜다.
첫째, memory quality와 task relevance는 같은 문제가 아니다. 정확하고 non-redundant한 memory를 만드는 능력은 중요하지만, 그것만으로 충분하지 않다. memory가 아무리 정확해도 future task와 무관하면 agent 입장에서는 비효율적인 기억이다.
둘째, deployment task feedback은 sparse하고 online이다. 실제 환경에서 agent가 받을 feedback은 많지 않고, task distribution은 계속 변할 수 있다. 그래서 Phase Two는 full model update보다 훨씬 가벼운 형태여야 한다. 논문은 이 역할을 2,048-parameter additive adapter에 맡긴다.
이 설계가 흥미로운 이유는 memory를 세 가지 층으로 분리해서 보기 때문이다.
| Layer | Question | TaskMem design |
|---|---|---|
| Memory content | 지금 본 clip에서 무엇을 말로 남길 것인가 | episodic memorization policy |
| Memory quality | 그 memory가 정확하고 중복이 적으며 형식을 지키는가 | Phase One RL reward |
| Memory focus | 이 환경의 task에 맞는 detail을 남기는가 | Phase Two task adapter |
이 분리가 이 논문의 가장 큰 장점이다. agent memory를 단일 summarizer로 보면 “잘 요약했는가” 정도만 보게 되지만, TaskMem처럼 나누면 memory가 왜 실패했는지를 훨씬 잘 진단할 수 있다.
3. Architecture / Method
3-1. Overview
| Item | Description |
|---|---|
| Goal | streaming multimodal agent를 위한 task-focused episodic memory generation |
| Method name | TaskMem |
| Base model | Qwen3-VL-30B-A3B |
| Memory type | episodic memory |
| Phase One | GSPO 기반 RL로 how to memorize 학습 |
| Phase Two | recent task feedback으로 what to memorize 학습 |
| Phase Two update | single-layer additive vector adapter |
| Adapter size | 2,048 trainable parameters |
| Evaluation | raw video 없이 generated memory만으로 VQA answer generation |
| Benchmarks | VideoMME, EgoLife, EgoTempo |
3-2. Module breakdown
1) Streaming episodic memory formulation
TaskMem은 long video를 10-second clip sequence로 처리한다. 각 step에서 policy는 최근 video clips와 이전 memory를 보고 현재 clip에 대한 episodic memory를 생성한다.
중요한 점은 memory가 단순 caption이 아니라 history-aware event memory라는 것이다.
- 현재 clip의 visual content를 설명해야 한다.
- 이전 clips와 identity, event continuity가 맞아야 한다.
- 이미 기록된 memory와 중복되지 않아야 한다.
- 나중에 question이 들어왔을 때 answer evidence로 쓰일 수 있어야 한다.
논문은 identity continuity를 위해 face ID와 speaker ID를 video input 쪽에 annotation한다. detected faces는 global face ID가 붙은 bounding box로 표시하고, ASR transcript는 speaker ID가 있는 subtitle로 overlay한다. 이 방식은 tool output을 긴 text context로 붙이는 대신, video 자체에 identity cue를 넣어 context 길이를 줄이려는 설계다.
2) Phase One: How to Memorize
Phase One은 deployment 전에 수행된다. 목표는 task-specific focus가 아니라 기본적인 memory construction capability다.
논문은 SFT 대신 RL을 사용한다. 이유는 memory generation이 open-ended long-form task라서 maximum likelihood objective만으로는 global quality requirement를 직접 강제하기 어렵기 때문이다. TaskMem은 GSPO를 사용해 sequence-level reward를 최적화한다.
Phase One reward는 네 부분으로 구성된다.
\[R = R_format + R_len + R_quality + R_rich\]각 항목의 역할은 다음과 같다.
| Reward | Role |
|---|---|
| $R_format$ | output이 predefined format을 따르는지 확인 |
| $R_len$ | reasoning이 과도하게 길어지는 것을 penalty로 제어 |
| $R_quality$ | accuracy, non-redundancy, style 관점의 memory quality 평가 |
| $R_rich$ | 정확하지만 빈약한 memory로 reward를 hack하는 것을 방지 |
이 중 richness reward가 중요하다. 논문은 richness reward를 빼면 training reward가 더 안정적으로 좋아지는 것처럼 보이지만, 실제로는 policy가 짧고 실질 정보가 적은 memory를 생성하는 방향으로 reward hacking한다고 분석한다. 그래서 memory RL에서는 단순 correctness reward만으로는 부족하고, 정보량 또는 evidence richness를 별도로 제어해야 한다.
Phase One training은 두 단계로 진행된다.
- Off-policy history training
- Gemini-2.5-Pro가 이전 memory trajectory를 합성한다.
- 이 synthetic history를 context로 사용해 현재 memory generation을 GSPO로 학습한다.
- 장점은 current policy로 history를 계속 만드는 비용을 줄일 수 있다는 것이다.
- 단점은 deployment 때는 policy가 자기 memory를 history로 쓰기 때문에 distribution gap이 생긴다는 것이다.
- On-policy history training
- current policy가 만든 history를 사용해 GSPO training을 이어간다.
- training-time history와 deployment-time history의 distribution을 맞추는 단계다.
- batch evolution에서는 clip count threshold와 keeping probability를 사용해 long context exposure와 video diversity를 조절한다.
논문은 Phase One에서 총 326개 long video를 사용하고, video당 평균 25.15 clips를 사용한다고 보고한다.
3) Reward model and training stabilization
Phase One의 reward model 구현도 실무적으로 볼 만하다.
- format reward와 length penalty는 rule-based다.
- quality reward는 Gemini-2.5-Flash와 GPT-4o prompting으로 얻는다.
- richness reward는 GPT-4o prompting으로 memory richness를 rank한 뒤 scalar reward로 변환한다.
또 하나 중요한 detail은 NSR control이다. 논문은 positive advantage sample을 강화하는 PSR과 negative advantage sample을 penalty하는 NSR을 구분한다. 평균 reward가 이미 높은 구간에서는 NSR이 instability를 만들 수 있다고 보고, positive reward sample에 대해 NSR을 비활성화하는 전략을 쓴다.
이 부분은 memory RL뿐 아니라 long-form generation RL 전반에 중요하다. open-ended output에서는 “틀린 sample을 더 강하게 밀어내기”가 항상 안정성을 주는 것은 아니다. 이미 꽤 좋은 policy에서는 negative signal이 output diversity와 길이, richness를 이상하게 왜곡할 수 있다.
4) Phase Two: What to Memorize
Phase Two는 deployment 이후에 일어난다. 여기서 문제는 agent가 최근 task를 보고 memory focus를 조정하는 것이다.
예를 들어 최근 task가 object recognition 중심이면 memory는 object attribute, count, visual detail을 더 많이 남겨야 한다. 반대로 relation이나 temporal reasoning 중심이면 event order, relation, transition을 더 잘 남겨야 한다.
Phase Two는 아래 흐름으로 동작한다.
- Phase One policy로 candidate memory rollout을 미리 만든다.
- deployment 중 agent가 최근 task feedback을 수집한다.
- reward model이 recent task intent를 추론하고, 두 candidate memory 중 어떤 것이 해당 environment task에 더 relevant한지 pairwise preference를 만든다.
- 이 preference data로 DPO를 수행한다.
- base MLLM은 frozen으로 두고, single-layer additive adapter만 업데이트한다.
adapter는 특정 transformer layer output에 더해지는 trainable vector로 볼 수 있다.
\[h_l' = h_l + a_task\]여기서 $a_task$가 task-specific memory focus를 나타내는 activation-space direction처럼 동작한다. 논문은 모든 실험에서 layer 22에 adapter를 넣고, shallow와 middle layer placement가 deep layer보다 좋다고 보고한다.
5) Why adapter instead of full update
Phase Two에서 full update를 하지 않는 이유는 세 가지다.
- Catastrophic forgetting
- Phase One에서 배운 general memory quality가 무너지면 안 된다.
- full-parameter tuning은 task relevance는 올릴 수 있지만 memory accuracy와 non-redundancy를 해칠 수 있다.
- Deployment efficiency
- Phase Two는 serving 중 또는 deployment 이후에 빠르게 업데이트될 수 있어야 한다.
- 2,048 parameters만 조정하면 task마다 adapter를 load하는 형태로 운용할 수 있다.
- Parametric personalized memory
- adapter는 memory text 자체가 아니라, memory generation focus를 바꾸는 작은 parameter block이다.
- user나 environment별로 다른 memory focus를 parameter로 들고 있을 수 있다.
이 점은 꽤 흥미롭다. 기존 long-term memory는 보통 external memory store에 저장되는 text나 vector로 생각하기 쉽다. 반면 TaskMem의 Phase Two adapter는 “무엇을 기억할지”라는 preference를 parameter에 압축한다. 논문 표현대로 보면 parametric personalized memory에 가깝다.
4. Training / Data / Recipe
4-1. Data
TaskMem은 training과 evaluation을 분리해서 설계한다.
Phase One training은 in-house long video dataset에서 수행된다. 논문은 326개 long video와 평균 25.15 clips per video를 사용한다고 보고한다. 각 clip은 10-second 단위로 다뤄진다.
Evaluation은 세 개 VQA benchmark를 streaming memory setting으로 재구성한다.
| Dataset | Original focus | TaskMem reformulation |
|---|---|---|
| VideoMME | diverse video types and VQA tasks | short and medium subsets, 600 videos, 1,800 QA pairs |
| EgoLife | egocentric everyday activity | 500 VQA samples across 5 task types |
| EgoTempo | egocentric temporal understanding | 500 VQA samples across 10 task types |
VideoMME는 long video memory가 GPT-4o token limit을 넘을 수 있어서 short와 medium subset만 사용한다. 이 점은 결과 해석에서 중요하다. TaskMem은 long-term memory를 다루지만, VideoMME evaluation 전체가 ultra-long video 전 구간을 모두 포괄하는 것은 아니다.
4-2. Training strategy
Phase One
- Base memorization policy는 Qwen3-VL-30B-A3B다.
- GSPO로 memory generation policy를 학습한다.
- Off-policy history training과 on-policy history training을 순서대로 수행한다.
- reward는 format, thinking length, quality, richness로 구성된다.
- quality reward에는 Gemini-2.5-Flash와 GPT-4o가 사용된다.
- richness reward에는 GPT-4o가 사용된다.
- NSR control을 통해 high-reward regime에서 training instability를 줄인다.
Phase Two
- Phase One policy로 rollout cache를 구성한다.
- recent environment tasks를 사용해 task relevance reward model을 만든다.
- sparse task feedback을 pairwise preference data로 증강한다.
- DPO로 adapter만 학습한다.
- backbone은 frozen이다.
- adapter는 layer 22에 삽입된다.
- adapter size는 2,048 trainable parameters다.
4-3. Engineering notes
TaskMem의 공개 repository는 inference framework 성격이 강하다. raw video를 clip-by-clip으로 stream 처리하고, episodic long-term memory를 만들고, generated memory로 streaming-memory QA evaluation을 수행한다.
pipeline은 크게 세 단계로 나뉜다.
- audio processing
- ASR과 diarization을 수행한다.
- video and voice processing
- face detection, speaker matching, per-clip video rendering을 수행한다.
- episodic memory generation
- per-clip context를 episodic memory로 변환한다.
backend는 Gemini 또는 GPT API를 쓸 수 있고, local Qwen3-VL backend도 지원한다. Hugging Face에는 released Phase One TaskMem checkpoint가 공개되어 있으며, same vLLM backend에서 load할 수 있다고 설명한다.
실무 관점에서는 이 구조가 중요하다. 논문 method는 RL policy learning이지만, 실제 사용 단계에서는 raw video processing, face clustering, ASR, memory serialization, QA evaluation이 모두 붙어야 한다. memory policy만 좋아도 주변 pipeline이 불안정하면 generated memory quality가 흔들릴 수 있다.
5. Evaluation
5-1. Evaluation protocol
TaskMem의 evaluation은 일반 VQA와 다르다.
- 각 benchmark의 video-question pair를 question type별로 group한다.
- 각 group을 하나의 task-specific environment로 본다.
- agent는 task 안의 videos를 sequential하게 본다.
- 각 video에 대해 episodic memory를 생성한다.
- question은 video 처리 후에만 공개된다.
- answer generator는 raw video를 볼 수 없고, generated memory만 볼 수 있다.
이 protocol은 memory를 평가하기 위한 꽤 강한 제약이다. model이 raw video를 다시 보지 못하므로, answer accuracy는 generated memory가 실제로 필요한 정보를 포함했는지에 크게 의존한다.
지표는 세 가지다.
| Metric | Meaning |
|---|---|
| Accuracy | 전체 question 중 correct answer 비율 |
| Coverage | memory가 answer에 필요한 정보를 포함한 비율 |
| Precision | sufficient memory라고 판단된 경우 중 correct answer 비율 |
Coverage와 Precision을 나눠 보는 점이 중요하다. memory가 너무 짧으면 Coverage가 낮고, memory가 부정확하거나 hallucination이 많으면 Precision이 낮아진다. TaskMem은 memory를 많이 쓰는 것보다, 충분하고 믿을 수 있는 memory를 만드는 것을 목표로 한다.
5-2. Main results
주요 결과는 아래 표로 요약할 수 있다.
| Method | VideoMME Acc. | VideoMME Cov. | VideoMME Prec. | EgoLife Acc. | EgoLife Cov. | EgoLife Prec. | EgoTempo Acc. | EgoTempo Cov. | EgoTempo Prec. |
|---|---|---|---|---|---|---|---|---|---|
| EgoGPT | 44.3 | 58.7 | 75.5 | 19.2 | 28.2 | 68.1 | 15.0 | 33.5 | 44.9 |
| HippoMM | 48.9 | 66.6 | 73.5 | 30.4 | 43.4 | 70.0 | 15.8 | 30.8 | 51.1 |
| M3-Agent | 62.5 | 77.7 | 80.4 | 21.8 | 30.8 | 70.8 | 16.0 | 36.3 | 44.2 |
| Gemini-1.5-Pro | 55.3 | 65.9 | 83.9 | 39.4 | 51.6 | 76.4 | 19.7 | 34.3 | 57.4 |
| Gemini-2.5-Pro | 63.2 | 74.8 | 84.4 | 43.8 | 56.6 | 77.4 | 25.8 | 42.3 | 61.0 |
| GPT-5.2 | 67.3 | 80.8 | 83.3 | 34.8 | 48.2 | 72.2 | 32.1 | 51.4 | 62.4 |
| Qwen3-VL-30B-A3B | 61.6 | 74.7 | 82.5 | 38.4 | 52.4 | 73.3 | 22.3 | 38.9 | 57.2 |
| TaskMem | 67.9 | 79.3 | 85.6 | 45.4 | 56.4 | 80.5 | 27.6 | 43.7 | 63.2 |
Qwen3-VL-30B-A3B base 대비 TaskMem의 accuracy 개선은 VideoMME에서 6.3 point, EgoLife에서 7.0 point, EgoTempo에서 5.3 point다. 이 수치는 논문 abstract와 project page 모두에서 핵심 결과로 제시된다.
몇 가지 해석 포인트가 있다.
- VideoMME에서는 TaskMem이 67.9 Acc.로 GPT-5.2의 67.3보다 약간 높다.
- EgoLife에서는 TaskMem이 45.4 Acc.로 비교군 중 가장 높다.
- EgoTempo에서는 GPT-5.2가 32.1 Acc.로 TaskMem의 27.6보다 높다.
- 하지만 EgoTempo Precision은 TaskMem이 63.2로 GPT-5.2의 62.4보다 약간 높다.
즉 TaskMem이 모든 지표에서 모든 model을 이긴다고 읽으면 안 된다. 특히 EgoTempo accuracy에서는 GPT-5.2가 앞선다. 다만 TaskMem은 Qwen3-VL-30B-A3B 기반 memorization policy로 memory precision을 높이고, VideoMME와 EgoLife에서는 closed-source baseline과도 경쟁력 있는 결과를 보인다.
5-3. Phase ablation
Phase One과 Phase Two의 역할은 ablation에서 더 잘 보인다.
| Method | VideoMME Acc. | VideoMME Cov. | VideoMME Prec. | EgoLife Acc. | EgoLife Cov. | EgoLife Prec. | EgoTempo Acc. | EgoTempo Cov. | EgoTempo Prec. |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-30B-A3B | 61.6 | 74.7 | 82.5 | 38.4 | 52.4 | 73.3 | 22.3 | 38.9 | 57.2 |
| + Task Prompt | 64.2 | 77.3 | 83.0 | 40.0 | 51.0 | 78.4 | 24.5 | 42.9 | 57.1 |
| TaskMem Phase One | 64.4 | 75.4 | 85.3 | 39.6 | 51.0 | 77.6 | 23.7 | 37.5 | 63.3 |
| TaskMem | 67.9 | 79.3 | 85.6 | 45.4 | 56.4 | 80.5 | 27.6 | 43.7 | 63.2 |
여기서 중요한 점은 prompt-only baseline도 일부 개선된다는 것이다. 최근 task를 prompt로 넣으면 base model도 어느 정도 task-relevant memory를 만들 수 있다. 하지만 TaskMem은 그보다 더 크게 개선된다. 논문은 이를 parameter update가 prompting alone보다 효과적이라는 근거로 해석한다.
Phase One은 precision을 올리는 경향이 강하다. 예를 들어 VideoMME Precision은 82.5에서 85.3으로 오르고, EgoTempo Precision은 57.2에서 63.3으로 오른다. 이는 Phase One이 memory의 기본 신뢰성을 강화한다는 해석과 맞다.
Phase Two까지 들어가면 accuracy와 coverage가 크게 오른다. 이는 memory가 더 task-relevant해져 answer에 필요한 정보를 포함하는 비율이 올라갔기 때문으로 읽을 수 있다.
5-4. Adapter analysis
Task-specific adapter가 실제로 task focus를 배우는지는 cross-task adapter 실험에서 확인한다. 평가 task를 Object Recognition으로 고정하고, Counting, OCR, Attribute, Object adapter를 바꿔 끼운다.
| Method | Acc. | Cov. | Prec. |
|---|---|---|---|
| TaskMem Phase One | 65.7 | 74.7 | 87.9 |
| w/ Counting adapter | 65.0 | 74.0 | 87.8 |
| w/ OCR adapter | 65.0 | 75.7 | 85.9 |
| w/ Attribute adapter | 65.0 | 74.3 | 87.4 |
| w/ Object adapter | 69.7 | 78.7 | 88.6 |
결과는 꽤 선명하다. Object Recognition 평가에서는 Object adapter만 Acc.를 69.7로 올린다. 다른 adapter는 오히려 Phase One보다 낮거나 비슷하다. 이는 Phase Two adapter가 generic improvement가 아니라 task-specific memory focus를 학습한다는 증거다.
이 실험은 논문의 핵심 주장을 잘 뒷받침한다. adapter가 단순히 모델을 조금 더 좋게 만드는 것이 아니라, 어떤 detail을 memory에 남겨야 하는지에 대한 방향을 바꾼다는 것이다.
5-5. What really matters in the experiments
1) Memory-only evaluation이 중요하다
raw video를 다시 보게 하면 VQA score는 video understanding과 memory quality가 섞인다. TaskMem은 answer generator가 memory만 보도록 제한한다. 이 때문에 score가 memory utility를 더 직접적으로 반영한다.
2) Accuracy만 보면 부족하다
Coverage와 Precision을 같이 봐야 한다. memory가 모든 것을 많이 적으면 Coverage는 오를 수 있지만 hallucination이 늘어 Precision이 떨어질 수 있다. 반대로 너무 보수적으로 적으면 Precision은 유지되지만 Coverage가 낮아진다. TaskMem은 이 trade-off를 정면으로 다룬다.
3) Phase One과 Phase Two의 역할이 다르다
Phase One은 memory quality prior를 만든다. Phase Two는 environment task에 맞는 focus를 만든다. 이 둘을 분리한 덕분에 ablation 해석이 깔끔하다.
4) Adapter는 작은데 의미가 크다
2,048 parameters는 Qwen3-VL-30B-A3B 전체 크기에 비하면 극도로 작다. 그런데 task-specific focus 변화가 확인된다. 이는 agent personalization이나 environment-specific behavior steering에 꽤 중요한 힌트를 준다.
5) EgoTempo 결과는 보수적으로 읽어야 한다
EgoTempo에서는 GPT-5.2의 accuracy가 TaskMem보다 높다. 논문은 GPT-5.2의 fine-grained activity description 능력이 강하기 때문이라고 설명한다. 따라서 TaskMem을 “모든 video memory task에서 closed model을 이긴다”로 읽으면 과장이다. 더 정확한 해석은 Qwen3-VL 기반 memory policy가 task-focused adaptation으로 strong memory utility를 만든다는 것이다.
6. Limitations
- Backbone generality가 아직 제한적이다.
- 핵심 memorization policy는 Qwen3-VL-30B-A3B 기반이다.
- 다른 VLM family, 더 작은 model, audio-heavy model, embodied model에서도 같은 Phase One and Phase Two recipe가 유지될지는 추가 검증이 필요하다.
- Evaluation은 재구성된 VQA stream이다.
- VideoMME, EgoLife, EgoTempo를 task stream으로 reformulation한 setting이다.
- 실제 embodied deployment에서 task가 더 불규칙하게 오거나, action feedback이 포함되거나, user preference가 장기간 변하는 상황과는 차이가 있다.
- Answer generator와 reward model 의존성이 있다.
- evaluation에서 GPT-4o가 generated memory를 보고 answer를 만든다.
- Phase One reward에도 Gemini-2.5-Flash, GPT-4o, GPT-4o-based richness ranking이 들어간다.
- appendix에서 다른 answer generator에 대한 robustness를 제시한다고 하지만, judge와 reward model bias는 여전히 중요한 변수다.
- VideoMME는 short와 medium subset만 사용한다.
- 논문은 long video memory가 GPT-4o token limit을 넘을 수 있어서 VideoMME의 short and medium subset만 사용한다고 설명한다.
- 따라서 ultra-long video memory 능력까지 이 결과로 일반화하기는 어렵다.
- Privacy와 safety 문제가 크다.
- TaskMem이 말하는 task-focused memory는 user-centric memory, preference, habit, emotion cue 같은 정보를 기억할 수 있다.
- 실제 product에서는 어떤 정보를 기억하면 안 되는지, 언제 잊어야 하는지, user consent를 어떻게 받을지까지 같이 설계해야 한다.
- 논문은 memory selection을 잘 다루지만, privacy-preserving forgetting이나 consent-aware memory policy까지 본격적으로 다루지는 않는다.
- Public reproduction 범위가 제한될 수 있다.
- GitHub repository는 inference framework를 제공하고, Phase One checkpoint가 공개되어 있다.
- 다만 Phase One training에 사용된 in-house long video dataset, reward model setup, online Phase Two environment를 완전히 재현하려면 공개 artifact만으로 부족한 부분이 있을 수 있다.
7. My Take
7-1. Why this matters for my work
이 논문은 multimodal agent memory를 볼 때 기준을 하나 더 추가해 준다.
지금까지 agent memory를 보면 보통 아래 질문을 먼저 했다.
- memory를 어디에 저장할 것인가.
- vector DB를 쓸 것인가, text summary를 쓸 것인가.
- retrieval을 어떻게 할 것인가.
- context window에 어떻게 다시 넣을 것인가.
TaskMem은 그 앞단의 질문을 던진다.
- 애초에 무엇을 memory로 만들 것인가.
- 같은 observation에서도 task에 따라 어떤 detail을 남겨야 하는가.
- memory generator 자체를 task distribution에 맞게 바꿀 수 있는가.
이 관점은 video agent뿐 아니라 document AI, web agent, UI automation agent에도 그대로 이어진다. 예를 들어 document workflow agent라면 문서 전체를 요약하는 것보다, 이후 task가 계약 검토인지, invoice audit인지, compliance search인지에 따라 남겨야 할 memory가 달라진다.
7-2. Reuse potential
재사용하고 싶은 포인트는 아래 네 가지다.
- Memory-only evaluation
- agent가 원본 evidence를 다시 보지 못하고, memory만 보고 downstream task를 풀게 만든다.
- 이렇게 해야 memory가 실제로 useful한지 확인할 수 있다.
- Coverage and Precision split
- memory에 충분한 evidence가 있는지와, 충분하다고 판단했을 때 정확한지 분리해서 본다.
- hallucination-heavy memory와 under-specified memory를 다르게 진단할 수 있다.
- Two-phase memory learning
- Phase One에서 general memory quality를 학습하고, Phase Two에서 task focus를 맞춘다.
- product 환경에서는 default memory policy와 user-specific adapter를 분리하는 방식으로 재사용할 수 있다.
- Tiny task adapter
- full fine-tuning 없이 작은 adapter로 memory focus를 조절한다.
- organization, user, workspace, agent role별로 adapter를 따로 둘 수 있는 가능성이 있다.
7-3. Follow-up papers
- Generative Agents: Interactive Simulacra of Human Behavior
- M3-Agent: Seeing, Listening, Remembering, and Reasoning
- EgoLife: Towards Egocentric Life Assistant
- HippoMem
- MemInsight: Autonomous Memory Augmentation for LLM Agents
- How Memory Management Impacts LLM Agents
8. Summary
- TaskMem은 multimodal agent memory를 storage 문제가 아니라 memorization policy learning 문제로 본다.
- Phase One은 fidelity, non-redundancy, formatting, richness를 통해 “how to memorize”를 학습한다.
- Phase Two는 최근 task feedback을 pairwise preference로 바꾸고, 2,048-parameter adapter로 “what to memorize”를 조정한다.
- 평가에서는 raw video 없이 generated memory만 보고 VQA를 풀게 하므로, memory utility를 비교적 직접적으로 측정한다.
- 실무적으로는 external memory store보다 앞단의 memory generation policy와 task-specific focus가 더 중요할 수 있음을 보여준다.
댓글남기기