Retrieve, Don’t Retrain: Extending Vision-Language-Action Models to New Tasks at Test Time Review

0. Introduction

Paper link

Project page

ReCAP을 “robot policy에 RAG를 붙인 방법” 정도로 읽으면 핵심을 놓치기 쉽다. 이 논문이 바꾸려는 것은 retrieval module 하나가 아니라 새 task를 어디에 저장하고, 어떤 비용으로 policy에 연결할 것인가라는 adaptation boundary다.

기존 Vision-Language-Action model은 새 task를 추가할 때 target robot의 teleoperation data를 모으고, 그 task를 위해 다시 fine-tuning하는 경우가 많다. 이 방식은 task가 늘어날수록 data collection cost와 optimization cost가 함께 증가한다. ReCAP은 반대로 새로운 behavior를 model weight에 다시 기록하지 않는다. Human hand나 더 저렴한 robot embodiment에서 얻은 state-action trajectory를 external retrieval pool에 추가하고, 이미 학습된 frozen policy가 매 control step마다 적절한 trajectory chunk를 찾아 target robot action으로 보정한다.

한 줄 요약: ReCAP은 target robot과 cheap pool embodiment의 paired demonstration으로 cross-embodiment correction을 한 번 학습한 뒤 policy를 고정하고, 새 task는 retrieval pool에 trajectory를 추가하는 것만으로 확장하는 retrieval-conditioned world-action policy다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• VLA의 generalization 문제를 더 큰 pretraining이나 반복 fine-tuning만으로 풀지 않고, parametric policy와 non-parametric behavior memory를 분리한다.
• Retrieval result를 그대로 replay하지 않고, retrieved motion 위에 target embodiment residual을 예측한다.
• Cosmos Policy의 future-image prediction을 retrieval consistency signal로 활용해 action-only VLA와 다른 WAM의 장점을 보여준다.
• Test-time pool growth에 따라 task coverage가 늘어나는지를 PushT와 RoboTwin에서 직접 측정한다.
• Real robot에서도 human-hand demonstration만 추가해 held-out task를 수행하는 setting을 검증한다.

이 논문의 가장 중요한 문장은 “retrieve, don’t retrain” 자체보다 한 단계 더 구체적이다. Task progression은 외부 trajectory memory가 제공하고, policy weight는 embodiment-specific correction을 담당한다. 무엇을 해야 하는지와 어떻게 이 robot으로 실행할지를 분리하는 것이다.

1. Problem Setting

1-1. Problem definition

논문은 cross-embodiment imitation setting을 query side와 pool side로 나눈다.

• Query embodiment: deployment에서 실제로 제어할 target robot이다.
• Pool embodiment: demonstration을 더 저렴하게 수집할 수 있지만 직접 deployment하지 않는 source다. Human hand나 다른 robot이 될 수 있다.
• Training access: 일부 task에서 query와 pool demonstration이 paired되어 있다.
• Test-time access: 새로운 task에서는 pool-side demonstration만 추가된다. Query-side data는 새로 수집하지 않고 model parameter도 업데이트하지 않는다.

이 setting은 다음 문제를 푼다.

새로운 target-robot task마다 teleoperation과 fine-tuning을 반복하지 않고, cheap embodiment의 demonstration만으로 frozen policy의 behavior coverage를 늘릴 수 있는가?

논문이 전제하는 transfer 구조는 두 가지다.

1. Query와 pool embodiment가 공통 low-level action representation을 공유해야 한다. 논문에서는 end-effector pose와 필요할 경우 gripper signal을 사용한다.
2. 두 embodiment의 motion이 trajectory level에서 semantic하게 유사해야 한다. Geometry와 contact dynamics는 달라도 coarse task progression은 재사용 가능하다고 본다.

예를 들어 사람 손으로 bottle을 집어 box에 넣는 trajectory와 robot arm trajectory는 joint configuration이나 contact pattern이 다르다. 하지만 “접근 -> grasp -> 이동 -> release”라는 high-level progression은 공유할 수 있다. ReCAP은 이 공통 progression을 retrieval로 가져오고, embodiment gap만 policy가 residual로 보정한다.

1-2. Why previous approaches are insufficient

1) Per-task target teleoperation은 task 수에 따라 선형으로 비싸진다

Target robot demonstration은 hardware availability, safety setup, operator time, reset cost에 묶인다. Project page와 논문은 equivalent human-hand demonstration보다 target teleoperation이 대략 18배 비싸다고 설명한다. 새 task가 추가될 때마다 target-side data를 다시 모으는 workflow는 behavior catalog가 커질수록 병목이 된다.

2) Per-task fine-tuning은 deployment boundary를 무겁게 만든다

Cosmos Policy 기준으로 논문이 제시하는 per-task fine-tuning cost는 약 24 GPU-hours다. 숫자 자체보다 중요한 것은 operational dependency다. 새로운 task를 support하려면 data collection, training job, checkpoint validation, deployment를 다시 거쳐야 한다. Robot product에서 이것은 model update cycle과 safety review cycle을 매 task마다 반복한다는 뜻이다.

3) Co-training은 pool data를 task-indexed memory로 쓰지 못한다

Pool embodiment data를 target data와 한꺼번에 학습하면 model은 평균적인 representation을 얻을 수 있다. 하지만 특정 current state에서 어떤 trajectory를 따라야 하는지를 explicit하게 선택하지 않는다. 논문 실험에서도 pool data를 단순 union으로 넣는 Co-training은 ReCAP보다 약하다. Pool data가 있다는 사실과, 그중 지금 필요한 behavior를 찾아 conditioning한다는 것은 다른 문제다.

4) Retrieval-only replay는 embodiment mismatch를 교정하지 못한다

가장 가까운 pool action을 그대로 실행하면 object pose와 coarse motion이 잘 맞는 경우에는 도움이 될 수 있다. 그러나 gripper geometry, reachability, contact dynamics, motion speed가 달라지면 같은 action sequence가 collision이나 failed grasp를 만든다. RoboTwin의 Hand-over Mic 예시에서 nearest UR5 trajectory를 직접 replay하는 방식은 microphone을 쓰러뜨리지만, ReCAP은 target embodiment에 맞는 grip orientation을 생성한다.

5) Test-time fine-tuning 기반 retrieval은 여전히 optimization cost를 남긴다

기존 retrieval-based imitation은 relevant demonstration을 찾은 뒤 new task policy를 다시 학습하거나 specialist를 만든다. 이 방식은 data selection cost는 줄여도 optimization boundary를 없애지 못한다. ReCAP의 차이는 cross-embodiment bridge를 한 번 학습하고 이후에는 retrieval index만 바꾼다는 점이다.

6) Hand-picked in-context demonstration은 system scalability가 약하다

사용자가 task마다 prompt demonstration을 직접 고르면 retrieval system을 단순화할 수 있다. 하지만 task library가 커지고 state가 계속 변하면 어떤 demonstration의 어느 subframe을 써야 하는지 자동 선택해야 한다. ReCAP은 trajectory-level prefilter와 control-step-level subframe matching을 분리해 이 문제를 다룬다.

2. Core Idea

2-1. Main contribution

ReCAP의 핵심 기여는 네 가지로 정리할 수 있다.

1) Behavior adaptation을 external memory update로 바꾼다

Training에서는 target embodiment와 pool embodiment의 paired trajectory로 “pool motion을 target motion으로 바꾸는 방법”을 학습한다. 그 이후 policy는 frozen이다. 새 task를 추가할 때는 pool embodiment demonstration을 index에 추가한다.

이 구조에서 task coverage는 parameter update가 아니라 database coverage에 따라 변한다. Model deployment와 behavior deployment를 분리할 수 있다는 뜻이다.

2) Retrieved action을 answer가 아니라 coarse prior로 사용한다

Retrieved trajectory는 target action의 정답이 아니다. ReCAP은 pool action chunk를 coarse plan으로 보고, target embodiment에 필요한 correction만 예측한다.

설명을 위해 notation을 단순화하면 다음과 같다.

\[\hat{a}_{t:t+H}^{q} = a_{t':t'+H}^{p} + \Delta a_{t:t+H}\]

여기서 $a^{p}$는 retrieved pool action chunk, $\Delta a$는 target embodiment correction, $\hat{a}^{q}$는 최종 query action이다.

이 parameterization은 model이 absolute action 전체를 새로 만들게 하지 않는다. Retrieval이 이미 제공한 task direction을 유지하면서 geometry, contact, gripper timing 같은 embodiment-specific difference에 modeling capacity를 집중한다.

3) World-action model의 future-image objective를 consistency signal로 쓴다

ReCAP은 Cosmos Policy 기반 WAM을 사용한다. Policy는 action뿐 아니라 future observation도 함께 생성한다. Joint objective를 단순화하면 다음처럼 볼 수 있다.

\[\mathcal{L}(\theta) = \lambda \mathcal{L}_{\mathrm{act}}(\theta) + \mathcal{L}_{\mathrm{state}}(\theta)\]

Retrieved motion이 현재 scene과 맞지 않으면, 그 motion을 따라갔을 때의 next image도 일관되게 예측하기 어렵다. 반대로 future scene prediction이 맞으려면 object contact와 motion consequence가 target embodiment에 맞아야 한다. 그래서 image objective가 residual action을 학습하는 dense visual signal이 된다.

중요한 점은 future-image prediction이 항상 도움이 되는 generic auxiliary loss가 아니라는 것이다. PushT ablation에서는 retrieval과 residual parameterization이 있을 때 효과가 크고, no-retrieval setting에서는 같은 objective의 이득이 나타나지 않는다. 이 논문은 WAM의 장점을 “미래를 상상하니 좋다”가 아니라 retrieval-conditioned correction과의 interaction으로 설명한다.

4) Retrieval을 closed-loop control 안에서 반복한다

한 번 trajectory를 고르고 끝까지 replay하지 않는다. Episode 시작 시 candidate trajectory set을 만들고, 매 control step마다 current query state와 가장 잘 맞는 subframe을 다시 찾는다. Policy는 action chunk 일부를 실행한 뒤 scene을 다시 관측하고 retrieval과 planning을 반복한다.

이 구조는 error correction에 중요하다. Robot rollout은 작은 contact error만 있어도 demonstration time index에서 벗어난다. ReCAP은 fixed temporal alignment 대신 state-based re-alignment를 반복한다.

2-2. Design intuition

ReCAP의 design intuition은 “what”과 “how”를 분리하는 것이다.

• Retrieval pool은 what to do next에 해당하는 task progression을 제공한다.
• Frozen policy는 how this embodiment should do it에 해당하는 dynamics correction을 제공한다.
• Future-image prediction은 그 correction이 scene evolution과 일치하는가를 확인한다.
• Per-step re-retrieval은 rollout이 reference와 어긋났을 때 어디에서 다시 이어갈지를 결정한다.

이 관점에서 ReCAP은 robotics version RAG와 유사하지만 중요한 차이가 있다. Text RAG에서 잘못된 document retrieval은 답변 품질을 낮춘다. Robot control에서 잘못된 trajectory retrieval은 physical action으로 이어진다. 따라서 retrieval relevance뿐 아니라 temporal alignment, embodiment compatibility, execution confidence가 모두 필요하다.

또 하나의 중요한 nuance는 ReCAP이 “어떤 새 robot에도 zero-shot으로 적용”되는 방법은 아니라는 점이다. 새로운 query embodiment를 처음 연결할 때는 paired query-pool data로 bridge policy를 학습해야 한다. Zero-retraining claim은 이미 bridge가 학습된 target embodiment에 새로운 task를 추가하는 단계에 해당한다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	Frozen target-robot policy에 new task를 test time retrieval로 추가
Query side	Deployment에서 제어할 target embodiment
Pool side	Human hand 또는 cheaper robot embodiment의 demonstration database
Backbone	Cosmos Predict2.5 2B 기반 Cosmos Policy world-action model
Retrieval input	Current query state와 matching pool state-action chunk
Policy output	Query action chunk와 future query observation
Action form	Retrieved pool action 위의 target-specific residual
Adaptation unit	Model checkpoint가 아니라 indexed trajectory
Control loop	Episode-level prefilter + control-step-level subframe re-retrieval
Main assumption	Shared end-effector action representation과 semantically similar motion

3-2. Retrieval-conditioned WAM input

현재 query observation을 $s_t^q$라고 하고, pool에서 선택한 trajectory sub-sequence를 $(s_{t’:t’+H}^p, a_{t’:t’+H}^p)$라고 하자. ReCAP policy는 이를 함께 conditioning으로 받아 query action과 future observation을 예측한다.

\[\pi_{\theta}\left(s_t^q, s_{t':t'+H}^p, a_{t':t'+H}^p\right) \rightarrow \left(\hat{a}_{t:t+H}^q, \hat{s}_{t+H}^q\right)\]

Retrieved observation-action chunk와 current query frame은 clean latent frame으로 encoding되어 temporal axis 앞쪽에 붙는다. Query-side future action과 observation은 noise에서 denoise된다. Language instruction은 cross-attention으로 들어간다.

이 설계의 장점은 backbone architecture를 새로 만들지 않는다는 점이다. Standard image-to-video conditioning이 한 장의 clean frame을 받는다면, ReCAP은 이를 clean state-action sub-sequence로 확장한다. Retrieval은 별도 encoder output을 late fusion하는 것이 아니라 WAM의 temporal context 자체가 된다.

3-3. Residual action parameterization

Absolute action prediction은 retrieved plan과 target action 사이의 관계를 model이 암묵적으로 다시 찾아야 한다. ReCAP은 그 관계를 architecture-level prior로 명시한다.

\[\hat{a}^{q} = a^{p} + \Delta a\]

이렇게 하면 model이 담당하는 variation은 다음으로 좁아진다.

• End-effector geometry 차이
• Contact point와 approach angle 차이
• Gripper closing timing 차이
• Target robot dynamics와 control response 차이
• Pool trajectory와 current scene 사이의 local alignment error

논문에서 흥미로운 부분은 이러한 difference가 action label보다 pixel consequence에서 더 잘 보일 수 있다고 본다는 점이다. 예를 들어 contact가 잘못되면 다음 frame에서 object가 밀리거나 넘어지고, gripper timing이 틀리면 grasp state가 달라진다. Future-image objective는 이 difference를 학습하는 supervision을 보강한다.

3-4. Two-stage retrieval

ReCAP retrieval은 trajectory selection과 temporal alignment를 분리한다.

Stage 1: Trajectory prefilter

Episode 시작 시 current task와 initial scene에 가까운 top-K trajectory를 고른다. Composite descriptor에는 다음 정보가 포함된다.

• Language embedding of the goal
• SAM 3로 얻은 initial task-relevant object position
• Initial proprioception

이 단계의 목적은 전체 pool에서 semantic하게 관련 없는 task를 먼저 제거하는 것이다. “어떤 종류의 behavior인가”를 좁히는 coarse retrieval에 가깝다.

Stage 2: Subframe matching

Stage 1 candidate 안에서 current query state와 가장 잘 맞는 pool time index를 고른다. Matching cost는 다음 signal을 조합한다.

• Object pose distance
• Current proprioception distance
• Proprioception history
• DINOv3 visual feature cosine distance
• Time 또는 trajectory alignment term
• Upcoming action chunk distance at training time only

Training에서는 future pool action을 알기 때문에 action similarity까지 사용해 더 정확한 positive retrieval을 만들 수 있다. Inference에서는 query future action이 없으므로 action term을 제거한다. 논문은 policy가 이 train-to-inference retrieval gap을 action latent에 흡수하도록 학습한다고 설명한다.

왜 두 단계가 필요한가

전체 database의 모든 subframe을 매 control step마다 비교하면 latency와 false match가 커진다. 반대로 episode 시작 시 trajectory 하나만 고정하면 rollout drift를 수정하기 어렵다.

ReCAP은 다음처럼 역할을 나눈다.

1. Stage 1은 episode당 한 번 실행해 task-level candidate를 고른다.
2. Stage 2는 매 control step 실행해 현재 진행 위치를 다시 맞춘다.
3. Policy는 retrieved chunk를 조건으로 residual action chunk를 예측한다.
4. Predicted chunk의 앞부분만 실행한다.
5. 새 observation을 받아 다시 Stage 2 retrieval과 planning을 수행한다.

이 구조는 retrieval-augmented model이면서 receding-horizon controller이기도 하다.

3-5. Decoder mechanism: intake and commit

논문은 PushT decoder cross-attention을 분석해 retrieval-conditioned action generation이 두 단계로 나타난다고 설명한다.

1) L10 intake

초기 주요 layer에서는 action slot이 retrieved chunk의 manipulated object와 task region을 본다. 현재 object pose와 retrieved trajectory 끝의 goal-side pose를 읽어 coarse plan을 받아들이는 단계다.

2) L15 commit

뒤쪽 주요 layer에서는 attention이 model 자신이 예측한 end-of-chunk position으로 이동한다. Retrieved plan을 그대로 복사하는 것이 아니라, target dynamics에 맞게 만든 own prediction에 commit하는 단계다.

No-retrieval model에서는 이 두 peak가 나타나지 않고, 관련 attention을 masking하면 success가 떨어진다. 따라서 retrieved trajectory가 단순 auxiliary context가 아니라 generated action에 causal하게 개입한다고 해석할 수 있다.

Failure analysis도 이 frame으로 읽을 수 있다.

• Weak commit: own predicted future로 충분히 전환하지 못해 decisive execution이 약해진다.
• Under-anchoring: retrieval을 충분히 읽지 않아 task progression을 놓친다.
• Over-anchoring: retrieved motion에 지나치게 붙어 target state에 맞는 correction을 못 한다.

이 분석은 이후 retrieval confidence나 layer-wise gating을 설계할 때 유용한 단서를 준다.

4. Training / Data / Recipe

4-1. Backbone and objective

논문 appendix 기준 base video model은 Cosmos Predict2.5 2B다. Output은 joint action과 future image이며, flow matching으로 학습한다. Action은 retrieved chunk 위의 residual로 parameterize한다.

Training sample은 다음 관계를 학습해야 한다.

\[\left(\text{query state}, \text{paired pool chunk}\right) \mapsto \left(\text{query action residual}, \text{query future state}\right)\]

핵심은 model이 task를 새로 배우는 것이 아니라, paired tasks를 통해 pool embodiment motion을 query embodiment motion으로 변환하는 reusable bridge를 배우는 것이다.

4-2. PushT data

PushT에서는 contact dynamics가 다른 두 2D pusher를 사용한다.

• Query embodiment: triangle pusher
• Pool embodiment: disc pusher
• Training task axis: goal angle -45 deg와 +45 deg
• Training data: 100 paired triangle-disc demonstrations
• Evaluation: -60 deg부터 +60 deg까지 15 deg 간격의 9개 angle
• Unseen angles: 7개
• Test pool: 같은 범위의 disc-pusher demonstration을 5 deg resolution으로 index

이 setup은 task variation이 1D angle로 명확해서 pool growth와 interpolation을 분석하기 좋다. Full pool의 exact angle이 추가되기 전에도 neighboring demonstration으로 performance가 올라가는지를 볼 수 있다.

4-3. RoboTwin 2.0 data

RoboTwin에서는 embodiment와 task complexity를 크게 늘린다.

• Query embodiment: Aloha-Agilex
• Pool embodiment: UR5
• Paired training tasks: 5개
• Paired training episodes: 총 246개
• Held-out evaluation tasks: 5개
• Progressive pool size: 11, 17, 23, 29, 35 tasks

Training episode breakdown은 50, 48, 49, 49, 50으로 구성된다. Appendix는 cross-embodiment pairing이 catastrophically misaligned된 query episode 4개를 제외했다고 명시한다. 이 detail은 중요하다. Retrieval-conditioned training은 wrong pair가 단순 label noise가 아니라 systematic wrong motion prior가 되기 때문에 data alignment quality가 매우 중요하다.

4-4. Real robot data

Real robot setting에서는 pool embodiment가 human hand이고, wrist pose를 VR로 tracking한다.

• Training task: Open cabinet
• Paired robot-human demonstrations: 25개
• Held-out tasks: Place bottle in plastic box, Close cabinet
• Test-time data: held-out task당 human-hand demonstration 10개
• Policy update: 없음
• Evaluation: task당 10 rollouts

이 실험은 ReCAP의 가장 실용적인 claim을 직접 테스트한다. 새 robot demonstration을 추가하지 않고 human demonstration만 pool에 넣어 frozen robot policy를 확장한다.

4-5. Engineering notes

1) Retrieval index quality가 policy quality의 일부다

ReCAP은 model과 database를 분리하지만, quality responsibility가 사라지는 것은 아니다. Wrong trajectory나 wrong subframe이 들어오면 model은 잘못된 prior를 보정해야 한다. 따라서 deployment system에서는 retrieval metrics와 control metrics를 함께 모니터링해야 한다.

권장할 만한 log는 다음과 같다.

• Stage 1 trajectory score margin
• Stage 2 best and second-best subframe score gap
• Retrieval source task와 requested task의 semantic consistency
• Residual norm and saturation rate
• Re-retrieval frequency와 selected time index jump
• Predicted future-state consistency
• Safety controller intervention rate

2) Cross-embodiment normalization이 필수다

End-effector pose, rotation representation, gripper range, temporal sampling rate가 embodiment마다 다르면 retrieval distance와 residual scale이 모두 흔들린다. Appendix는 RoboTwin에서 sign-flip-invariant 6D rotation을 포함한 20D proprioception representation을 사용한다.

실무에서는 최소한 다음이 필요하다.

• Coordinate frame normalization
• Rotation convention normalization
• Gripper state mapping
• Action scale normalization
• Timestamp and control-frequency alignment
• Object frame 또는 task-centric frame 정의

3) Training retrieval과 inference retrieval이 다르다

Training retrieval에는 upcoming action chunk distance를 넣을 수 있지만 inference에는 넣을 수 없다. 이 mismatch를 완전히 숨기기보다 evaluation에서 별도 tracking하는 편이 안전하다. Inference-only feature로 retrieval했을 때의 train set recall과 action-term을 포함했을 때의 oracle recall 차이를 보면 deployment gap을 정량화할 수 있다.

4) Long chunk는 context를 늘리지만 mismatch를 누적한다

Chunk가 길면 high-level motion structure를 더 많이 제공한다. 반면 speed와 temporal phase가 조금만 달라도 residual이 correction해야 할 범위가 커지고 error가 누적된다. Fixed horizon 하나보다 retrieval confidence와 motion complexity에 따라 adaptive chunk length를 쓰는 방향이 자연스럽다.

5) Pool update에는 data governance가 필요하다

ReCAP에서는 new behavior가 model checkpoint가 아니라 external pool에 들어간다. 따라서 rollout capability가 database update만으로 바뀐다. 이는 빠른 배포에 유리하지만 다음 운영 장치를 요구한다.

• Demonstration validation
• Task and embodiment metadata
• Versioned index snapshot
• Rollback 가능한 pool release
• Unsafe trajectory blacklist
• Per-task access control
• Retrieval provenance logging

Model MLOps와 vector database MLOps가 robot behavior release process에서 합쳐지는 구조다.

5. Evaluation

5-1. PushT main results

PushT의 핵심 비교는 pool data를 어떤 방식으로 활용하는가다.

Method	Unseen-angle average success
Cosmos Policy, no pool	6.0%
Retrieval Only	16.9%
Co-train all	19.1%
ReCAP	34.9%

이 결과에서 중요한 것은 세 가지다.

첫째, Retrieval Only가 6.0%에서 16.9%로 올라간다. Pool trajectory 자체가 unseen angle에 유용한 motion prior라는 뜻이다.

둘째, Co-train all이 19.1%에 머문다. 같은 pool data를 weight에 섞는 것보다 current state에 맞는 trajectory를 explicit하게 condition하는 편이 낫다.

셋째, ReCAP이 34.9%에 도달한다. Retrieval의 task prior와 learned embodiment correction이 결합되어야 큰 gain이 나온다.

Pool progression

No-retrieval 6.0%에서 full pool 34.9%까지 unseen-angle average가 monotonic하게 증가한다. 더 흥미로운 점은 exact matching angle demonstration이 pool에 들어오기 전에도 neighboring angle로 상당한 performance를 얻는다는 것이다.

이는 ReCAP이 nearest trajectory를 그대로 memorization하는 것만은 아니라는 증거다. Retrieved motion을 continuous prior로 사용하고 residual policy가 target angle과 embodiment에 맞게 interpolation한다.

5-2. Backbone and future-image ablation

Setting	Unseen-angle average success
pi0.5, no retrieval	6.6%
pi0.5, with retrieval	25.1%
ReCAP without future-image prediction	27.4%
ReCAP with future-image prediction	34.9%

Retrieval은 action-only policy에도 큰 도움을 준다. 따라서 gain을 WAM 하나로 설명하면 안 된다. 하지만 WAM에서는 future-image objective를 더해 27.4%에서 34.9%로 올라간다.

이 실험이 말하는 핵심은 다음과 같다.

• Retrieval이 coarse motion prior를 제공한다.
• Residual action이 embodiment correction을 담당한다.
• Future-image prediction이 correction의 physical consequence를 supervision한다.
• 세 요소의 interaction이 WAM에서 더 강하게 나타난다.

즉 ReCAP은 retrieval, residual, world prediction을 독립적으로 쌓은 구조가 아니라 서로의 role을 좁혀주는 구조다.

5-3. RoboTwin 2.0 main results

Method	Seen-task average	Unseen-task average
Baseline	32.5%	4.0%
Retrieval Only	25.5%	26.0%
Co-training	27.0%	10.0%
ReCAP	43.5%	31.5%

Unseen-task에서는 Retrieval Only가 26.0%로 강한 baseline이다. 이는 task-level motion transfer가 실제로 상당한 비중을 차지한다는 뜻이다. ReCAP은 이를 31.5%로 더 끌어올리며, seen-task도 43.5%로 가장 높다.

Pool progression에서도 11, 17, 23, 29, 35 tasks로 pool을 늘릴 때 unseen average가 9.0%, 18.5%, 19.5%, 22.0%, 31.5%로 증가한다. Frozen policy가 index coverage에 따라 capability를 얻는다는 claim을 가장 직접적으로 뒷받침하는 결과다.

다만 monotonicity를 model intrinsic generalization으로만 해석하면 안 된다. 각 pool level에서 held-out task가 하나씩 retrievable해지도록 구성되어 있다. 이 실험은 “관련 demonstration을 추가하면 frozen policy가 그 behavior를 흡수하는가”를 보여주지만, arbitrary web-scale pool에서 automatic retrieval이 같은 곡선을 만들지는 별도 문제다.

5-4. Real robot results

Task	Baseline	ReCAP
Open cabinet, seen	90%	90%
Place bottle in plastic box, held out	10%	80%
Close cabinet, held out	0%	30%

각 task는 10 rollout으로 평가된다. Sample size가 작기 때문에 80%와 30%를 일반적인 robot success rate로 확대 해석하면 안 된다. 그래도 qualitative claim은 분명하다.

• Baseline은 training task인 open-cabinet motion으로 collapse한다.
• ReCAP은 retrieved human-hand chunk에 따라 task-specific behavior를 바꾼다.
• New robot-side data와 parameter update 없이 held-out behavior가 나타난다.

Close cabinet이 30%에 머문다는 점도 중요하다. Retrieval이 task intent를 제공해도 contact-rich execution과 temporal alignment는 여전히 어렵다. 이 실패가 오히려 ReCAP의 role boundary를 잘 보여준다. Retrieval은 behavior specification cost를 낮추지만 robust control을 자동으로 해결하지는 않는다.

5-5. What really matters in the experiments

1) Retrieval-only baseline이 강하다는 사실을 숨기지 않는다

RoboTwin unseen에서 Retrieval Only는 26.0%다. ReCAP 31.5%와의 gap은 5.5 percentage points다. 이는 단순 action replay가 쓸모없다는 이야기가 아니다. 많은 task에서 source trajectory가 이미 상당한 high-level solution을 담고 있다는 뜻이다.

ReCAP의 기여는 그 strong prior를 target robot에 맞게 보정하고, seen task와 unseen task 양쪽에서 더 안정적으로 쓰는 데 있다.

2) Co-training보다 indexing이 낫다는 결과가 paradigm claim을 지지한다

Pool data를 가지고 있다는 것만으로는 충분하지 않다. 어떤 behavior를 current context에 맞춰 explicit하게 불러오는지가 중요하다. PushT와 RoboTwin에서 Co-training이 ReCAP보다 낮다는 결과는 external behavior memory의 필요성을 지지한다.

3) Pool growth experiment가 단순 평균 score보다 중요하다

이 논문에서 가장 중요한 graph는 final benchmark bar보다 pool progression curve다. Policy parameter를 고정한 상태에서 database만 확장해 coverage가 증가해야 “new task is indexed, not retrained”라는 claim이 성립한다.

4) Future-image objective는 retrieval context가 있을 때 의미가 커진다

WAM을 쓰는 이유를 generic representation power로 돌리지 않고, retrieved trajectory와 predicted scene evolution 사이의 consistency로 연결한다. 이 설계는 video model 기반 robot policy가 단순 visual pretraining backbone 이상으로 어떤 supervision을 줄 수 있는지 보여준다.

5) Attention analysis가 functional decomposition을 뒷받침한다

L10 intake와 L15 commit pattern은 model이 retrieval을 복사만 하는 것이 아니라 읽고, 자체 future prediction으로 전환한다는 해석을 지원한다. Masking intervention까지 포함해 causal relevance를 확인한 점도 좋다.

6) Real robot result는 promising하지만 confidence interval이 크다

Task당 10 rollout이므로 one rollout이 10 percentage points다. 80%와 30%의 exact ranking보다, baseline이 task-conditioned behavior를 거의 못 바꾸는 반면 ReCAP은 human trajectory에 따라 behavior mode를 전환했다는 qualitative evidence에 더 무게를 두는 편이 적절하다.

6. Limitations

6-1. Shared action space assumption

Target과 pool embodiment는 end-effector pose 같은 common low-level action representation을 공유해야 한다. Parallel gripper robot과 dexterous hand처럼 action topology가 크게 다르면 simple residual addition이 성립하지 않는다. Learned action translator나 embodiment-agnostic latent action space가 필요하다.

6-2. Raw video만으로는 pool을 만들 수 없다

ReCAP pool에는 observation뿐 아니라 action 또는 state-action trajectory가 필요하다. YouTube video처럼 action label이 없는 source는 먼저 pose, contact, gripper state, temporal action을 추정해야 한다. 따라서 “internet video를 바로 robot memory로 사용”하는 단계까지는 도달하지 않았다.

6-3. Retrieval representation이 handcrafted signal에 의존한다

Current implementation은 language, SAM 3 object pose, proprioception, DINOv3 visual feature를 조합한다. Feature weight도 benchmark-specific하다. Open-world environment에서는 segmentation error, object identity ambiguity, camera shift, occlusion이 retrieval quality를 크게 흔들 수 있다.

6-4. Temporal and dynamics mismatch에 취약하다

Retrieved motion과 target execution speed가 다르거나 chunk phase가 어긋나면 residual correction이 커진다. 특히 긴 chunk에서는 작은 mismatch가 누적된다. 논문도 execution speed와 temporal scale 차이가 residual reliability를 낮춘다고 명시한다.

6-5. New embodiment transfer는 여전히 paired training이 필요하다

ReCAP은 new task adaptation cost를 줄이지만 new robot embodiment onboarding cost를 없애지 않는다. Target robot마다 pool embodiment와의 paired demonstrations를 모아 bridge policy를 학습해야 한다. “Task scaling”과 “embodiment scaling”을 구분해야 한다.

6-6. Retrieval latency와 large-scale index behavior가 충분히 검증되지 않았다

Stage 2 retrieval을 매 control step 수행하므로 index size, feature extraction cost, real-time deadline이 중요하다. 실험 pool은 curated task trajectory 규모다. Millions of trajectories나 multi-camera video pool에서 latency와 false positive rate가 어떻게 변하는지는 열려 있다.

6-7. Wrong retrieval에 대한 abstention과 safety gate가 없다

Robot system에서는 low-confidence retrieval을 그대로 conditioning하면 위험하다. 논문은 retrieval score threshold, out-of-distribution detector, fallback policy, safety shield를 중심 contribution으로 다루지 않는다. 실제 배포에서는 “모르는 task면 움직이지 않기”가 retrieval recall만큼 중요하다.

6-8. Real robot evaluation 규모가 작다

Real robot은 training task 1개와 held-out task 2개, task당 10 rollout이다. Human-to-robot embodiment gap을 보여주는 proof of concept로는 의미가 있지만, 다양한 object, clutter, lighting, camera, failure recovery까지 포함한 operational evidence는 아니다.

6-9. Public artifact 상태를 다시 확인해야 한다

Draft 작성 시점의 project page에는 Code와 Dataset label이 보이지만 active destination은 확인되지 않았다. Scheduled publication date 전에 official repository, license, checkpoint, dataset release 상태를 다시 확인해야 한다.

7. My Take

7-1. Why this matters for my work

ReCAP의 가장 큰 의미는 robot policy를 다음 두 층으로 분리한 데 있다.

1. Parametric embodiment adapter
   • 특정 robot이 motion prior를 실제 actuator behavior로 바꾸는 법을 weight에 저장한다.
2. Non-parametric task memory
   • 어떤 task progression을 실행할지는 versioned trajectory pool에 저장한다.

이 분리는 LLM system에서 base model과 RAG index를 나누는 방식과 닮았지만, robotics에서는 더 강한 systems implication이 있다. Model checkpoint를 다시 배포하지 않아도 behavior catalog를 바꿀 수 있다. 반대로 database update가 robot capability update가 되므로, index release가 사실상 software release만큼 엄격해져야 한다.

또 하나의 중요한 insight는 WAM을 retrieval verifier처럼 활용한 점이다. Future-image prediction은 retrieved plan을 따라갔을 때 scene이 어떻게 변해야 하는지 묻는다. 향후에는 이를 단순 auxiliary loss보다 적극적으로 써서 다음과 같은 loop를 만들 수 있다.

1. 여러 candidate trajectory를 retrieve한다.
2. 각 candidate를 조건으로 future scene을 rollout한다.
3. Goal consistency와 physical plausibility를 score한다.
4. 위험하거나 불일치한 candidate를 버린다.
5. 가장 안전한 candidate만 action generation에 사용한다.

즉 WAM은 policy backbone을 넘어 retrieval reranker와 safety critic 역할까지 확장될 수 있다.

7-2. Reuse potential

1) Factory task library

같은 robot cell에서 product variant와 assembly sequence가 계속 추가되는 환경에 맞는다. Robot embodiment는 고정하고, operator demonstration을 pool에 추가해 behavior coverage를 늘릴 수 있다.

2) Household manipulation

Human-hand demonstration을 수집하기 쉬운 domain이다. Open, close, place, wipe, move 같은 task를 trajectory memory로 만들고, robot-specific adapter가 correction을 담당하게 할 수 있다.

3) Cross-site robot deployment

같은 end-effector representation을 공유하는 robot fleet라면 site별 task trajectory를 pool로 교환할 수 있다. 다만 camera calibration, object coordinate, control frequency를 canonical representation으로 맞춰야 한다.

4) Human-in-the-loop correction

Failure가 나왔을 때 full fine-tuning dataset을 다시 만들기보다, operator가 short corrective demonstration을 pool에 추가하는 방식으로 빠르게 behavior patch를 배포할 수 있다. 여기서는 retrieval priority와 negative example management가 중요하다.

5) Retrieval-aware policy evaluation

Traditional robot benchmark는 checkpoint 하나의 average success를 본다. ReCAP류 system에서는 다음 axis를 따로 평가해야 한다.

• Fixed policy, growing pool
• Fixed pool, changing retrieval encoder
• Oracle retrieval vs automatic retrieval
• Correct retrieval vs adversarial retrieval
• Pool coverage vs success calibration
• Retrieval latency vs control success
• Abstention quality under no-match tasks

Model score와 memory quality를 분해해야 bottleneck을 찾을 수 있다.

7-3. What I would test next

1) Retrieval confidence calibration

Top-1 score만 쓰지 말고 score margin, ensemble agreement, future-image consistency를 결합해 no-match detection을 만들고 싶다. Confidence가 낮으면 safe stop이나 base policy fallback으로 전환해야 한다.

2) Learned embodiment-invariant retrieval

Current descriptor 대신 contrastive objective로 task phase와 object interaction을 정렬하는 encoder를 학습할 수 있다. Action topology가 달라도 shared semantic phase를 찾는 representation이 필요하다.

3) Multi-candidate planning

한 개 trajectory만 condition하지 않고 top-N candidate를 parallel WAM rollout한 뒤 goal progress와 safety로 rerank하는 방법이 자연스럽다. Retrieval error를 policy가 혼자 감당하지 않게 만든다.

4) Adaptive chunk length

Fast free-space motion에서는 긴 chunk를 쓰고, contact transition에서는 짧은 chunk로 바꾸는 방법을 테스트할 수 있다. Temporal mismatch가 큰 구간에서 residual correction 부담을 줄일 수 있다.

5) Video-to-action lifting

Raw human video에서 3D wrist pose, object pose, contact event, gripper state를 추정해 pool trajectory로 변환하는 pipeline이 필요하다. 이 단계가 해결되면 curated VR tracking data를 넘어 internet-scale behavior memory로 확장할 수 있다.

6) Memory editing and conflict resolution

같은 task에 서로 다른 strategy가 들어오거나 unsafe demonstration이 섞일 때 어떤 trajectory를 우선할지 명확하지 않다. Task metadata, success score, environment context, provenance를 이용한 policy-aware memory management가 필요하다.

7-4. Follow-up papers

• Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
  • ReCAP이 사용하는 WAM backbone과 future-image action generation을 이해하는 데 필요하다.
• FlowRetrieval: Flow-Guided Data Retrieval for Few-Shot Imitation Learning
  • Retrieval을 policy learning data selection에 활용하는 prior work다.
• STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning
  • Sub-trajectory retrieval과 task-specific adaptation의 차이를 비교하기 좋다.
• MimicDroid: In-Context Learning for Humanoid Robot Manipulation from Human Play Videos
  • Human demonstration을 in-context condition으로 쓰는 접근과 automatic retrieval의 차이를 볼 수 있다.
• R+X: Retrieval and Execution from Everyday Human Videos
  • Human video retrieval과 direct execution을 다루며, learned embodiment residual이 왜 필요한지 비교할 수 있다.
• EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data
  • Human data와 robot policy 사이 domain gap을 다루는 다른 방향이다.

8. Summary

• ReCAP은 new task adaptation을 per-task fine-tuning에서 retrieval pool update로 옮긴다.
• Retrieved trajectory는 answer가 아니라 coarse motion prior이며, policy는 target embodiment residual을 예측한다.
• Cosmos Policy의 future-image objective는 retrieved motion과 target scene evolution 사이 consistency signal을 제공한다.
• Two-stage retrieval은 episode-level task selection과 control-step-level temporal alignment를 분리한다.
• PushT unseen average는 6.0%에서 34.9%, RoboTwin unseen average는 strongest baseline 26.0%에서 31.5%로 향상된다.
• Real robot에서는 held-out task당 human-hand demonstration 10개만 추가해 10%에서 80%, 0%에서 30%로 behavior transfer를 보인다.
• 다만 shared action space, state-action trajectory requirement, handcrafted retrieval feature, temporal mismatch, safety gating, small real-robot evaluation은 중요한 제약이다.