9 분 소요

0. Introduction

Paper link

In-Context World Modeling for Robotic Control, 이하 ICWM은 VLA model의 generalization 문제를 꽤 다른 각도에서 본다. 이 논문이 말하는 핵심은 “더 많은 viewpoint data를 넣자”가 아니다. 새 camera viewpoint나 robot morphology에서 실패하는 이유는 task를 몰라서가 아니라, 현재 system configuration을 모르는 채 action을 내기 때문이라는 것이다.

사람이 처음 보는 joystick을 받으면 바로 task를 수행하지 않는다. 먼저 조금 움직여 본다. 앞으로 밀면 robot이 앞으로 가는지, 왼쪽으로 가는지, end-effector가 어떻게 보이는지 확인한다. 몇 초간의 calibration을 통해 input-output relationship을 파악한 뒤 goal-directed action을 한다. ICWM은 이 human-like calibration을 VLA context window 안으로 넣는다.

기존 in-context robotics는 대개 demonstration context를 사용한다. 즉 “무엇을 해야 하는가”를 보여주는 expert trajectory가 context에 들어간다. ICWM은 반대로 task-agnostic self-probing context를 사용한다. Robot이 task object를 건드리지 않는 safe workspace에서 random probing action을 몇 번 수행하고, start observation, action, end observation tuple을 context 앞에 붙인다. Model은 이 context를 보고 현재 camera viewpoint, coordinate mapping, morphology 같은 latent system configuration을 implicit하게 추론한다.

한 줄 요약: ICWM은 VLA의 OOD camera/morphology failure를 test-time system identification 문제로 재정의하고, task-specific demonstration 없이 self-generated probing clips를 context로 넣어 latent system configuration을 추론하게 만드는 in-context adaptation framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • VLA generalization을 data augmentation 문제가 아니라 hidden system variable inference 문제로 정식화한다.
  • In-context learning을 behavior specification이 아니라 system identification으로 재해석한다.
  • Random task-agnostic probing만으로 current control-observation mapping을 calibration할 수 있음을 보인다.
  • No gradient update, no task demonstration, no explicit camera angle label setting에서 adaptation을 수행한다.
  • LIBERO cross-view simulation과 UR5e real robot에서 novel viewpoints를 평가한다.
  • Future-action model이나 video world model 없이, standard sequence model context가 implicit world model 역할을 할 수 있는지 보여준다.

이 글에서는 ICWM을 “robot in-context learning”보다, VLA policy가 task 수행 전에 현재 embodiment와 sensor setup을 self-calibrate하도록 만든 system identification paper로 읽는다.

1. Problem Setting

1-1. Problem definition

Standard VLA policy는 current observation $o_t$와 language instruction $l$을 보고 action $a_t$를 예측한다.

\[\pi_{\theta}(a_t \mid o_t,l)\]

이 formulation은 system configuration $\psi$를 model parameter 안에 흡수된 fixed constant로 취급한다. 여기서 $\psi$는 camera viewpoint, camera mounting, robot morphology, end-effector offset, control mapping 같은 time-invariant deployment setup이다.

하지만 ideal policy는 $\psi$를 condition으로 받아야 한다.

\[\pi_{\theta}^{*}(a_t \mid o_t,l,\psi)\]

Training data가 여러 configuration을 포함하면 standard policy는 사실상 configuration over average를 학습한다.

\[\pi_{\theta}(a_t \mid o_t,l) \approx \int \pi_{\theta}^{*}(a_t \mid o_t,l,\psi) p(\psi)d\psi\]

Deployment에서 실제 configuration $\psi’$가 training average와 다르면, observation-action correspondence가 틀어진다. Novel camera viewpoint에서 gripper가 object 왼쪽에 있는지 오른쪽에 있는지 해석이 흔들리고, action direction이 실제 image plane motion과 맞지 않는다.

ICWM은 이를 test-time system identification problem으로 본다.

1-2. Why previous approaches are insufficient

1) Multi-view training

Multi-view data는 많은 viewpoint를 보여줄 수 있지만, unseen viewpoint에서 exact action-observation mapping을 복원하는 mechanism이 없다. Training viewpoint 사이를 interpolation할 수는 있어도, current deployment viewpoint가 무엇인지 policy가 explicit하게 알지는 못한다.

2) Explicit configuration label

Camera angle이나 robot configuration label을 text로 넣을 수 있다. 하지만 real deployment에서 exact label을 항상 알기 어렵고, camera angle만으로는 dynamics를 충분히 설명하지 못할 수 있다. Morphology change, calibration error, mount offset은 simple label로 표현하기 어렵다.

3) Test-time fine-tuning

Scene-specific fine-tuning은 가능하지만, 새 setup마다 human data나 task demonstration이 필요하다. Generalist robot deployment에는 맞지 않는다.

4) In-context imitation

In-context imitation은 expert demonstration을 context로 넣어 “what task to do”를 알려준다. ICWM이 원하는 것은 “how current system operates”이다. Task-specific demonstration 없이 self-generated probing으로 configuration을 파악하는 쪽이 더 practical하다.

2. Core Idea

2-1. Main contribution

ICWM의 contribution은 세 가지다.

  1. VLA generalization as system identification
    • Failure source를 hidden configuration $\psi$로 본다.
    • Current observation 하나보다 interaction history가 $\psi$에 대한 정보를 더 많이 담는다고 분석한다.
  2. Task-agnostic self-probing context
    • Execution 전에 robot이 safe workspace에서 random probing action을 수행한다.
    • 각 clip은 $(o_i^s,a_i,o_i^e)$를 기록한다.
    • 이 context를 task query 앞에 붙인다.
  3. No-update in-context adaptation
    • 같은 VLA backbone이 probing context에 attention한다.
    • Context가 유도한 hidden state가 implicit $\Psi(\mathcal{T})$를 구현한다.
    • 추가 parameter, gradient update, human demonstration이 필요 없다.

2-2. Design intuition

논문의 core intuition은 “single image cannot identify system configuration, but short interaction history can”이다.

Latent state를 다음처럼 나눈다.

\[s_k=(\psi,\xi_k)\]
  • $\psi$: time-invariant system configuration
  • $\xi_k$: time-varying scene state

Interaction context는 다음이다.

\[\mathcal{T} = (o_{0:t},a_{1:t})\]

논문은 partial observability와 information-preserving transition assumption 아래 다음을 주장한다.

\[I(\psi; o_{0:t},a_{1:t}) > I(\psi; o_0)\]

즉 action-outcome sequence는 single observation보다 현재 system configuration에 대한 정보를 더 많이 담는다. Action이 task-specific일 필요는 없다. Random probing도 action-to-observation mapping을 드러내기 때문이다.

3. Architecture / Method

3-1. Overview

Item Description
Goal Novel system configuration에서 VLA adaptation
Core problem Hidden system variable $\psi$ inference
Context type Task-agnostic self-probing clips
Clip format $(o_i^s,a_i,o_i^e)$
Adaptation In-context, no parameter update
Backbone Qwen2.5-VL-3B plus FAST action tokenizer
Default context $N=5$ clips
Main benchmark LIBERO cross-view와 UR5e real robot
Main comparison Multi-View BC, Explicit Configuration, pretrained references

3-2. Module breakdown

1) Interaction context

Task execution 전에 robot은 $N$개의 probing clip을 수집한다.

\[\mathcal{T} = \{(o_i^s,a_i,o_i^e)\}_{i=1}^{N}\]

각 probing action은 safe workspace 안의 random target pose로 움직인다. Probing workspace는 task initial state가 흐트러지지 않도록 task-relevant object와의 contact를 피한다.

2) Implicit configuration representation

Model은 $\mathcal{T}$를 처리하고, 이를 implicit configuration representation으로 해석할 수 있는 hidden state를 만든다.

\[\Psi(\mathcal{T})\]

그러면 policy는 다음과 같이 쓸 수 있다.

\[a_t \sim \pi_{\theta}(a_t \mid \Psi(\mathcal{T}),o_t,l)\]

별도의 configuration network는 없다. $\Psi$는 VLA backbone과 parameter를 공유한다. 이는 parameter-efficient하며, 같은 Transformer가 action과 observation 사이의 correspondence를 학습하도록 만든다.

3) In-context training

Training sample은 일반 task query 앞에 task-agnostic interaction clip을 붙여 구성한다. Clip은 trajectory와 viewpoint에서 sample되므로 model은 다양한 configuration을 보게 된다.

Training objective는 일반적인 action likelihood다.

\[\mathcal{L} = -\log \pi_{\theta} (a_t \mid \Psi(\mathcal{T}),o_t,l)\]

Standard VLA training과의 유일한 차이는 context에 probing clip이 들어간다는 점이다. Model은 이를 사용해 action-observation mapping을 추론하는 법을 학습해야 한다.

4) Test-time active probing

Deployment에서는 다음 절차를 따른다.

  1. $N$개의 random probing action을 실행한다.
  2. Start/end observation과 action을 기록한다.
  3. Probing clip을 task query 앞에 붙인다.
  4. Action prediction을 위해 한 번의 forward pass를 실행한다.

Gradient update나 environment label은 필요 없다.

5) KV cache

Fixed configuration 아래에서는 probing context가 static하므로 hidden state를 미리 계산하고 KV cache로 재사용할 수 있다. ICWM은 추가 image/action token을 붙이므로 이 점이 중요하다.

4. Training / Data / Recipe

4-1. Simulation setup

논문은 LIBERO의 네 task suite에서 평가한다.

Suite Focus
Spatial Spatial reasoning
Object Object understanding
Goal Goal conditioning
Long Long-horizon execution

Cross-view protocol:

Item Value
Training viewpoints 8 azimuth angles
OOD viewpoints 6 unseen viewpoints
Total episodes $500 \times 15 \times 4$

Training angle은 30 deg, 60 deg, …, 330 deg 같은 배수 각도다. OOD angle은 45 deg, 135 deg, …, 315 deg다.

4-2. Real robot setup

Real robot evaluation은 다음 설정을 사용한다.

Item Value
Robot UR5e manipulator
Cameras 12-camera multi-view system
Training viewpoints 6
Held-out viewpoints 6
Tasks 4 manipulation tasks
Trials 25 per task per novel viewpoint
Total trials 600

Task에는 stacking, lifting, pick-and-place style manipulation이 포함된다.

4-3. Training details

보고된 implementation은 다음 설정을 사용한다.

Component Setting
Vision-language backbone Qwen2.5-VL-3B
Action tokenizer FAST
Action chunk size 5
Context clips $N=5$
Hardware 8 NVIDIA A100 GPUs
Optimizer AdamW
Weight decay $10^{-4}$
Peak learning rate $5 \times 10^{-5}$
Warmup 50k steps
Schedule Cosine decay

4-4. Engineering notes

  1. Probing은 safe해야 한다
    • Task-relevant object를 건드리면 안 된다.
  2. Context에는 action과 visual outcome이 모두 필요하다
    • Image나 action을 제거하면 성능이 떨어진다. False context는 no context보다 더 나쁠 수 있다.
  3. Random probing만으로도 시작할 수 있다
    • 특정 probing pattern 하나가 항상 우세하지는 않지만, spatially diverse probing은 유용하다.
  4. Context state를 cache한다
    • Static probing context는 control step 전반에서 재사용할 수 있다.
  5. Probing cost를 calibration cost로 취급한다
    • ICWM은 짧은 pre-task exploration phase를 더 나은 OOD control과 맞바꾼다.

5. Evaluation

5-1. Simulation results

논문은 novel viewpoint에서 ICWM이 Multi-View BC보다 OOD success rate를 13.0%, Explicit Configuration보다 9.5% 높인다고 보고한다.

가장 큰 gain은 LIBERO-Long에서 나타난다.

Setting ICWM margin
LIBERO-Long seen +29.9% over MV
LIBERO-Long unseen +26.3% over MV

이는 자연스럽다. Long-horizon task는 viewpoint shift에서 오는 작은 spatial error를 증폭한다. 초반의 작은 direction mismatch가 이후 failure로 cascade될 수 있다.

5-2. Real robot results

Real-world evaluation은 viewpoint shift 아래에서 standard VLA performance가 68%에서 17%로 떨어짐을 보여준다. ICWM은 parameter update나 task-specific demonstration 없이 이 degradation을 완화한다.

논문은 baseline policy가 end-effector drift나 premature gripper closure를 보이는 반면, ICWM은 context를 dynamic calibration frame으로 사용하는 qualitative case를 보고한다.

5-3. Ablation

Context component ablation은 중요하다.

Variant Avg success
ICWM 25.0
w/o actions 21.6
w/o images 10.9
w/o context 22.0
false context 18.9

Image 제거가 가장 큰 collapse를 만든다. False context가 no context보다 나쁘다는 점은 model이 context를 실제로 사용하며, 잘못된 configuration evidence에 의해 mislead될 수 있음을 보여준다.

In-context supervision 없이 학습된 BC policy는 interaction token이 앞에 붙으면 near-zero로 collapse한다. 이는 해당 capability가 training 중 명시적으로 incentivize되어야 함을 의미한다.

5-4. Probing strategy

논문은 random, XY-only, Z-only, R-only probing을 비교한다. 모든 방식이 multi-view baseline을 능가한다. Random probing은 평균 25.0으로 overall best지만, 모든 viewpoint에서 하나의 strategy가 지배적이지는 않다.

이는 value가 hand-designed movement pattern보다 interaction format 자체에서 온다는 점을 시사한다.

5-5. Beyond camera shift

논문은 semantic scene variation과 morphology change도 test한다.

  • Distractor objects: ICWM 35.0 vs MV 27.5
  • Novel table textures: ICWM 41.2 vs MV 37.5
  • Spacer-induced gripper morphology shift: 80 mm offset에서 14.4 vs 5.6을 포함해 ICWM이 advantage를 유지한다.
  • WindowX link-length interpolation: MV는 57%에서 28%로 떨어지지만, ICWM은 77%에서 62%로만 떨어진다.

이 결과는 ICWM이 단순한 camera viewpoint trick이 아님을 시사한다. Self-probing이 달라진 action-observation mapping을 드러낼 수 있는 경우라면 도움이 된다.

5-6. Latency

논문은 single RTX 4090 inference latency를 다음처럼 보고한다.

Setting Per-step inference
Baseline VLA 0.112s
ICWM, $N=3$ 0.165s
ICWM, $N=5$ 0.185s

Probing context가 static하므로 hidden state를 cache해 recurrent per-step cost를 줄일 수 있다.

5-7. What really matters in the experiments

1) False context는 강한 test다

False context가 성능을 해친다면, model은 단순히 extra token에서 이득을 보는 것이 아니다. 실제 configuration evidence에 condition하고 있는 것이다.

2) Long-horizon gain이 가장 의미 있다

작은 calibration error는 누적된다. ICWM의 큰 LIBERO-Long gain은 system-identification framing을 뒷받침한다.

3) Probing cost는 amortize될 때만 받아들일 만하다

Context를 session 동안 cache할 수 있다면 pre-task probing은 일회성 calibration cost가 된다.

4) Real robot evidence가 중요하다

Simulation cross-view success도 유용하지만, UR5e held-out viewpoint trial은 deployment claim을 더 신뢰 가능하게 만든다.

6. Limitations

  1. Pre-task probing이 필요하다
    • Robot은 context를 수집하기 위해 시간과 safe workspace를 써야 한다.
  2. Probing이 모든 variable을 드러내지는 못한다
    • Random movement는 payload, friction, compliance, hidden dynamics를 놓칠 수 있다.
  3. Context가 model을 mislead할 수 있다
    • False context는 no context보다 나쁜 성능을 낸다.
  4. Training에는 in-context supervision이 포함되어야 한다
    • 일반 BC model이 probing clip을 자동으로 사용하는 법을 배우지는 않는다.
  5. Camera와 morphology 중심의 결과다
    • 결과는 viewpoint와 kinematic perturbation에서 가장 강하다. 더 넓은 dynamics에는 추가 test가 필요하다.
  6. Environment safety가 필요하다
    • Probing은 object나 human과 충돌해서는 안 된다.
  7. Latency와 context length가 늘어난다
    • 추가 image/action context는 token length와 compute를 늘린다.
  8. Explicit uncertainty가 없다
    • Policy는 inferred $\psi$에 대한 confidence를 드러내지 않는다.
  9. Action representation dependence가 있다
    • 결과는 FAST action tokenizer와 chunking을 사용한다. 다른 action representation은 validation이 필요하다.
  10. Real-world task diversity가 제한적이다
    • 네 개의 real-world task는 유용하지만 제한적이다.

7. My Take

7-1. Why this matters for my work

ICWM의 핵심은 “context helps VLA”가 아니다. 더 중요한 점은 context를 task demonstration이 아니라 system identification channel로 쓴 것이다.

대부분의 in-context robotics는 demonstration을 사용해 model에게 무엇을 해야 하는지 알려준다. ICWM은 self-probing을 사용해 model에게 자신이 어떤 world 안에 있는지 알려준다. 이 구분은 중요하다.

7-2. Reuse potential

Robot deployment calibration

User task를 실행하기 전에 robot은 짧고 안전한 calibration clip을 수행하고 이를 session context로 사용할 수 있다.

VLA training

Training sample에 다양한 configuration의 action-outcome context를 포함해 hidden configuration inference를 가르칠 수 있다.

Browser and UI agents

같은 아이디어는 robotics를 넘어 일반화된다. UI agent도 task action을 수행하기 전에 harmless action으로 environment behavior를 probe할 수 있다.

World action models

ICWM은 world modeling의 minimal language/VLA version이다. Pixel video rollout 없이 in-context interaction evidence만 사용한다.

7-3. Production considerations

  • Safe probing workspace를 정의해야 한다.
  • Deployment session별로 probing context를 cache해야 한다.
  • Camera나 tool이 바뀔 때 context staleness를 감지해야 한다.
  • Risky action 전에 uncertainty 또는 verification을 추가해야 한다.
  • Task domain이 허용하면 random probing과 targeted probing을 결합해야 한다.
  • Audit와 debugging을 위해 probing context를 log로 남겨야 한다.

7-4. Follow-up papers

  • ICRT: In-Context Robot Transformer
  • MimicDroid
  • OpenVLA
  • pi0 and pi0.5
  • FAST action tokenizer
  • LIBERO
  • World Action Models survey
  • Causal World Modeling for Robot Control

8. Summary

  • ICWM은 VLA OOD failure를 hidden system configuration inference로 재정의한다.
  • Robot은 task execution 전에 task-agnostic self-probing을 수행한다.
  • Probing clip은 action-observation mapping을 드러내며 context로 앞에 붙는다.
  • Test time에는 parameter update나 task demonstration이 필요 없다.
  • 가장 강한 evidence는 cross-view simulation, real-robot held-out viewpoint evaluation, false-context ablation이다.

댓글남기기

참고