World Action Models: A Survey Review

0. Introduction

Paper link

Project page

World Action Models: A Survey는 robotics와 embodied AI에서 “world model”이라는 말이 너무 넓게 쓰이고 있다는 문제를 정리하는 논문이다. 이 논문이 실제로 하려는 일은 video world model, VLA, action-conditioned video generation, learned simulator, policy model을 하나의 이름 아래 섞는 것이 아니라, predicted future가 action path 안에서 실제로 쓰이는가라는 기준으로 World Action Model, 이하 WAM을 정의하는 것이다.

이 기준은 꽤 중요하다. Video generator가 action-conditioned future를 그럴듯하게 만들 수 있어도, 그 future가 control decision에 쓰이지 않으면 WAM이 아니다. 반대로 model이 pixel video를 만들지 않아도, future representation이 action scoring, action decoding, policy training에 직접 들어간다면 WAM으로 볼 수 있다. 즉 이 survey의 핵심은 “얼마나 잘 dream하는가”가 아니라, dreamed future가 action-facing contract를 가지는가다.

논문은 WAM literature를 두 관점으로 정리한다.

1. Design-philosophy 관점
   • Render-and-Decode
   • Latent-Only
   • Video-Generation-Free
2. Component-anatomy 관점
   • Predictive substrate
   • Architectural backbone
   • Action coupling
   • Deployment regime

이 두 관점이 함께 있어야 field가 보인다. 첫 번째 관점은 action이 future generation path의 어디에서 decode되는지를 묻고, 두 번째 관점은 그 future가 어떤 representation, 어떤 backbone, 어떤 coupling, 어떤 deployment assumption 위에 있는지 묻는다.

한 줄 요약: 이 survey는 WAM을 “predicted future를 action에 쓰는 predictive-action model”로 정의하고, rendered future, latent future, video-generation-free action reasoning의 3개 design philosophy와 predictive substrate, backbone, action coupling, deployment regime의 4개 component axes로 WAM design space를 정리한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• VLA, world model, video world model, action-grounded video generator, WAM의 경계를 명확히 나눈다.
• “Video generator plus action head”가 아니라 future-to-action contract가 WAM의 핵심이라는 기준을 준다.
• Rich rendered future와 cheap compact future 사이의 compute, memory, latency, action-label cost trade-off를 정리한다.
• Robot learning, autonomous driving, manipulation, dexterous control, tactile/audio feedback까지 흩어진 literature를 하나의 map으로 묶는다.
• WAM evaluation에서 visual fidelity보다 interactability, causality, persistence, physical plausibility, generalization이 중요하다는 점을 선명하게 만든다.
• “Dream less, act more”라는 방향, 즉 control에 필요한 만큼만 future를 표현하는 추세를 잘 포착한다.

이 글에서는 WAM survey를 “world model survey”가 아니라, embodied agent에서 future prediction이 action policy 안으로 들어가는 순간 무엇이 달라지는지 정리한 taxonomy paper로 읽는다.

1. Problem Setting

1-1. Problem definition

Embodied AI에서 agent는 observation $o$, language 또는 goal $l$, history $h$를 보고 action $a$를 선택한다. 일반 VLA policy는 대략 다음을 직접 모델링한다.

\[p(a \mid o,l,h)\]

World model은 action-conditioned future를 예측한다.

\[p(o' \mid o,a,l,h)\]

하지만 world model은 future를 예측할 뿐, 반드시 action을 내지는 않는다. Survey가 정의하는 WAM은 predicted future가 action path 안에 남아 있어야 한다.

\[p(o',a \mid o,l,h)\]

또는

\[p(o' \mid o,a,l,h) \quad \rightarrow \quad p(a \mid o,o',l,h)\]

핵심은 future $o’$가 action generation, action scoring, policy training 중 하나에 직접 기여한다는 점이다. 논문 홈페이지도 이 boundary를 “predicted future must help produce, score, or train action”으로 정리한다.

따라서 WAM은 다음 모델과 다르다.

Model type	What it predicts	왜 자동으로 WAM이 아닌가
VLA	action을 직접 예측	future prediction이 없음
Video generator	future video	action path가 그 future를 쓰지 않을 수 있음
World model	future state	action을 output하거나 score하지 않을 수 있음
WAM	future와 action-facing decision	predicted future가 control path 안에 남음

이 구분이 없으면 field가 쉽게 섞인다. “Action-conditioned video model”이라고 해서 WAM인 것도 아니고, “VLA with auxiliary future loss”라고 해서 WAM인 것도 아니다. Future head가 inference나 action supervision path에서 버려진다면 WAM contract를 만족하지 않는다.

1-2. Why previous approaches are insufficient

1) VLA는 reactive policy가 되기 쉽다

VLA는 observation과 instruction에서 action을 직접 예측한다. Semantic generalization은 강할 수 있지만, action이 environment를 어떻게 바꿀지 명시적으로 예측하지 않는다. 따라서 intervention consequence, failure recovery, counterfactual planning, physical plausibility를 policy 내부에서 검증하기 어렵다.

2) World model은 action-facing이 아닐 수 있다

World model은 simulator처럼 future를 예측한다. 하지만 future가 downstream controller로 연결되지 않으면 policy model과 분리된다. Training-time data generation이나 evaluation에만 쓰이고 inference action path에서 빠지면 WAM이라고 보기 어렵다.

3) Video world model은 너무 비쌀 수 있다

Full rendered future는 visually rich하다. 하지만 robot control loop에서는 latency, memory, denoising steps, camera views, action frequency가 중요하다. High-fidelity future video를 매 step generate하면 compute budget이 action loop에 맞지 않을 수 있다.

4) Terminology가 implementation detail과 섞인다

어떤 논문은 WAM이라는 이름을 쓰고, 어떤 논문은 쓰지 않는다. 어떤 논문은 video generator를 쓰고, 어떤 논문은 LLM/VLM latent를 쓴다. 이름보다 중요한 것은 predicted future가 action-facing path에 있는지와 그 future가 어떤 substrate로 표현되는지다.

이 survey는 그 혼란을 design philosophy와 component anatomy로 풀어낸다.

2. Core Idea

2-1. Main contribution

논문의 핵심 기여는 네 가지다.

1. Boundary clarification
   • VLA, broad world model, video generation model, video world model, WAM을 구분한다.
   • WAM의 조건을 future-to-action contract로 정의한다.
2. Three design philosophies
   • Render-and-Decode
   • Latent-Only
   • Video-Generation-Free
3. Four-axis component anatomy
   • Predictive substrate
   • Architectural backbone
   • Action coupling
   • Deployment regime
4. Embodiment property analysis
   • Interactability
   • Causality
   • Persistence
   • Physical plausibility
   • Generalization

이 survey의 좋은 점은 taxonomy가 한 단계가 아니라는 점이다. Philosophy-level taxonomy는 “어디까지 future를 generate하는가”를 묻고, component-level anatomy는 “그 future를 어떤 system design으로 action에 연결하는가”를 묻는다.

2-2. Design intuition

WAM design의 핵심 trade-off는 다음 문장으로 요약할 수 있다.

Future representation은 control에 필요한 만큼 충분히 풍부해야 하지만, 가능한 한 저렴해야 한다.

Rendered future는 inspectable하고 직관적이다. Robot이 “이 action을 하면 scene이 이렇게 변할 것”을 pixel로 보여준다. 하지만 full rendering은 비싸다.

Latent future는 더 저렴하고 action path에 넣기 쉽다. 하지만 사람이 직접 검사하기 어렵고 pixel-level physical plausibility가 약할 수 있다.

Video-generation-free WAM은 future를 더 compact한 representation으로 옮긴다. Token, embedding, affordance map, point flow, audio latent, feature transition 같은 형태다. 이 방향은 inference budget에는 유리하지만, future representation이 action-relevant하게 충분히 informative해야 한다.

따라서 WAM field는 점점 다음 방향으로 간다.

dream full video
-> dream latent future
-> dream compact action-relevant substrate

이것이 논문의 “dream less, act more” 해석이다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	WAM design space와 literature를 공통 관점으로 정리
Core definition	Predicted future가 action을 produce, score, train하는 데 쓰여야 함
Philosophy taxonomy	Render-and-Decode, Latent-Only, Video-Generation-Free
Component axes	Predictive substrate, backbone, action coupling, deployment
Core properties	Interactability, causality, persistence, physical plausibility, generalization
Evaluation focus	Visual fidelity, action plausibility, closed-loop control
Main thesis	WAM은 단순한 video generator plus action head가 아님

3-2. Module breakdown

1) Render-and-Decode

Render-and-Decode WAM은 video generation backbone을 pixel 또는 rendered future까지 실행한다. 그 다음 action을 그 future에서 decode한다.

\[(o,h,l) \rightarrow \hat{o}_{future} \rightarrow a\]

장점:

• Rich visual prior를 활용할 수 있다.
• Human이 inspect할 수 있는 future를 제공한다.
• Scene dynamics를 직접 표현한다.
• Visual rollout 기반 planning에 유용하다.

약점:

• Latency가 높다.
• Memory 사용량이 크다.
• Denoising 또는 generation cost가 크다.
• Action loop가 full video synthesis를 감당하지 못할 수 있다.

이 family는 개념적으로 깔끔하지만 cost가 크다. “World model as imagination”에 가장 가까운 형태라고 볼 수 있다.

2) Latent-Only

Latent-Only는 video-world-model 계열을 유지하되 pixel decoding 전에 멈춘다. Action은 intermediate latent, feature, flow field, mask, value map, partially denoised representation을 사용한다.

\[(o,h,l) \rightarrow z_{future} \rightarrow a\]

장점:

• Full rendering보다 저렴하다.
• Video-derived prior의 이점을 일부 유지한다.
• Control loop 안에 넣기 더 쉽다.
• Action head가 compact future에 condition할 수 있다.

약점:

• Interpretability가 낮다.
• Latent가 모든 physical detail을 보존하지 못할 수 있다.
• Pixel future보다 evaluation이 어렵다.
• Latent와 action의 coupling을 세심하게 학습해야 한다.

이 family는 자연스러운 중간 지점이다.

3) Video-Generation-Free

Video-Generation-Free WAM은 predictive path에서 pixel-level video generation backbone을 제거한다. 대신 LLM/VLM token, JEPA-style embedding, vision foundation feature 위의 deterministic regressor, affordance map, point flow, audio latent, 기타 non-video substrate를 사용할 수 있다.

장점:

• Latency와 compute가 낮다.
• Action loop constraint에 맞추기 쉽다.
• Compact task-relevant future를 사용할 수 있다.
• Rendered video가 필요 없는 경우에도 작동한다.

약점:

• Physical detail을 잃을 위험이 있다.
• Future quality를 검증하기 어렵다.
• Future가 debugging하기에는 너무 abstract할 수 있다.
• 강한 action-relevance supervision이 필요하다.

Survey는 이 방향을 성장하는 line으로 본다. Control이 compact predictive substrate만 필요로 한다면 future가 반드시 video일 필요는 없다.

4) Four-axis anatomy

Component-level anatomy는 또 다른 layer를 제공한다.

Axis	Question
Predictive substrate	어떤 future representation이 action-facing인가
Backbone	어떤 model family가 이를 생성하는가
Action coupling	Prediction이 control과 어떻게 연결되는가
Deployment regime	Model이 언제, 어떻게 호출되는가

이 분해는 재사용 가능하다. 어떤 논문이 어떤 이름을 쓰는지와 무관하게, 새로운 WAM은 이 네 질문에 답함으로써 위치를 잡을 수 있다.

5) Core properties

Survey는 embodied deployment가 요구하는 core property도 정리한다.

Property	Meaning
Interactability	Control signal이 generation 과정에 영향을 줄 수 있는가
Causality	Future information이 current action에 leak되지 않는가
Persistence	Predicted state가 long-horizon acting 동안 coherent하게 유지되는가
Physical plausibility	Predicted future가 embodiment와 environment constraint를 따르는가
Generalization	Future-action contract가 새 task, object, scene, camera, embodiment에서도 유지되는가

이 property들은 visual quality만큼, 혹은 그보다 더 중요하다.

4. Training / Data / Recipe

4-1. Data ecosystem

Survey는 WAM training에 쓰일 수 있는 data source를 몇 가지로 정리한다.

Data source	Role
Robot teleoperation	Action-labeled embodied demonstration 제공
Portable human demonstrations	Robot hardware 밖의 action-like behavior 확장
Simulation	저렴하고 controllable한 environment variation 제공
Internet-scale egocentric video	Rich visual dynamics는 있지만 action label이 약함
Autonomous driving logs	Driving constraint 아래 large-scale action-conditioned future 제공

핵심 tension은 action-label cost다. Video data는 풍부하지만 action label은 비싸고 embodiment-specific하다. WAM은 action-rich narrow data와 action-poor broad data를 함께 활용해야 한다.

4-2. Training strategies

이 survey는 training recipe paper는 아니지만, common strategy를 정리한다.

• Future prediction과 action decoding을 jointly train한다.
• Video 또는 latent future model을 pretrain한 뒤 action head를 붙인다.
• Predicted future를 action scoring에 사용한다.
• Predicted substrate 위에서 inverse dynamics나 action expert를 학습한다.
• Latent transition consistency와 action-free video를 predictive supervision에 활용한다.
• Simulation이나 internet video로 general future prior를 개선한다.

4-3. Engineering notes

1. Future가 action-facing인지 확인한다
   • Auxiliary prediction loss만으로는 충분하지 않다.
2. Control budget에 맞춰 substrate를 고른다
   • Rendered future는 비싸다.
   • Real-time control에는 latent나 feature substrate가 더 나을 수 있다.
3. Prediction quality와 action quality를 구분한다
   • 시각적으로 그럴듯한 future라도 action과 무관할 수 있다.
4. Deployment regime을 평가한다
   • Closed-loop online control, chunked planning, offline policy training은 서로 다른 constraint를 가진다.
5. Action-label cost를 무시하지 않는다
   • Data strategy는 model architecture만큼 중요하다.
6. Physical failure mode와 causal failure mode를 기록한다
   • Standard video metric은 action-faithfulness error를 놓칠 수 있다.

5. Evaluation

5-1. Current evaluation landscape

Survey는 WAM evaluation에 여러 axis가 필요하다고 주장한다.

Evaluation axis	Why it matters
Visual fidelity	Generated future가 plausible해 보이는가
Physical commonsense	Dynamics가 physical constraint를 따르는가
Action plausibility	Predicted action이 executable하고 relevant한가
Closed-loop success	Policy가 실제로 environment를 control하는가
Latency and memory	Control loop budget에 맞는가
Generalization	New task와 embodiment에서도 작동하는가

WAM은 visual quality에서 높은 점수를 받아도 controller로는 실패할 수 있다. 반대로 compact latent WAM은 보기 좋은 video를 만들지 않아도 control에는 유용할 수 있다.

5-2. What current evaluation misses

Survey는 two-stage evaluation protocol을 제안하는 방향을 가리킨다.

1. 저렴한 visual 및 representation screen
2. Compute, memory, latency budget 아래에서 selective closed-loop test

아직 해결되지 않은 질문은 cheap screen이 closed-loop control success를 얼마나 잘 예측하느냐다. 이 conversion factor는 중요한 open problem이다.

5-3. What really matters in the experiments

1) Future fidelity만으로는 부족하다

Future는 action-relevant해야 한다. Pixel realism은 misleading할 수 있다.

2) Control-loop budget이 핵심이다

Rich future를 예측하더라도 너무 느리면 real embodied deployment에서는 사용할 수 없다.

3) Action label은 scarce하다

Action grounding을 잃지 않으면서 action-free video와 broad visual dynamics를 어떻게 사용할지가 핵심 문제로 남는다.

4) Evaluation은 embodied해야 한다

Static video metric은 interactability, causality, persistence, physical action feasibility를 포착하지 못한다.

6. Limitations

1. Survey snapshot이다
   • WAM literature는 빠르게 변하고 있다.
   • Paper list와 taxonomy는 지속적으로 업데이트되어야 할 수 있다.
2. Taxonomy boundary는 논쟁적일 수 있다
   • 어떤 method가 WAM contract를 만족하는지는 implementation detail에 따라 달라질 수 있다.
3. 새 benchmark를 제안하지 않는다
   • Survey는 evaluation practice를 정리하지만 definitive WAM benchmark를 새로 제안하지는 않는다.
4. Closed-loop evaluation은 여전히 비싸다
   • Survey는 이 문제를 지적하지만 비용 자체를 없애지는 못한다.
5. Video-generation-free WAM은 heterogeneous하다
   • LLM, VLM, JEPA, flow, geometric, affordance, audio substrate는 서로 매우 다르게 동작한다.
6. Action-label cost는 아직 해결되지 않았다
   • Field에는 아직 internet video scale에 견줄 만한 scalable action-grounded data가 부족하다.
7. Physical plausibility metric은 약하다
   • Physics와 causality에 대한 evaluation은 아직 성숙하지 않다.
8. Embodiment transfer는 어렵다
   • 한 robot, camera, simulator에서 학습한 WAM이 다른 setting으로 깔끔하게 transfer되지 않을 수 있다.
9. Human inspectability trade-off가 있다
   • Compact future representation은 debugging이 어려울 수 있다.
10. 최선의 설계 하나를 처방하지 않는다
    • 이 논문은 recipe가 아니라 map에 가깝다.

7. My Take

7-1. Why this matters for my work

이 survey의 가장 중요한 메시지는 “world action model이 뜬다”가 아니다. 더 중요한 점은 future prediction이 action-facing이어야 한다는 boundary다.

이 기준은 모든 multimodal agent에 중요하다. Model이 future를 상상하더라도 action policy가 그것을 쓰지 않으면 그 imagination은 auxiliary signal에 가깝다. 반대로 future representation이 action selection, score, training을 바꾼다면 WAM-style component가 된다.

이 기준은 robotics뿐 아니라 game agents, browser agents, UI agents, video agents에도 적용할 수 있다.

7-2. Reuse potential

Robotics policy design

Embodied agent를 설계할 때는 다음을 물어야 한다.

• 어떤 future substrate가 필요한가?
• Pixel rendering이 꼭 필요한가?
• Latent나 affordance substrate로 충분한가?
• Future prediction이 latency budget에 맞는가?
• Future가 실제 action 선택에 쓰이는가?

Video world model evaluation

FVD나 visual realism만 볼 것이 아니라 action-faithfulness, controllability, rollout persistence를 함께 평가해야 한다.

Agent planning

Browser agent나 code agent도 compact predicted future를 사용할 수 있다. 예를 들면 expected page state, file diff, test outcome, tool response가 future substrate가 될 수 있다. WAM framing은 physical robot 바깥으로도 일반화된다.

Multimodal systems

VLM/VLA integration에서는 WAM taxonomy가 predictive module을 어디에 넣을지 판단하는 데 도움이 된다. Action decoding 앞인지, latent policy 안인지, action scorer 역할인지 구분할 수 있다.

7-3. Production considerations

• Deployment latency budget에서 출발한다.
• Action을 지원할 수 있는 가장 작은 future substrate를 선택한다.
• Closed-loop evaluation과 video quality evaluation을 분리한다.
• Predicted future와 actual outcome을 logging해 calibration한다.
• Rollout 동안 causal failure와 persistence failure를 monitoring한다.
• Action-free video는 explicit action-grounding strategy와 함께 사용한다.

7-4. Follow-up papers

• World Action Models: The Next Frontier in Embodied AI
• World Model for Robot Learning: A Comprehensive Survey
• UniPi
• GR-1 and GR-2
• VideoVLA
• WorldVLA
• PointWorld
• Feedback-WM
• Group Action Consistency for world models
• VLA and robot foundation model surveys

8. Summary

• WAM은 단순한 video generator with action head가 아니라 predictive-action model이다.
• 핵심 boundary는 predicted future가 action을 produce, score, train하는 데 쓰이는가다.
• Survey는 WAM을 Render-and-Decode, Latent-Only, Video-Generation-Free philosophy로 정리한다.
• 또한 substrate, backbone, action coupling, deployment regime으로 WAM을 분해한다.
• Field는 control에 필요한 정보를 보존하면서 future generation을 더 compact하게 만드는 방향으로 이동하고 있다.