Latent Spatial Memory for Video World Models Review

0. Introduction

Paper link

Project page

Code link

Latent Spatial Memory for Video World Models는 video world model에서 “장면을 어떻게 기억할 것인가”를 꽤 직접적으로 건드리는 논문이다. 이 논문의 진짜 흥미로운 지점은 단순히 3D memory를 붙였다는 데 있지 않다. 더 중요한 포인트는, 기존 spatial memory가 RGB point cloud를 만들고 다시 render한 뒤 VAE로 재인코딩하던 우회 경로를 없애고, diffusion model이 실제로 쓰는 latent space 안에 3D memory를 직접 저장했다는 점이다.

Video world model이 embodied AI, simulation, camera-controllable generation 쪽으로 가려면 한 번 본 공간을 다시 볼 때 같은 공간처럼 보여야 한다. 하지만 long-horizon rollout에서는 autoregressive context만으로는 오래전에 본 영역이 사라지고, memory-free video generator는 camera가 돌아왔을 때 geometry drift나 texture inconsistency를 만들기 쉽다. 그래서 최근 방법들은 persistent 3D cache를 붙이기 시작했는데, 이 cache가 RGB pixel space에 있으면 매 step마다 render-and-reencode 비용과 정보 손실이 같이 생긴다.

한 줄 요약: Mirage는 RGB point cloud 대신 VAE latent token을 world-space coordinate와 함께 저장하는 latent spatial memory를 만들고, target view에서는 이 cache를 latent resolution에서 직접 project해서 video diffusion backbone에 주입하는 video world model이다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• video world model에서 long-term spatial consistency를 memory representation 문제로 정리한다.
• RGB cache가 왜 느리고 손실적인지, 그리고 latent cache가 그 병목을 어떻게 줄이는지 구조적으로 보여준다.
• WorldScore, RealEstate10K, efficiency, ablation을 함께 제시해 quality와 system cost를 같이 비교한다.
• Mirage의 설계가 video generation뿐 아니라 embodied agent, scene memory, 3D-aware editing system에도 재사용 가능한 패턴을 준다.

이 논문의 핵심 메시지는 단순하다. 3D memory를 쓰는 것만으로는 부족하다. memory가 generator의 native representation space와 맞아야 하고, readout이 매 step의 critical path에서 싸야 한다.

1. Problem Setting

1-1. Problem definition

이 논문이 겨냥하는 문제는 camera trajectory를 따라 긴 video rollout을 만들 때 3D spatial consistency를 유지하는 것이다.

문제 설정은 대략 다음과 같다.

• 입력은 initial image와 user-specified camera trajectory다.
• 모델은 camera가 움직이는 동안 새로운 view를 autoregressive하게 생성한다.
• camera가 이전에 본 영역으로 돌아오면, 같은 표면, 같은 layout, 같은 texture가 다시 보여야 한다.
• 단순한 short video generation이 아니라, 같은 world coordinate 안에서 일관된 scene을 유지해야 한다.

Memory-free video diffusion model은 이 요구에 약하다. 최근 frame만 conditioning하면 한동안은 plausible한 frame을 만들 수 있지만, context window 밖으로 나간 정보는 점점 희미해진다. 그 결과 같은 벽, 창문, 가구, 복도 구조가 camera loop 이후에 다르게 나타날 수 있다.

그래서 최근 video world model은 persistent spatial memory를 사용한다. 한 번 본 frame을 depth로 lift해서 3D point cloud에 넣고, 다음 target camera pose에서 point cloud를 render해서 conditioning image로 쓰는 방식이다. 이 방향은 geometry anchor를 제공한다는 점에서 자연스럽지만, Mirage는 바로 이 representation choice가 병목이라고 본다.

1-2. Why previous approaches are insufficient

기존 RGB point cloud memory의 문제는 크게 두 가지다.

1. Per-step render-and-reencode cost가 크다.

   RGB point cloud cache를 target view로 쓰려면 먼저 full-resolution RGB image로 rasterize해야 한다. 그런데 diffusion backbone은 보통 VAE latent를 입력으로 받기 때문에, 이 rendered RGB를 다시 VAE encoder에 넣어 latent tensor로 바꿔야 한다. 즉 memory readout 하나가 pixel rendering plus VAE encoding이 된다.

2. RGB detour가 latent information을 보존하지 못한다.

   Generator 내부에서는 latent feature가 native conditioning signal인데, RGB cache는 색 값만 저장한다. Rendered image를 다시 encode하면 VAE reconstruction error, rasterization artifact, visibility hole, distribution mismatch가 생길 수 있다. 결국 memory가 geometry를 주더라도, backbone이 원래 쓰던 latent feature와 완전히 같은 신호는 아니다.

이 논문은 이 문제를 “memory를 3D로 둘 것인가”가 아니라 “3D memory 안에 무엇을 저장할 것인가”로 다시 묻는다. Mirage의 답은 RGB color가 아니라 latent token이다.

2. Core Idea

2-1. Main contribution

Mirage의 핵심 기여는 latent spatial memory다. 관측된 frame을 VAE로 encode한 뒤, 각 latent grid cell의 feature를 depth-guided back-projection으로 3D world coordinate에 붙인다. 그러면 memory element는 RGB point가 아니라 아래 형태의 latent-attributed 3D point가 된다.

\[M = \{(X_i, z_i)\}_{i=1}^{N}\]

여기서 $X_i$ 는 world-space coordinate이고, $z_i$ 는 해당 위치에 저장된 VAE latent token이다.

Target view에서 memory를 읽을 때도 RGB로 render하지 않는다. 3D latent point들을 target camera의 latent grid로 project하고, z-buffering으로 각 latent cell의 frontmost token을 고른다. 그 결과 바로 diffusion backbone이 소비할 수 있는 target-view latent tensor와 visibility mask가 나온다.

이렇게 하면 기존 RGB cache pipeline의 per-step path가 다음처럼 바뀐다.

Design	Cache content	Readout path	Main issue
RGB point cloud memory	RGB color at 3D points	3D render to RGB, then VAE encode	slow and lossy
Latent spatial memory	VAE latent token at 3D points	project directly to latent grid	cheaper and native to backbone

2-2. Design intuition

Mirage의 설계 직관은 “world memory를 generator가 실제로 이해하는 언어로 저장하자”에 가깝다.

Video diffusion backbone이 denoising하는 공간은 pixel space가 아니라 VAE latent space다. 그런데 memory를 RGB color로 저장하면, 매번 pixel space를 거쳐 다시 latent space로 돌아와야 한다. 이건 마치 LLM의 hidden state를 저장하지 않고, 매번 text로 decode한 뒤 다시 tokenize해서 넣는 것과 비슷한 우회다.

Latent spatial memory는 이 우회를 줄인다. 한 번 얻은 latent token을 world coordinate에 붙여 보존하고, 필요할 때 target view의 latent grid로 직접 가져온다. 이때 visibility mask도 같이 제공해, 모델이 “memory가 없는 cell”과 “latent 값이 0인 observed cell”을 구분할 수 있게 한다.

이 논문의 핵심은 3D cache 자체보다도 cache의 coordinate system과 representation space를 동시에 맞춘 데 있다. Geometry는 world coordinate에서 유지하고, feature는 diffusion latent space에서 유지한다. 이 둘을 섞은 것이 Mirage의 가장 중요한 설계다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	long-horizon camera-controllable video generation에서 3D consistency 유지
Method name	Mirage
Core memory	latent-attributed 3D point cache
Cache initialization	initial frame을 VAE latent로 encode한 뒤 depth-guided back-projection
Cache readout	target camera pose로 latent-resolution projection and z-buffering
Injection path	ControlNet-style side branch
Cache update	generated chunk를 depth estimation, segmentation, VAE re-encoding 후 static content만 back-project
Base model	camera-controllable video diffusion transformer based on Wan2.2-TI2V-5B
Main claim	RGB point cloud memory의 render-and-reencode bottleneck을 줄이면서 spatial consistency를 유지

3-2. Module breakdown

1) Latent memory initialization

Mirage는 initial frame을 VAE encoder로 latent tensor로 바꾼다. 동시에 feed-forward reconstructor로 metric depth, camera intrinsics, camera pose를 얻는다. 그 다음 depth와 camera parameter를 latent grid resolution에 맞추고, 각 latent cell을 world space로 back-project한다.

중요한 점은 pixel마다 point를 만드는 것이 아니라 latent cell마다 point를 만든다는 것이다. 이렇게 하면 cache resolution이 VAE compression에 맞춰지고, 저장되는 feature도 backbone의 native latent token이 된다.

이 단계는 기존 RGB point cloud initialization과 비슷해 보이지만, 저장되는 값이 완전히 다르다.

• 기존 방식: world point plus RGB color
• Mirage: world point plus latent token

2) Latent-space memory readout

Target camera pose가 주어지면, Mirage는 memory point들을 target latent grid로 project한다. 한 cell에 여러 memory point가 들어오면 z-buffering으로 frontmost point를 선택한다. Memory point가 하나도 들어오지 않는 cell은 zero-fill하고, 별도의 visibility mask를 만든다.

이 readout의 결과는 target-view latent tensor다. 따라서 RGB render나 VAE encode가 필요 없다. 이 tensor와 visibility mask는 ControlNet-style side branch로 들어가고, backbone denoising 과정에 geometric hint로 주입된다.

이 설계는 hard constraint라기보다 soft conditioning에 가깝다. Projected latent memory가 완벽하지 않더라도, side branch가 이를 backbone feature로 조정해 쓰는 구조다. 이 점은 depth estimator가 바뀌어도 성능이 크게 무너지지 않는 ablation과 연결된다.

3) Autoregressive cache update

Mirage는 한 chunk를 생성한 뒤 cache를 갱신한다. 절차는 다음과 같다.

1. generated frames에서 depth와 camera parameter를 다시 추정한다.
2. generated frames를 VAE로 re-encode해 clean latent feature를 얻는다.
3. open-vocabulary entity extractor와 video segmenter로 dynamic objects와 sky region을 제외한다.
4. static and valid depth region의 latent token만 back-project해서 cache에 추가한다.
5. 현재 chunk latent는 다음 chunk의 short-term temporal context로도 넘긴다.

이 업데이트가 중요한 이유는 memory가 계속 자라기 때문이다. 잘못된 dynamic object가 cache에 들어가면 이후 chunk에서 stale object가 다시 splat될 수 있다. 그래서 Mirage는 persistent memory에는 static scene content만 넣는 쪽을 택한다.

4) Efficient adaptation to an existing diffusion model

Mirage는 pretrained camera-controllable video diffusion transformer를 완전히 새로 학습하지 않는다. 두 단계 adaptation을 사용한다.

Stage	Trainable part	Purpose
Stage 1	ControlNet-style side branch only	latent memory readout을 backbone feature space에 맞춤
Stage 2	side branch plus rank-64 LoRA on self-attention projections	memory condition에 lightweight adaptation

두 단계 모두 target frame에 대한 flow-matching objective를 사용한다. Stage 1에서 backbone과 VAE를 freeze하는 이유는 pretrained generative prior를 흔들지 않고 side branch가 먼저 memory signal을 해석하도록 만들기 위해서다. Stage 2에서 LoRA를 여는 것은 backbone을 크게 망가뜨리지 않으면서 memory conditioning에 적응시키기 위한 compromise로 읽힌다.

4. Training / Data / Recipe

4-1. Data

논문은 RealEstate10K video corpus를 사용해 학습한다. Depth와 camera pose를 추정하고, Section 4.4의 dynamic region filtering을 적용해 static scene 중심의 memory update가 가능하도록 구성한다.

Evaluation은 두 축으로 진행된다.

• WorldScore: controllability, consistency, quality, motion 관련 여러 metric을 포함한 world generation benchmark
• RealEstate10K: paired ground truth가 있어 novel view synthesis와 closed-loop consistency를 볼 수 있는 benchmark

RealEstate10K는 indoor real-estate footage 중심이므로, 이 데이터만 보면 open-domain outdoor scene까지 충분한지 판단하기 어렵다. 논문은 Figure 4에서 out-of-domain qualitative example을 보여주지만, 본문에서 정량 실험의 핵심은 WorldScore와 RealEstate10K다.

4-2. Training strategy

구현상 중요한 설정은 다음과 같다.

• Backbone은 Wan2.2-TI2V-5B 기반 camera-controllable video diffusion transformer다.
• 각 generation chunk는 9 latent frames를 포함하고, 이는 33 RGB frames에 대응한다.
• Training은 32 A100 GPUs에서 global batch size 64로 수행된다.
• ControlNet-style side branch는 Wan2.2의 대응 block에서 initialize된다.
• Optimizer는 AdamW를 사용하고, bfloat16 mixed precision과 flow-matching objective를 사용한다.
• Inference에서는 UniPC flow scheduler와 40 sampling steps를 사용한다.

이 recipe에서 핵심은 memory module을 backbone 외부에 얹되, feature space는 backbone latent에 맞춘다는 점이다. 즉 Mirage는 “외부 3D memory plus pretrained video generator” 조합이지만, readout signal은 RGB image가 아니라 latent tensor다.

4-3. Engineering notes

실제로 재사용할 때 주의할 포인트는 아래다.

1. Depth and pose estimation이 memory quality를 좌우한다.

   Latent token이 아무리 좋아도 world coordinate가 틀리면 wrong location에 저장된다. 논문은 DepthAnything 3, MapAnything, UniDepth ablation을 통해 robustness를 보이지만, depth-free 방법은 아니다.

2. Dynamic object filtering이 성능의 핵심이다.

   Static geometry를 cache에 쌓는 방식이므로, moving object나 sky region은 persistent memory에 넣으면 오히려 drift source가 된다. 이 filtering은 품질 장치이면서 동시에 limitation이다.

3. Cache readout은 싸지만 cache update는 여전히 pixel path를 포함한다.

   Mirage가 제거한 것은 per-conditioning-step render-and-reencode loop다. Chunk를 생성한 뒤 memory를 확장할 때는 generated frame을 decode하고 depth를 추정하고 다시 VAE encode하는 과정이 남아 있다. 다만 이 비용은 chunk update에 amortize되고, 매 target view readout의 critical path에는 들어가지 않는다.

4. ControlNet-style side branch는 soft geometry interface로 볼 수 있다.

   Projected latent cache를 hard overwrite하지 않고 side branch로 주입하기 때문에, noisy depth나 partial visibility에 대해 backbone이 어느 정도 보정할 수 있다.

5. Evaluation

5-1. Main results

먼저 WorldScore 결과를 보면 Mirage는 Average Score 70.36을 기록한다. 가장 강한 3D cache baseline인 Spatia는 69.73이므로 평균 기준 차이는 크지 않지만, 어떤 metric에서 좋아지는지가 중요하다.

Method	Average	Static	Dynamic	3D Cons	Photo Cons	Style Cons
Spatia	69.73	72.63	66.82	86.40	89.10	80.09
Mirage	70.36	73.60	67.11	92.21	93.95	96.91

이 표에서 메시지는 분명하다. Mirage의 강점은 평균 점수 하나보다 3D consistency와 photometric consistency에서 더 선명하다. RGB point cloud memory처럼 geometry anchor를 제공하면서도, latent detour를 줄였기 때문에 backbone이 더 잘 활용할 수 있는 signal을 받는다는 해석이 가능하다.

다만 Mirage가 모든 metric에서 압도하는 것은 아니다. 예를 들어 WorldScore table에서 camera control, content alignment, motion accuracy는 일부 baseline보다 낮다. 따라서 이 결과를 “모든 video generation 능력에서 최고”로 읽기보다는, persistent spatial consistency와 cache efficiency 쪽에 강한 method로 읽는 편이 맞다.

RealEstate10K 결과도 비슷한 메시지를 준다.

Method	PSNR	SSIM	LPIPS	PSNR-C	SSIM-C	LPIPS-C
Voyager	17.79	0.636	0.297	17.66	0.540	0.380
Spatia	18.58	0.646	0.254	19.38	0.579	0.213
Mirage	18.38	0.779	0.250	20.05	0.825	0.228

Novel view synthesis에서는 Mirage가 SSIM 0.779와 LPIPS 0.250으로 강하고, PSNR은 Spatia 18.58보다 약간 낮은 18.38이다. Closed-loop에서는 Mirage가 PSNR-C 20.05와 SSIM-C 0.825로 가장 높고, LPIPS-C는 Spatia 0.213이 Mirage 0.228보다 좋다.

Closed-loop metric이 특히 중요한 이유는 return trajectory에서 error가 누적되기 때문이다. Camera가 원래 위치로 돌아왔을 때 처음 frame과 비슷해야 한다면, 단순 frame-level quality보다 memory drift가 더 크게 드러난다. Mirage가 이 setting에서 SSIM-C를 크게 올린 것은 latent spatial memory가 long-horizon geometry anchor로 작동한다는 주장을 잘 뒷받침한다.

Efficiency도 이 논문의 핵심 결과다. 논문과 project page 기준으로 Mirage는 explicit RGB cache baseline 대비 end-to-end generation에서 up to 10.57x speedup, 3D cache memory에서 55x reduction을 보고한다. 이 수치는 “latent가 더 작다”라는 직관을 실제 system cost로 연결한다는 점에서 중요하다.

5-2. What really matters in the experiments

1) Latent cache vs RGB cache 비교가 핵심이다

Ablation에서 latent cache를 explicit RGB point cloud로 바꾸면 Average Score가 70.36에서 67.71로 떨어진다. 3D Cons도 92.21에서 90.75로, Photo Cons도 93.95에서 91.10으로 떨어진다.

이 차이는 크기가 아주 압도적이지는 않지만, 같은 backbone과 training recipe에서 memory representation만 바꾼 비교라는 점이 중요하다. 즉 Mirage의 주장은 단순히 “3D cache가 좋다”가 아니라 “cache를 latent space에 두면 RGB detour보다 더 낫다”에 가깝다.

2) Geometry를 latent grid에 맞추는 것이 중요하다

Feature Upsample, Pixel Resolution Lift variant는 Average 60.85로 크게 하락한다. 이 variant는 latent feature를 pixel resolution으로 upsample해서 lift한 뒤, readout 시 다시 latent grid로 aggregate하는 방식이다.

결과가 나빠지는 이유는 논문 해석대로, interpolated feature가 backbone pretraining distribution 밖으로 나가기 쉽기 때문이다. 이 부분은 실무적으로도 중요하다. Spatial resolution을 높인다고 항상 좋은 것이 아니라, feature가 원래 학습된 resolution and distribution에 맞아야 한다.

3) Dynamic object filter는 optional component가 아니다

No Dynamic Object Filter는 Average 61.20, 3D Cons 80.88, Photo Cons 76.10까지 떨어진다. 즉 moving object와 sky를 cache에서 제외하는 것은 부가적인 cleanup이 아니라 core stability component에 가깝다.

이 결과는 latent spatial memory의 성격을 잘 보여준다. Mirage의 cache는 persistent world geometry를 저장하는 데 강하지만, actor state를 계속 추적하는 memory는 아니다. 따라서 dynamic object를 오래 기억해야 하는 world model에는 별도 dynamic memory 설계가 필요하다.

4) Two-stage adaptation이 수렴 안정성에 중요하다

Single Stage Training은 Average 63.18로 full model보다 낮다. Stage 1에서 side branch만 먼저 학습하고, Stage 2에서 LoRA까지 여는 schedule이 성능에 꽤 중요하다는 뜻이다.

이 해석은 직관적이다. Memory readout signal이 아직 불안정한 초기에 backbone까지 같이 바꾸면, pretrained video prior가 immature conditioning에 맞춰 흔들릴 수 있다. Side branch가 먼저 latent memory를 읽는 법을 배운 뒤, LoRA로 backbone을 가볍게 적응시키는 쪽이 더 안정적이다.

5) Depth estimator 하나에만 의존하는 방법은 아니다

Depth source ablation도 흥미롭다.

Depth Source	Average	Static	Dynamic	3D Cons	Photo Cons
DepthAnything 3	70.36	73.60	67.11	92.21	93.95
MapAnything	69.66	72.78	66.53	91.89	93.32
UniDepth	69.13	72.15	66.10	91.63	92.79

성능은 default DepthAnything 3가 가장 좋지만, MapAnything과 UniDepth로 바꿔도 큰 폭으로 무너지지는 않는다. 이는 projected latent cache가 hard rendering target이라기보다 ControlNet-style side branch로 들어가는 soft hint이기 때문으로 해석할 수 있다.

6. Limitations

1. Dynamic actors를 persistent memory에 유지하지 않는다.

   논문도 명시하듯, Mirage는 moving entities를 cache에서 제외한다. 따라서 scene이 rigid static geometry 중심일 때 유리하고, actor state, object interaction, deformable object가 중요한 world model에서는 추가 dynamic memory가 필요하다.

2. Depth, pose, segmentation pipeline에 의존한다.

   Latent memory는 geometry coordinate가 맞아야 의미가 있다. Depth estimator를 바꿔도 성능이 크게 무너지지 않는다는 ablation은 긍정적이지만, 완전히 self-contained generator는 아니다.

3. Training data domain이 RealEstate10K 중심이다.

   논문은 out-of-domain qualitative result를 보여주지만, 정량 평가의 중요한 축은 RealEstate10K와 WorldScore다. 실제 outdoor navigation, robotics simulator, game-like world에서 같은 정도로 동작하는지는 별도 검증이 필요하다.

4. 모든 quality metric에서 최고는 아니다.

   Mirage는 3D consistency, photometric consistency, closed-loop SSIM에서 강하지만, WorldScore의 camera control, content alignment, motion accuracy에서는 일부 baseline보다 낮다. Spatial memory가 강하다고 해서 prompt following이나 dynamic motion까지 자동으로 해결되는 것은 아니다.

5. Cache update cost가 완전히 사라지는 것은 아니다.

   Per-step memory readout에서는 RGB render-and-reencode를 제거하지만, chunk update 단계에서는 generated frame decoding, depth estimation, segmentation, VAE re-encoding이 남아 있다. Long rollout system에서는 이 update cost와 cache growth policy도 함께 최적화해야 한다.

7. My Take

7-1. Why this matters for my work

이 논문은 video generation 논문이지만, 더 넓게 보면 multimodal memory system 설계 원칙을 준다.

최근 LLM이나 VLM에서 memory를 붙인다고 하면 보통 text summary, retrieved frame, compressed token, vector DB 같은 형태를 떠올린다. Mirage는 다른 방향을 보여준다. Memory를 외부 표현으로 저장하지 않고, 모델이 실제로 추론하는 latent representation 그대로 저장한다. 그리고 그 memory에 world coordinate를 붙인다.

이 관점은 document AI나 multimodal agent에도 연결된다. 예를 들어 UI agent가 화면을 계속 탐색한다면, screenshot RGB를 계속 저장하고 다시 encoder에 넣는 것보다, vision backbone의 latent feature를 layout coordinate와 함께 저장하는 쪽이 더 효율적일 수 있다. Robot이나 browser agent에서도 “memory content”와 “memory coordinate system”을 분리해서 설계하는 것이 중요해진다.

7-2. Reuse potential

재사용하고 싶은 포인트는 아래 5가지다.

1. Native-space memory

   Memory를 사람이 보기 좋은 RGB나 text로만 저장하지 말고, 모델이 직접 사용하는 latent representation으로 저장하는 설계다. 이는 cache fidelity와 inference cost를 동시에 줄이는 방향이다.

2. Coordinate-aware latent cache

   Latent token을 그냥 sequence memory로 두는 것이 아니라 world-space coordinate에 anchoring한다. 이 점이 memory retrieval과 geometry consistency를 연결한다.

3. Visibility mask with soft injection

   Memory readout에서 visibility mask를 같이 만들고, side branch로 주입하는 구조는 noisy retrieval에 강하다. Hard overwrite보다 실용적이다.

4. Static persistent memory and dynamic exclusion

   Dynamic object를 무리하게 영구 cache에 넣지 않는 설계도 중요하다. 모든 것을 기억하려 하기보다, persistent geometry와 transient actor state를 분리해야 한다.

5. Two-stage adaptation

   먼저 side branch를 학습하고, 그 다음 LoRA로 backbone을 살짝 여는 schedule은 pretrained generator에 memory condition을 붙일 때 좋은 default recipe가 될 수 있다.

7-3. Follow-up papers

• Spatia: Video Generation with Updatable Spatial Memory
• Video World Models with Long-term Spatial Memory
• Voyager and WonderWorld
• WorldScore and WorldScore-R1
• VGGRPO
• MosaicMem
• Geometry-Aware Implicit Memory for Video World Models
• WorldPack
• RealEstate10K based novel view synthesis papers

8. Summary

• Mirage는 RGB point cloud 대신 VAE latent token을 3D world coordinate에 저장하는 latent spatial memory를 제안한다.
• Target view에서는 cache를 RGB로 render하지 않고 latent grid로 직접 project해서 ControlNet-style side branch에 넣는다.
• 이 설계는 per-step render-and-reencode bottleneck을 줄이고, diffusion backbone의 native latent space에 더 가까운 memory signal을 제공한다.
• WorldScore와 RealEstate10K에서 spatial consistency와 closed-loop consistency가 강하게 나타나며, efficiency도 up to 10.57x speedup과 55x lower 3D cache memory를 보고한다.
• 다만 dynamic actors, depth and segmentation dependency, open-domain quantitative validation, update cost는 실제 system 적용 전 반드시 같이 봐야 한다.