9 분 소요

0. Introduction

Paper link

Project page

Code

한 줄 요약: Lyra 2.0은 single image를 persistent 3D world로 바꾸기 위해, long camera-controlled video를 생성한 뒤 이를 explicit 3D representation으로 올리고, forgetting은 geometry-aware retrieval로, drifting은 self-augmented training으로 다룬다.

Lyra 2.0은 또 하나의 “image-to-3D demo” 이상으로 읽을 가치가 있다. 이 논문이 실제로 다루는 것은 camera path가 길어지고, 오래된 region을 revisit해야 하며, downstream 3D reconstruction이 버틸 수 있을 만큼 coherence를 유지해야 하는 상황에서 long-horizon world generation을 어떻게 usable하게 만들 것인가다.

이 논문이 흥미로운 이유는 문제를 분해하는 방식이다. 저자들은 long-horizon failure를 하나의 vague한 “consistency issue”로 보지 않는다. 대신 두 개의 분리된 failure mode로 나눈다.

  • “spatial forgetting”: model이 old region을 temporal window 안에서 더 이상 보지 못해, revisit 때 structure를 hallucinate한다.
  • “temporal drifting”: 작은 autoregressive error가 누적되며 appearance와 geometry를 점점 비틀어 놓는다.
  • “reconstruction brittleness”: 작은 multi-view inconsistency조차 feed-forward 3D pipeline을 깨뜨릴 수 있다.

이 분해는 중요하다. fix도 서로 다르기 때문이다. geometry는 memory를 위한 retrieval과 routing signal로 쓰이고, training은 generator가 자기 자신의 imperfect history에서 회복하도록 수정된다. 내가 보기엔 world generation system을 생각하는 올바른 방식이 여기에 있다. memory, generation, reconstruction을 하나의 brittle mechanism으로 뭉개면 안 된다.

1. Problem Setting

1-1. Problem definition

  • 입력은 single image와 user-defined camera trajectory다.
  • 목표는 단순한 short novel-view video가 아니다. large viewpoint change, revisit, progressive scene expansion을 버틸 수 있는 long하고 explorable한 3D world가 목표다.
  • 출력은 explicit 3D가 되어야 한다. 최종 use case가 단순 시청이 아니라 rendering, simulation, interactive exploration이기 때문이다.

1-2. Why previous approaches are insufficient

  • pure temporal conditioning만으로는 camera가 model의 current context window 밖에 있는 region을 다시 방문할 때 충분하지 않다.
  • naive한 autoregressive long video generation은 작은 synthesis error를 누적시키므로, 처음 몇 frame이 좋아 보여도 긴 trajectory 전체는 점점 drift한다.
  • 일부 method는 strong geometric constraint를 통해 좋은 camera control을 얻지만, 그 대가로 perceptual quality가 약해지는 경우가 많다.
  • 다른 memory-based method는 visual quality는 어느 정도 유지하지만, 긴 horizon에서 camera controllability를 잃거나 geometry error를 누적시키기도 한다.
  • Lyra 1.0 같은 earlier generative reconstruction method도 short video를 3D로 올릴 수는 있었지만, video horizon 자체가 짧으면 scene scale 역시 제한된다.

2. Core Idea

2-1. Main contribution

  • Lyra 2.0은 long-horizon scene exploration을 위한 autoregressive “retrieve-generate-update” loop를 구축한다.
  • forgetting을 줄이기 위해 per-frame geometry를 spatial memory에 저장하고, target viewpoint에서 실제로 visible한 history frame을 retrieve한다.
  • drifting을 줄이기 위해 compressed temporal history와, imperfect history에 model을 노출시키는 self-augmentation training을 결합한다.
  • 결과를 usable하게 만들기 위해, generated video를 cleaner한 3D Gaussian scene과 mesh로 바꿀 수 있도록 feed-forward 3D reconstruction model을 fine-tune한다.
  • interactive use를 위해서는 denoising step을 35에서 4로 줄인 distilled model도 학습한다.

system을 간단히 쓰면 다음과 같다.

\[\text{next chunk} = f(\text{temporal history}, \text{retrieved spatial memory}, \text{camera path}, \text{text prompt})\]

그리고 각 generation step 뒤에는 memory가 다음처럼 update된다.

\[\mathcal{M}_{t+1} = \mathcal{M}_t \cup \hat{V}_t\]

이 식들은 conceptual summary이지만, 논문의 핵심 logic을 잘 담고 있다.

2-2. Design intuition

  • 논문은 geometry를 final image를 위한 “hard renderer”로 쓰지 않는다. geometry는 어떤 past content가 중요한지, 그리고 그것을 new target view와 어떻게 align할지를 결정하는 데 쓰인다.
  • 이건 미묘하지만 중요한 design choice다. appearance synthesis는 video model의 generative prior에 남겨 두고, geometry는 memory index와 correspondence guide 역할을 맡는다.
  • anti-drifting idea도 실용적이다. 실제 deployment에서는 model이 자기 자신의 imperfect output을 conditioning context로 써야 하는데, clean history로만 training하면 train-test mismatch가 생긴다.
  • reconstruction model 역시 disposable post-process가 아니라 system의 일부로 다뤄진다. 그래서 저자들은 off-the-shelf reconstructor가 generative artifact를 버틸 것이라고 가정하지 않고, generated video에 맞춰 DAv3를 fine-tune한다.

3. Architecture / Method

3-1. Overview

Item Description
Goal single image에서 long camera-controlled video를 생성하고, 이를 explorable 3D scene으로 올리기
Backbone causal VAE와 camera conditioning을 갖춘 Wan 2.1-14B DiT video diffusion model
Anti-forgetting per-frame 3D memory에서 geometry-aware retrieval을 하고 correspondence injection을 적용
Anti-drifting FramePack 기반 temporal grounding과 corrupted history에 대한 self-augmentation
Reconstruction modified and fine-tuned DAv3 for 3DGS, 이후 mesh extraction
Acceleration interactive use를 위한 4-step denoising의 DMD-distilled student

3-2. Module breakdown

1) Retrieve-generate-update loop

  • 각 iteration에서 user는 camera trajectory와 optional text prompt를 지정한다.
  • system은 3D memory에서 relevant history frame을 retrieve한다.
  • retrieved spatial context와 temporal history를 함께 conditioning으로 사용해 다음 video chunk를 생성한다.
  • 새로 생성된 frame과 그 geometry estimate로 memory를 update한다.
  • 이 loop는 generator의 짧은 temporal context에 memory growth가 묶여 있지 않기 때문에 arbitrarily long trajectory로 계속 확장될 수 있다.

2) Geometry-aware retrieval and correspondence injection

  • 각 history frame은 downsampled geometry를 memory cache에 저장한다.
  • target viewpoint가 주어지면 system은 각 history frame의 point를 target image plane으로 project하고 visibility score를 계산한다.
  • training 중에는 visibility에 비례해 history frame을 sample하므로 model이 다양한 retrieval outcome을 경험한다.
  • inference에서는 greedy하게 coverage를 최대화해, target view의 아직 설명되지 않은 가장 큰 영역을 덮는 frame을 선택한다.
  • retrieved frame은 video model context 안의 spatial slot이 된다.
  • 논문은 총 5개의 retrieved spatial slot을 사용한다. subsampling factor 2의 frame 4개와 full resolution frame 1개다.
  • retrieved image 위에는 warped canonical coordinate와 depth가 correspondence signal로 every transformer block에 주입된다.

3) Temporal grounding plus self-augmentation

  • temporal history는 FramePack으로 압축되어, model이 original image에 대한 anchor reference를 유지하면서도 더 긴 horizon을 다룰 수 있게 한다.
  • 하지만 이것만으로는 inference history가 noisy하다는 사실을 해결하지 못한다.
  • self-augmentation은 history latent를 corrupt한 뒤, one extra forward pass로 denoise하고, 그 imperfect reconstruction을 conditioning context로 사용하되 supervision은 clean target에 대해 주는 방식으로 이 mismatch를 해결한다.
  • 좋은 점은 overhead가 작다는 것이다. 논문은 이 augmentation에 one extra DiT forward pass만 필요하다고 말한다.
  • 뒤의 ablation은 이것이 왜 중요한지를 보여준다. self-augmentation을 제거하면 per-frame subjective quality는 오를 수 있지만, long-horizon consistency는 나빠진다.

4) Reconstruction and acceleration

  • generated video는 DAv3를 통해 explicit 3D로 lifted된다.
  • 저자들은 Gaussian DPT head를 수정해 output feature map을 downsample하고, 그 결과 Gaussian 수를 줄여 scene을 rendering과 streaming에 더 practical하게 만든다.
  • 이후 자기들의 video model이 생성한 scene 위에서 DAv3를 fine-tune해 reconstructor가 generative artifact에 더 robust해지도록 한다.
  • 3DGS reconstruction 이후에는 OpenVDB 기반 hierarchical sparse grid pipeline으로 surface mesh를 추출한다.
  • 더 빠른 interactive use를 위해, 저자들은 DMD로 generator를 distill하고 denoising step을 35에서 4로 줄이며, classifier-free guidance도 student 안으로 distill한다.

4. Training / Data / Recipe

4-1. Data

  • video generator는 DL3DV로 학습되며, 논문은 이를 diverse real-world scene으로 이루어진 10K long video clip이라고 설명한다.
  • camera pose는 ViPE로 추정한다.
  • per-frame depth는 Depth Anything V3로 예측한다.
  • video caption은 Qwen3-VL-8B-Instruct로 생성한다.
  • training pair는 두 모드를 섞는다.
    • 30 percent는 single initial frame에서 시작하는 image-to-video mode
    • 70 percent는 더 긴 sequence에서 가져오는 autoregressive chunk-based mode
  • reconstruction model을 위해 저자들은 DL3DV image와 trajectory에서 autoregressively 3,000개의 one-minute video를 생성한 뒤, 그 generated corpus로 DAv3를 fine-tune한다.

4-2. Training strategy

  • backbone은 Wan 2.1-14B다.
  • 논문은 full model에 대해 rectified flow matching과 35 inference step의 FlowUniPC를 사용한다.
  • self-augmentation strategy는 DMD distillation 중에도 유지되어, fast student 역시 autoregressive error accumulation에 robust하도록 만든다.
  • 따라서 generator와 reconstructor는 paired system으로 학습된다. 하나는 long-horizon generated supervision을 만들고, 다른 하나는 그 supervision이 만드는 특유의 artifact를 견디는 법을 배운다.

4-3. Engineering notes

  • 논문에서 가장 강한 engineering choice 중 하나는, conditioning을 위해 모든 것을 하나의 global point cloud로 fuse하는 대신 geometry memory를 per-frame으로 유지한다는 점이다.
  • ablation이 그 이유를 보여 준다. history를 과하게 fuse하면 depth error가 conditioning signal을 오염시키고 camera control이 떨어진다.
  • 또 하나 유용한 systems detail은 interactive GUI다. user는 누적된 3D cache 안에서 직접 navigation하고, revisit나 scene expansion을 계획하며, 같은 world를 계속 확장해 나간다.
  • 이 점 때문에 Lyra 2.0은 single-shot benchmark model보다 generated environment를 만드는 authoring system에 더 가깝게 느껴진다.
  • 최종 3D output은 3D Gaussian과 mesh 둘 다로 export할 수 있는데, სწორედ 이 점 때문에 이 작업이 video generation만이 아니라 rendering과 embodied simulation에도 relevance를 가진다.

5. Evaluation

5-1. Main results

long video generation에서 Lyra 2.0은 DL3DV-Evaluation과 Tanks and Temples 둘 다에서 강한 결과를 보인다. Tanks and Temples result를 간단히 보면 아래와 같다.

Method SSIM LPIPS FID Subjective Qual. Style Consist. Camera Ctrl. Reproj. Err.
CaM 0.367 0.605 59.20 34.22 82.83 31.86 0.056
SPMem 0.383 0.571 60.11 34.41 79.68 45.07 0.059
GEN3C 0.350 0.589 79.07 21.75 75.54 70.91 0.054
Ours 0.384 0.552 51.33 43.35 85.07 63.87 0.069
Ours DMD 0.362 0.545 49.71 43.02 78.91 58.12 0.077

이 표만 봐도 논문의 핵심 trade-off story가 드러난다.

  • GEN3C는 여전히 camera controllability와 reprojection error에서는 더 강하다.
  • Lyra 2.0은 perceptual quality, style consistency, FID에서는 훨씬 더 분명하게 이긴다.
  • DMD student는 camera control이 약간 떨어지지만, quality를 surprisingly close하게 유지한다.

3D scene generation에서는 fine-tuned reconstruction을 붙인 full pipeline이 가장 강하다.

Method LPIPS-P LPIPS-G FID Subjective Qual.
CaM + DAv3 0.423 0.693 94.02 9.79
SPMem + DAv3 0.412 0.666 94.11 9.95
Ours + DAv3 0.409 0.648 79.36 14.42
Ours Full 0.372 0.629 72.47 18.80

중요한 것은 Ours Full이 최고라는 사실 자체만이 아니다. Ours + DAv3와 Ours Full 사이의 gap이, generated data에 reconstructor를 적응시키는 것이 얼마나 가치 있는지를 보여준다는 점이다.

5-2. What really matters in the experiments

네 가지 결과가 특히 중요하다.

1) 이 논문은 baseline보다 quality-control balance를 더 잘 찾는다

GEN3C는 Tanks and Temples에서 70.91로 최고 camera controllability를 달성하지만, subjective quality는 21.75, FID는 79.07이다. Lyra 2.0은 control score를 일부 양보하지만, subjective quality 43.35와 FID 51.33에 도달한다. 최종 목표가 사용자가 실제로 탐색할 수 있는 world라면, 이건 의미 있는 이동이다.

2) fast distilled model은 toy가 아니다

DMD student는 denoising step을 35가 아니라 4로 사용한다. 그럼에도 LPIPS와 FID에서 꽤 가까운 수준을 유지하므로, full diffusion-only pipeline보다 interactive story를 훨씬 더 설득력 있게 만든다.

3) 3D consistency는 video metric뿐 아니라 reconstruction 이후에도 나타난다

Ours Full은 Tanks and Temples 3D reconstruction에서 Ours + DAv3 대비 FID를 79.36에서 72.47로, subjective quality를 14.42에서 18.80으로 개선한다. 즉 reconstructor를 afterthought로 두지 않고 system의 일부로 다뤄야 한다는 논문의 판단이 맞았다는 뜻이다.

4) ablation이 headline table보다 더 깔끔한 story를 준다

Tanks and Temples ablation은 특히 드러난다.

Variant SSIM LPIPS FID Subjective Qual. Style Consist. Camera Ctrl. Reproj. Err.
Ours 0.384 0.552 51.33 43.35 85.07 63.87 0.069
w/ Global Point Cloud 0.368 0.562 52.54 44.58 82.42 49.86 0.067
w/ Explicit Corr. Fusion 0.370 0.554 49.13 45.71 83.28 57.29 0.071
w/o FramePack 0.362 0.549 50.98 45.27 80.61 62.62 0.079
w/o Self-Augmentation 0.363 0.568 55.15 47.88 77.98 53.92 0.066

이 표는 보기보다 훨씬 중요하다.

  • global point cloud conditioning은 camera control을 크게 해치며, geometry를 one fused map이 아니라 per-frame memory로 유지해야 한다는 결정을 지지한다.
  • FramePack을 제거하면 style consistency와 reprojection error가 나빠지는데, 이는 long horizon에서 temporal grounding이 중요하다는 직관과 맞는다.
  • self-augmentation을 제거하면 subjective quality는 오히려 47.88까지 올라가지만, style consistency는 77.98, camera control은 53.92로 떨어진다.
  • 마지막 결과가 특히 중요하다. self-augmentation은 각 frame을 prettier하게 만드는 기법이 아니라, rollout 전체를 덜 brittle하게 만드는 기법이라는 뜻이다.

6. Limitations

  1. 현재 framework는 static environment에 초점을 맞추며 dynamic scene을 명시적으로 model하지는 않는다.
  2. generator는 training data의 속성을 물려받는다. 논문도 DL3DV가 exposure variation을 포함한다고 적고 있으며, 그런 photometric inconsistency가 reconstruction artifact로 전파될 수 있다.
  3. CaM, SPMem 같은 일부 baseline은 official code가 없어서 재구현되었으므로, exact baseline parity는 다소 조심해서 읽어야 한다.
  4. 추가로 주의점은, Lyra 2.0이 memory routing을 위해 upstream depth와 pose quality에 여전히 의존한다는 점이다. 논문 자체도 noisy geometry 아래에서 hard geometric fusion이 brittle해진다는 점을 보여주므로, 평가 설정 바깥에 배포할 때는 이를 별도 검증해야 한다.

7. My Take

7-1. Why this matters for my work

  • 여기서 가장 재사용 가치가 큰 아이디어는 long-horizon generation 그 자체보다도 separation of concerns다.
  • geometry는 generator 바깥에서 memory와 correspondence interface로 유지되고, video prior는 appearance synthesis를 담당한다.
  • 이는 applied world modeling, simulation data generation, interactive scene authoring system 전반에 매우 유용한 pattern이다.

7-2. Reuse potential

  • geometry-aware retrieval은 old state를 revisit하는 long-context generative system 전반에서 강한 design pattern이다.
  • self-augmentation은 deployed model이 자기 자신의 imperfect output을 conditioning context로 써야 하는 경우 전반에 재사용 가능하다.
  • generated data 위에서 reconstructor를 fine-tune하는 것은 underrated idea다. generator와 reconstructor가 서로 다른 error distribution을 보면 pipeline 전체가 fragile해진다.
  • DMD student도 실용적이다. 느리지만 high-quality인 teacher와 더 빠른 interactive student를 나누는 systems split은 재사용 가치가 있다.

7-3. Follow-up papers

  • Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation
  • GEN3C
  • FantasyWorld
  • Context as Memory

8. Summary

  • Lyra 2.0은 long-horizon world generation을 forgetting과 drifting이라는 두 문제로 다시 정리한다.
  • forgetting은 one fused global 3D condition이 아니라 per-frame geometry memory와 visibility-based retrieval로 해결한다.
  • drifting은 FramePack과 self-augmentation으로 다루어, model이 imperfect rollout history에서 회복하도록 만든다.
  • 이 논문의 가장 강한 systems move는 off-the-shelf 3D lifting이 버틸 것이라고 가정하지 않고, generated data에 맞춰 reconstructor를 적응시킨다는 점이다.
  • Lyra 1.0이 generative reconstruction에 가까웠다면, Lyra 2.0은 그것을 explorable world-building pipeline으로 확장한 논문에 가깝다.

댓글남기기

참고