Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation Review

2026-05-29 9 분 소요

0. Introduction

한 줄 요약: Lyra는 camera-controlled video diffusion model을 teacher로 사용하고 latent-space 3DGS decoder를 student로 학습시켜, 실제 multi-view training capture 없이도 단일 image나 video를 explicit 3D 혹은 4D scene으로 바꾼다.

Project page와 OpenReview에는 “Lyra”가 ICLR 2026 poster로 표기되어 있고, code도 공개되어 있다. Lyra는 최근 나온 3D 논문들 가운데에서도 꽤 흥미로운 편인데, 그 이유는 “view-consistent video generation”에서 멈추지 않기 때문이다. 이 논문은 더 실용적인 “systems question”을 묻는다. video diffusion model이 이미 강한 3D prior를 갖고 있다면, 그 prior를 explicit하고 renderable하며, simulator나 downstream world-model pipeline 안에서 재사용 가능한 representation으로 distill할 수 있을까?

이 논문을 지금 읽을 가치가 있는 이유는 세 가지다.

2D video generator를 real-time rendering이 가능한 explicit 3DGS scene model로 바꾼다.
pretrained camera-controlled video model의 synthetic supervision으로 scarce한 real multi-view supervision을 대체한다.
같은 teacher-student recipe를 image-to-3D에서 video-to-4D로 확장하는데, 이는 embodied system이나 simulation-heavy system이 실제로 world representation을 소비하는 방식에 더 가깝다.

Lyra는 “one-off demo”라기보다, generative video prior를 explicit scene model로 바꾸는 “blueprint”에 가깝다.

1. Problem Setting

1-1. Problem definition

high-quality 3D scene generation은 여전히 data bottleneck이 있다. classical reconstruction은 정확한 pose와 많은 captured view가 필요하고, dynamic scene은 synchronized multi-camera capture가 필요한 경우가 많다.
video diffusion model은 large-scale real video로 학습되며 camera와 geometry regularity를 implicit하게 학습한다는 점에서 매력적이지만, 출력은 여전히 2D frame일 뿐이다.
robotics, simulation, interactive rendering에는 2D-consistent video만으로는 부족하다. arbitrary view에서 render할 수 있고, export할 수 있으며, downstream system이 재사용할 수 있는 explicit representation이 필요하다.
Lyra는 바로 이 gap을 겨냥한다. single image 또는 single video를 입력으로 받아, real multi-view training dataset 없이 explicit 3DGS 혹은 dynamic 3DGS를 출력한다.

1-2. Why previous approaches are insufficient

standard reconstruction pipeline은 real multi-view capture와 accurate camera pose에 의존하므로 scale과 diversity가 제한된다.
feed-forward scene reconstruction model은 amortization을 개선하지만, 여전히 scarce한 3D training data에 bottleneck이 있고 out-of-distribution generalization도 자주 약하다.
multi-view diffusion method는 plausible한 novel view를 hallucinate할 수 있지만, 대개 image 단계에서 멈추거나 별도의 optimization-heavy reconstruction step을 요구한다.
camera-controlled video model은 viewpoint control은 개선하지만, 출력이 아직 explicit 3D structure에 grounded되어 있지는 않다.
pixel-space feed-forward 3D decoder 역시 model이 많은 high-resolution view를 흡수해야 할 때 scale이 잘 나오지 않는다. Lyra는 geometry bottleneck을 풀기 전에 scaling bottleneck부터 해결해야 한다는 아이디어 위에 세워져 있다.

2. Core Idea

2-1. Main contribution

Lyra는 pretrained camera-controlled video diffusion model을 teacher로, 3DGS decoder를 student로 두는 “teacher-student loop”를 구성한다.
input image와 sampled camera trajectory가 주어지면, teacher는 denoised video latent를 만든다. 이 latent는 두 방식으로 decode된다. frozen RGB decoder는 supervision frame을 만들고, trainable 3DGS decoder는 explicit Gaussian scene을 만든다.
같은 아이디어는 dynamic scene에도 확장된다. monocular video input의 경우 student는 time-aware dynamic 3DGS decoder가 된다.
viewpoint coverage를 넓히기 위해 model은 input마다 여러 camera trajectory를 sample하고, 나중에 여러 scene을 생성해 합치는 대신 decoder 내부에서 그것들을 fuse하도록 학습한다.
핵심 가정은 단순하다. video model을 “supervision factory”로 쓰되, 최종 output은 또 다른 2D video가 아니라 explicit 3D geometry로 만들자는 것이다.

training objective를 간단히 읽으면 다음과 같다.

\[L = \lambda_{mse} L_{mse} + \lambda_{lpips} L_{lpips} + \lambda_{depth} L_{depth} + \lambda_{opacity} L_{opacity}\]

정확한 scalar weight는 arXiv HTML view에서 일부 symbol이 빠지므로, 최종 발행 전 original PDF에서 다시 확인하는 편이 좋다.

2-2. Design intuition

teacher는 이미 여러 viewpoint에서 scene이 어떻게 보여야 하는지 알고 있다. Lyra는 그 prior를 처음부터 다시 학습하지 않고, 단지 다른 output head로 distill한다.
latent space에서 작동하는 것은 단순한 “efficiency trick”이 아니다. reconstruction network의 memory를 폭발시키지 않으면서 wide view coverage를 가능하게 하는 핵심이다.
3D Gaussian Splatting이 선택된 이유는 explicit하고 fast to render하기 때문이다. 더 implicit하지만 쓰기 어려운 representation을 좇는 것보다 여기서는 이 점이 더 중요하다.
dynamic scene에서는 supervision이 시간에 따라 uneven하다. early frame은 near view에서 더 자주 보이고, later frame은 farther view에서 더 자주 보인다. dynamic augmentation은 정확히 이 imbalance를 고치기 위해 설계된다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	camera-controlled video diffusion prior를 explicit 3DGS 또는 dynamic 3DGS scene model로 distill
Teacher	frozen RGB decoder를 포함한 pretrained GEN3C-style camera-controlled video diffusion model
Student	static scene용 latent-space 3DGS decoder, 그리고 dynamic scene용 time conditioning 확장 버전
Key supervision	teacher에서 나온 RGB render matching과 depth, opacity regularization
Key scaling move	raw pixel이 아니라 compressed video latent에서 geometry decode
Inference path	inference 때는 RGB decoder가 아니라 3DGS decoder만 사용

3-2. Module breakdown

1) Camera-controlled video model as teacher

Lyra는 spatiotemporal 3D cache와 structured rendering guidance를 사용하는 camera-controlled video diffusion model인 GEN3C 위에 구축된다.
teacher는 image 또는 video input과 sampled camera pose를 받아 denoised latent video를 만들고, 이를 frozen RGB decoder로 decode한다.
이 teacher는 training signal 전체가 여기서 나온다는 점에서 핵심이다. Lyra는 captured 3D ground truth나 real multi-view supervision에 의존하지 않는다.

2) Latent-space 3DGS decoder

student는 encoded Plucker camera embedding과 함께 multi-view video latent를 받는다.
model은 separate visual encoder를 추가하지 않는다. latent input을 patchify하고 그 위에서 reconstruction block을 돌린다.
각 reconstruction block은 Long-LRM design을 따른다. one Transformer layer 뒤에 seven Mamba-2 layer가 붙는다. Lyra는 이 block을 두 번 반복해, 총 16 layer와 512 hidden dimension을 사용한다.
output head는 14개의 Gaussian channel을 예측한다. 3D position, scale, rotation quaternion, opacity, RGB다.
이건 의미 있는 design choice다. 논문은 giant decoder로 이기려 하지 않는다. decoder를 올바른 interface에 배치해서 이긴다.

3) Multi-trajectory supervision and learned fusion

각 input마다 Lyra는 coverage를 최대화하기 위해 여섯 개의 camera trajectory를 sample한다.
각 trajectory는 teacher로부터 latent video를 만든다. 그 다음 student는 이 전부를 하나의 coherent 3DGS로 fuse한다.
중요한 점은 fusion이 reconstruction network 내부에서 learned된다는 것이다. 뒤의 ablation은 각 trajectory를 independently reconstruct한 뒤 나중에 merge하는 방식이 훨씬 약하다는 것을 보여준다.

4) Dynamic extension for 4D scenes

dynamic decoder는 static architecture를 물려받되, encoded source-time과 target-time embedding을 추가한다.
training 중에는 target timestep을 sample하고, 그 timestep에 해당하는 dynamic Gaussian을 모든 trajectory에 걸쳐 supervision한다.
degenerate한 time-local solution을 피하기 위해 논문은 motion-reversed augmentation을 도입한다. model은 input video를 뒤집고, additional trajectory를 생성한 뒤, 다시 원래 motion order로 되돌려 timestep당 총 12개의 supervision view를 얻게 된다.
이건 논문에서 가장 실용적인 부분 중 하나인데, 많은 dynamic reconstruction pipeline이 조용히 겪는 failure mode를 정면으로 다루기 때문이다.

4. Training / Data / Recipe

4-1. Data

Lyra는 existing multi-view dataset으로 학습하지 않는다. “Lyra dataset”이라고 부르는 synthetic supervision set을 스스로 만든다.
static 3D setup은 59,031 image를, dynamic 4D setup은 7,378 video를 사용한다.
prompt는 indoor scene, outdoor scene, human, animal, realistic scene, more imaginative content까지 의도적으로 다양하게 구성된다.
pipeline은 각 image 또는 video마다 여섯 개의 camera trajectory를 sample해, static 3D training용으로 354,186 video, dynamic 4D training용으로 44,268 video를 만든다.
static training에서는 논문이 LLM으로 prompt를 curate하고, image diffusion model로 image를 생성한 뒤, video model로 이를 multi-view sequence로 확장한다. dynamic training에서는 video를 생성하고, 이후 ViPE를 사용해 camera pose와 depth를 annotate한다.

4-2. Training strategy

학습되는 것은 3DGS decoder뿐이다. pretrained autoencoder, diffusion model, RGB decoder는 frozen 상태로 유지된다.
supervision은 image reconstruction, perceptual similarity, scale-invariant depth, opacity regularization을 결합한다.
논문은 가장 낮은 80 percent opacity Gaussian을 prune하는데, 이는 scene을 compact하게 만들 뿐 아니라 quality도 약간 개선한다.
directly long하고 high-coverage trajectory에 대해 학습하는 것은 너무 비싸기 때문에 training은 progressive하게 진행된다.
최종 static model은 dynamic model의 initialization으로 사용된다.
appendix는 총 training time이 8 NVIDIA A100 80 GB GPU에서 6일이라고 보고한다.

4-3. Engineering notes

latent-space choice가 핵심 scaling trick이다. appendix에 따르면 생성된 scene은 726 frame을 표현하고, naive한 pixel-aligned setup이라면 654,213,120개의 per-pixel Gaussian이 필요하다. Lyra는 대신 spatial neighborhood당 하나의 Gaussian만 예측해 이를 64배 줄인 10,222,080으로 만들고, 이후 다시 2,044,416까지 prune한다.
teacher 자체도 cleanup이 필요하다. GEN3C forward warping은 large viewpoint change에서 background를 disoccluded region으로 새는 문제가 있는데, Lyra는 mesh-based surface check를 활용한 conservative mask refinement를 추가해 이를 더 안전하게 표시한다.
joint Transformer-Mamba design도 cosmetic하지 않다. appendix는 Transformer-only variant가 같은 training budget에서 quality가 약간 낮고 훨씬 느리다고 보고한다.
논문은 또한 pixel-space decoding에 대한 강한 systems argument를 제시한다. latent 3DGS를 제거한 ablation은 그냥 out of memory가 난다.

5. Evaluation

5-1. Main results

headline result는 Lyra가 RealEstate10K, DL3DV, Tanks-and-Temples 전반에서 이전 single-image-to-3D method를 이긴다는 점이다.

Method	RealEstate10K	DL3DV	Tanks-and-Temples
ZeroNVS	13.01 / 0.378 / 0.448	13.35 / 0.339 / 0.465	12.94 / 0.325 / 0.470
ViewCrafter	16.84 / 0.514 / 0.341	15.53 / 0.525 / 0.352	14.93 / 0.483 / 0.384
Wonderland	17.15 / 0.550 / 0.292	16.64 / 0.574 / 0.325	15.90 / 0.510 / 0.344
Bolt3D	21.54 / 0.747 / 0.234	-	-
Ours	21.79 / 0.752 / 0.219	20.09 / 0.583 / 0.313	19.24 / 0.570 / 0.336

숫자는 PSNR / SSIM / LPIPS 기준이다.

appendix는 또한 같은 GEN3C backbone을 붙인 BTimer와 Lyra를 저자들의 static 및 dynamic Lyra dataset에서 비교하고, 여기서도 Lyra가 더 낫다고 보고한다. 다만 appendix table ordering은 HTML rendering이 약간 어색하므로, 최종 발행 전에 PDF 기준으로 다시 확인하는 편이 좋다.

5-2. What really matters in the experiments

leaderboard table보다 ablation이 더 많은 정보를 준다.

real data only setting은 Lyra dataset에서 19.08 / 0.659 / 0.413까지 떨어지는 반면, full Lyra는 24.77 / 0.837 / 0.224에 도달한다. self-distillation data engine이 단순한 convenience가 아니라 generalization의 핵심 driver라는 점을 가장 분명하게 보여준다.
self-distillation 위에 real data를 더 얹는 것은 도움이 되지 않는다. combined setting은 24.74 / 0.823 / 0.236으로, pure self-distilled setup과 거의 같거나 약간 뒤처진다.
multi-view fusion을 제거하면 결과가 크게 무너진다. 17.73 / 0.632 / 0.446이다. 이는 model이 단순한 local per-view decoder를 배우는 것이 아니라 cross-trajectory context를 reconcile하는 법을 배우고 있다는 뜻이다.
LPIPS를 제거해도 분명히 나빠진다. 23.74 / 0.766 / 0.370이다. 논문은 LPIPS를 robustness와 high-frequency detail term으로 해석하고, 숫자도 그 해석을 뒷받침한다.
depth loss를 제거해도 24.31 / 0.811 / 0.247로 나빠진다. appendix는 depth supervision이 flat geometry를 막는다고 추가로 설명한다.
Mamba-2를 제거하면 24.58 / 0.818 / 0.241이다. quality drop은 modest하지만 speed story가 중요하다. appendix setting에서 joint block은 one forward pass에 3213 ms가 걸리는 반면, Transformer-only version은 20922 ms가 걸린다.
latent 3DGS가 없으면 model은 out of memory다. 이건 아마도 논문 전체에서 가장 중요한 ablation인데, central systems design choice를 cosmetic add-on이 아니라 핵심으로 검증해 주기 때문이다.

pruning에서도 practical한 rendering gain이 있다. appendix는 평가 설정에서 opacity pruning을 적용했을 때 18 ms, 적용하지 않았을 때 30 ms를 보고한다.

6. Limitations

상한은 여전히 teacher video diffusion model이 정한다. teacher가 camera control, completion, 3D consistency에서 실패하면 student는 불완전한 target만 distill할 수 있다.
dynamic extension은 유망하지만, 저자들도 motion과 tracking modeling을 future work로 남긴다. 즉 4D quality가 여기서 완전히 해결된 것은 아니다.
일부 out-of-distribution baseline comparison은 source code가 없어서 prior paper에 보고된 숫자에 의존한다. 합리적인 선택이지만, 여전히 comparison caveat다.
teacher pipeline은 forward warping이 large viewpoint change에서 background leakage를 만들 수 있기 때문에 conservative mask refinement가 필요하다. upstream camera-control stack이 완벽하지 않다는 뜻이기도 하다.
다른 generative world-model pipeline과 마찬가지로, Lyra는 misleading한 synthetic 3D 혹은 4D content를 만드는 데 악용될 수 있다. ethics section은 짧지만 risk는 현실적이고 provenance가 중요하다.
가장 강한 story가 teacher가 supervision을 생성하고 student가 그 supervision을 맞추는 tightly coupled loop에서 나오며, 일부 추가 평가는 저자들의 Lyra dataset 위에 있다. 결과 자체를 약화시키지는 않지만, 새로운 sensor나 새로운 camera model에 배포할 때는 별도 검증이 필요하다는 뜻이다.

7. My Take

7-1. Why this matters for my work

가장 큰 lesson은 단지 video diffusion이 3D prior를 품고 있다는 사실이 아니다. 그 prior를 올바른 supervision interface를 통해 reusable한 explicit representation으로 바꿀 수 있다는 점이 더 중요하다.
applied system 관점에서는 이것이 또 하나의 view-consistent video demo보다 훨씬 유용하다. explicit 3DGS는 render할 수 있고, export할 수 있으며, simulator, data engine, downstream planning stack에 넣을 수 있다.
또한 이 논문은 leverage가 어디서 오는지 솔직하다. giant new decoder가 아니라 teacher-student interface, latent-space scaling decision, synthetic data engine이 핵심이다.

7-2. Reuse potential

teacher-student pattern은 넓게 재사용 가능하다. foundation generator가 올바른 prior는 갖고 있지만 output type이 잘못되어 있을 때, explicit downstream representation으로 distill하는 것은 강한 recipe다.
latent-space reconstruction idea도 3DGS를 넘어 재사용 가능하다. 많은 view나 긴 sequence를 다뤄야 하는 task에서는 compressed latent token에서 decode하는 것이 종종 문제를 학습 가능하게 유지하는 유일한 방법이다.
motion-reversed augmentation은 time coverage가 asymmetric한 dynamic prediction problem 전반에서 기억할 만한 좋은 trick이다.
conservative mask refinement도 camera-controlled generation에서 실용적인 lesson이다. upstream의 작은 conditioning error가 downstream reconstruction target 전체를 오염시킬 수 있다.

7-3. Follow-up papers

Lyra 2.0: Explorable Generative 3D Worlds
AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model

8. Summary

Lyra는 camera-controlled video diffusion model을 teacher로 사용하고, 이를 latent-space 3DGS decoder로 distill한다.
이 논문은 real multi-view 3D training capture의 필요를 teacher가 만든 synthetic supervision으로 대체한다.
핵심 systems idea는 raw pixel이 아니라 compressed video latent에서 geometry를 decode하는 데 있다.
empirical하게 가장 강한 메시지는 self-distillation과 learned multi-trajectory fusion이, 약간의 real data를 추가하는 것보다 더 중요하다는 점이다.
simulation-ready world model에 관심이 있다면, 이 논문은 pure 3D benchmark paper보다 representation과 data-engine paper로 읽는 편이 더 흥미롭다.

Twitter Facebook LinkedIn