11 분 소요

0. Introduction

Paper link

Project page

Representation Forcing은 “unified multimodal model에서 VAE를 정말 빼려면 무엇이 필요할까”를 꽤 직접적으로 묻는 논문이다. 이 논문의 진짜 흥미로운 지점은 단순히 pixel-space generation을 시도했다는 데 있지 않다. 더 중요한 포인트는, 기존 VAE가 암묵적으로 제공하던 고수준 구조 안내를 모델 내부의 understanding representation으로 다시 만들고, 그 representation 자체를 decoder의 autoregressive target으로 바꿨다는 점이다.

Unified Multimodal Model, UMM은 하나의 모델이 이미지 이해와 이미지 생성을 모두 처리하는 방향으로 발전해 왔다. 하지만 많은 UMM은 여전히 image generation 경로에서 frozen VAE 또는 VQVAE에 기대고 있다. 이 구조는 구현상 안정적이지만, generation latent space가 별도 pretraining으로 정해지고 UMM 학습 목적과 완전히 맞지 않을 수 있다는 구조적 병목을 만든다.

한 줄 요약: Representation Forcing, RF는 decoder가 pixel을 만들기 전에 understanding encoder에서 온 visual representation token을 먼저 예측하게 만들고, 이 token을 context 안에 남겨 pixel-space diffusion을 안내함으로써 외부 VAE 없이 generation과 understanding을 하나의 representation space로 묶으려는 방법이다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • UMM에서 “VAE-free”가 왜 단순한 제거 문제가 아니라 representation 설계 문제인지 보여준다.
  • pixel-space generation을 무작정 raw pixel diffusion으로 풀지 않고, 고수준 구조와 저수준 렌더링을 분리하는 중간 scaffold를 제안한다.
  • generation 성능뿐 아니라 understanding 성능까지 같이 보면서, generation pathway가 perception pathway에 어떤 영향을 주는지 비교한다.
  • BAGEL류 MoT backbone, DINOv3 encoder, online vector quantization, flow matching을 하나의 end-to-end recipe로 엮은 점이 실무적으로도 볼 만하다.

이 논문의 핵심 메시지는 단순하다. VAE를 제거하려면 VAE가 하던 압축을 그냥 없애는 것으로는 부족하다. 대신 모델 안에서 high-level visual structure를 명시적으로 예측하고, 그 구조를 pixel generation의 조건으로 다시 넣어야 한다.

1. Problem Setting

1-1. Problem definition

이 논문이 겨냥하는 문제는 UMM의 image generation 경로에 남아 있는 external generative latent space 병목이다.

UMM은 같은 backbone 안에서 두 가지 능력을 동시에 갖고 싶어 한다.

  • image understanding: image를 보고 text answer를 생성한다.
  • image generation: text prompt를 보고 image를 생성한다.

문제는 두 능력을 하나의 transformer로 묶었다고 해도, generation 쪽이 여전히 frozen VAE latent에 의존하면 완전한 end-to-end UMM이라고 보기 어렵다는 점이다. VAE latent는 보통 reconstruction 중심으로 따로 학습되고, UMM의 understanding objective나 text-conditioned generation objective와 같이 최적화되지 않는다.

그래서 저자들이 보는 병목은 크게 두 가지다.

  1. VAE latent가 generation quality의 hard upper bound가 될 수 있다.
  2. understanding과 generation이 같은 visual representation을 공유한다기보다, 서로 다른 pretrained component를 조율하는 형태로 남는다.

1-2. Why previous approaches are insufficient

기존 UMM 계열은 대체로 두 부류로 나뉜다.

  • single backbone 안에서 image를 discrete token 또는 VAE latent로 다루는 방식
  • LLM이 CLIP feature 같은 representation을 예측하고, 별도 diffusion decoder가 image를 rendering하는 방식

두 방식 모두 “unified”라는 이름과 달리, generation에서 별도 pretrained visual tokenizer나 diffusion module에 기대는 경우가 많다. 이 때문에 image generation path와 image understanding path가 같은 representation을 직접 공유한다고 말하기 어렵다.

그렇다면 VAE를 빼고 raw pixel에서 바로 diffusion하면 되는가. 논문은 이 naive pixel-space UMM이 generation quality gap을 크게 보인다고 말한다. 이유는 직관적이다. 모델이 text prompt에서 object identity, spatial layout, scene composition 같은 고수준 구조와 texture, color, edge 같은 저수준 detail을 동시에 배워야 하기 때문이다.

즉 이 논문의 문제 설정은 “VAE를 쓸 것인가 말 것인가”보다 한 단계 더 깊다.

핵심은 다음 질문이다.

  • external latent space 없이도 high-level structure를 어디서 얻을 것인가.
  • 그 structure를 generation 중에 어떻게 안정적으로 사용할 것인가.
  • 그 구조가 understanding에도 해가 되지 않는가.

2. Core Idea

2-1. Main contribution

Representation Forcing의 핵심 기여는 visual representation을 perception output에서 generation target으로 바꾼 것이다.

이 구조를 간단히 쓰면 다음 흐름이다.

  1. understanding encoder가 image에서 patch-level visual feature를 뽑는다.
  2. EMA copy of encoder가 안정적인 target feature를 제공한다.
  3. online vector quantization으로 feature를 discrete representation token으로 바꾼다.
  4. decoder는 text token 다음에 representation token을 autoregressive하게 예측한다.
  5. 예측된 representation token은 context 안에 남아서 pixel patch diffusion을 안내한다.
  6. 최종 visible output은 pixel image이고, representation token 자체는 output으로 보이지 않는다.

이렇게 하면 generation 과정은 아래처럼 두 단계가 된다.

  • stage 1: text prompt에서 representation token sequence를 예측한다.
  • stage 2: text token과 predicted representation token을 조건으로 pixel patches를 denoise한다.

여기서 중요한 점은 representation token이 외부 CLIP feature나 frozen VAE latent가 아니라, 모델의 own understanding encoder에서 나온다는 것이다. 저자들은 이 점을 통해 perception과 generation이 하나의 end-to-end learned representation space를 공유한다고 주장한다.

2-2. Design intuition

RF의 설계 직관은 “pixel diffusion이 모든 것을 한 번에 배우게 하지 말자”에 가깝다.

Pixel-space generation은 VAE bottleneck을 없앨 수 있지만, raw pixel은 정보량이 너무 크다. text prompt에서 바로 pixel patch를 만들면 model이 scene layout과 low-level detail을 동시에 해결해야 한다. RF는 이 부담을 둘로 나눈다.

  • representation token: object, layout, composition 같은 high-level structure를 담당한다.
  • pixel patch diffusion: representation이 제공한 구조 위에서 low-level rendering을 담당한다.

이 분리가 중요한 이유는 representation token이 transformer sequence 안에 남아 있기 때문이다. 별도 cross-attention module이나 외부 decoder를 붙이는 것이 아니라, 같은 self-attention context 안에서 pixel patch가 representation token을 attend한다. 그래서 구조적으로는 단순하지만, conditioning path는 명확하다.

이 논문의 핵심은 “더 좋은 image tokenizer”를 만든 것이 아니라, UMM 내부의 understanding representation을 generation supervision으로 재사용하는 방법을 보여준 데 있다.

3. Architecture / Method

3-1. Overview

Item Description
Goal external VAE 없이 pixel-space UMM의 generation quality gap을 줄이는 것
Core method decoder가 visual representation token을 pixel보다 먼저 autoregressive하게 예측
Representation source jointly trained understanding encoder의 patch-level feature
Tokenization EMA encoder feature를 online vector quantization으로 discrete token화
Backbone Qwen3-A3B 초기화 기반 Mixture-of-Transformers, MoT
Generation path representation token prediction plus pixel-space flow matching
Main claim RF가 pixel-space generation gap을 줄이면서 understanding에도 대체로 이득을 준다

3-2. Module breakdown

1) Understanding encoder as representation source

RF는 외부 pretrained latent를 쓰지 않고, 모델 내부 understanding encoder의 feature를 쓴다. 이 encoder는 visual comprehension을 위해 학습되므로 object identity, spatial layout, scene composition 같은 구조 정보를 담는 source로 적합하다고 본다.

다만 encoder 자체도 end-to-end로 같이 변하기 때문에, 매 step의 feature를 그대로 target으로 쓰면 불안정할 수 있다. 그래서 논문은 EMA copy of encoder를 사용해 더 천천히 변하는 target feature를 만든다.

2) Online vector quantization

Encoder feature는 continuous vector다. 하지만 decoder가 language modeling처럼 예측하려면 discrete target이 다루기 쉽다. RF는 patch-level feature를 codebook prototype 중 가장 가까운 token으로 할당한다.

여기서 중요한 설계는 두 가지다.

  • 별도 pretrained tokenizer를 만들지 않는다.
  • Sinkhorn-Knopp balancing과 momentum update로 codebook collapse를 막는다.

이 discrete representation token은 raster-scan order로 예측된다. 이 점 때문에 representation prediction은 text next-token prediction과 같은 autoregressive framework에 자연스럽게 들어간다.

3) Decoder predicts representation before pixels

Training에서는 ground-truth image에서 뽑은 representation token을 decoder sequence 안의 target으로 제공한다. Inference에서는 image가 없으므로 decoder가 text prompt만 보고 representation token을 먼저 생성한다.

이 지점이 RF의 이름과 연결된다. Encoder representation이 decoder를 force하고, decoder가 만든 representation이 다시 pixel generation을 force한다.

4) Pixel-space generation with flow matching

Representation token이 만들어진 뒤에는 pixel patch diffusion이 수행된다. 논문은 JiT 계열을 따라 x-prediction with velocity loss를 사용한다.

전체 objective는 개념적으로 아래처럼 읽으면 된다.

$L = L_LM + L_Rep + L_FM$

여기서 $L_LM$은 text next-token prediction, $L_Rep$은 representation token prediction, $L_FM$은 pixel patch flow-matching loss다.

5) Mixture-of-Transformers backbone

모델은 BAGEL을 따라 MoT 구조를 사용한다. 모든 token은 self-attention layer를 공유하지만, feed-forward path는 token type에 따라 다른 expert pool로 routed된다.

  • understanding expert
  • representation prediction expert
  • pixel generation expert

이 설계는 UMM에서 흔한 interference 문제를 줄이기 위한 장치로 읽을 수 있다. Self-attention은 공유해서 modality 간 정보 흐름을 유지하고, FFN은 분리해서 modality-specific transformation을 허용한다.

4. Training / Data / Recipe

4-1. Data

논문은 BAGEL의 data construction과 filtering pipeline을 따른다고 설명한다. 학습 데이터는 크게 두 축이다.

  • text-only data for language modeling
  • large-scale text-image pairs for image-to-text understanding and text-to-image generation

Text-image pair는 general VQA, document comprehension, spatial reasoning, text-to-image generation을 포함한다. 즉 단순한 caption generation이 아니라, understanding과 generation을 동시에 다루도록 구성된 mixture다.

4-2. Training strategy

논문은 3-stage training을 사용한다.

Stage Setup Purpose
1. Alignment backbone과 encoder를 freeze하고 MLP connector만 10K iterations 학습 visual feature와 language backbone 연결
2. Joint pre-training 전체 component를 unfreeze하고 최대 256 resolution에서 50K iterations 학습 understanding, RF, pixel generation 공동 학습
3. Continued training 최대 1024 resolution까지 확장해 20K iterations 학습 high-resolution generation 품질 보강

Architecture 쪽에서는 Qwen3-A3B를 pretrained language initialization으로 사용한다. Image encoder는 DINOv3 ViT-H+/16이고, variable-resolution support는 NaViT-style batching으로 처리한다. VAE-based controlled baseline에서는 WanX-2.1 VAE를 사용하되, 나머지 architecture, data, optimization은 동일하게 맞춘다.

4-3. Engineering notes

실제로 재사용할 때 중요한 포인트는 아래다.

  1. RF는 representation tokenizer를 따로 pretrain하지 않는다.

    Encoder가 계속 변하므로 EMA encoder와 online vector quantization이 필요하다. 이 부분이 구현 복잡도의 핵심이다.

  2. Representation token은 inference 때도 먼저 autoregressive하게 생성된다.

    즉 RF는 pure diffusion-only generation보다 stage가 하나 더 있다. 품질 면에서는 구조 안내가 생기지만, latency 측면에서는 representation token prediction cost를 별도로 봐야 한다.

  3. Text condition과 representation condition을 따로 drop한다.

    논문은 classifier-free guidance를 위해 training 중 text conditioning과 representation token sequence를 각각 probability 0.1로 drop한다. Inference에서는 representation token sampling과 pixel denoising에 two-condition CFG를 적용한다.

  4. Controlled comparison이 설계의 강점이다.

    Pixel, Pixel+RF, VAE, VAE+RF를 같은 architecture, data, training budget으로 비교한다. UMM 논문에서 이런 control은 꽤 중요하다. 성능 차이가 backbone이나 data에서 온 것인지 method에서 온 것인지 분리하기 어렵기 때문이다.

5. Evaluation

5-1. Main results

가장 먼저 볼 결과는 image generation이다.

Model GenEval Overall DPG-Bench Overall
BAGEL 0.82 85.07
BLIP3-o 0.84 81.60
OmniGen2 with rewriter 0.86 83.57
RF-Pixel 0.84 84.15
BAGEL with rewriter 0.88 -
RF-Pixel with rewriter 0.88 -

이 표에서 메시지는 보수적으로 읽는 것이 좋다. RF-Pixel이 generation-only model 전체를 이긴다는 이야기가 아니다. 핵심은 external VAE 없이 pixel-space UMM으로도 VAE-based unified model들과 비슷한 영역까지 올라왔다는 점이다.

이해 성능 쪽도 중요하다.

Method MMMU HalluBench MME* BLINK RealWorldQA AI2D DocVQA ChartQA
VLM-only 56.2 65.0 79.7 56.2 65.8 90.3 89.3 86.0
VAE+RF 49.6 61.3 79.3 52.9 66.6 87.8 88.3 80.5
Pixel 49.9 63.7 76.6 49.4 63.1 85.8 90.0 81.7
Pixel+RF 54.2 64.8 80.2 53.0 65.8 90.3 88.0 81.3

Pixel+RF는 Pixel 대비 6개 benchmark에서 개선된다. 특히 MMMU, MME, BLINK, RealWorldQA, AI2D에서 좋아진다. 반면 DocVQA와 ChartQA는 소폭 하락한다. 이 결과는 RF가 high-level visual structure에는 도움이 되지만, precise text recognition이나 chart layout parsing처럼 fine-grained detail이 중요한 task에는 항상 이득을 주지는 않는다는 해석과 맞다.

Ablation도 이 논문에서 꽤 중요하다.

Ablation Setting GenEval
RF effect Pixel w/o RF 0.25
RF effect Pixel w/ RF 0.76
RF effect VAE w/o RF 0.52
RF effect VAE w/ RF 0.77
Guidance strategy REPA 0.43
Guidance strategy RF 0.76
Rep formulation Continuous 0.26
Rep formulation Discrete 0.76
Codebook size 16384 0.76
Codebook size 32768 0.77

여기서 제일 강한 메시지는 pixel-space generation에서 RF가 거의 필수적인 scaffold처럼 동작한다는 점이다. Pixel w/o RF는 0.25인데, Pixel w/ RF는 0.76까지 오른다. VAE-based setting에서도 RF는 0.52에서 0.77로 올린다. 하지만 improvement의 의미는 pixel-space에서 더 크다. VAE가 없을 때 구조 안내가 얼마나 중요한지 보여주기 때문이다.

5-2. What really matters in the experiments

1) “VAE-free”보다 “representation-guided pixel-space”가 핵심이다

이 논문을 “VAE를 없앴다”로만 읽으면 절반만 읽은 것이다. Naive pixel-space generation은 오히려 quality gap을 만든다. RF의 진짜 포인트는 VAE를 없애면서도 structure scaffold는 남기는 방식이다.

VAE latent가 사라지면 모델은 고수준 구조와 저수준 detail을 raw pixel에서 동시에 배워야 한다. RF는 representation token을 먼저 예측하게 해서 이 문제를 완화한다.

2) Auxiliary alignment보다 in-context conditioning이 강하다

REPA류 auxiliary alignment는 representation guidance가 도움이 된다는 사실을 보여준다. 하지만 RF는 그 representation을 실제 inference sequence 안에 넣는다. Pixel patches가 shared self-attention으로 representation token을 직접 attend할 수 있기 때문에, guidance가 side objective로만 남지 않는다.

이 차이가 REPA 0.43 vs RF 0.76이라는 ablation으로 드러난다.

3) Discrete representation token이 단순한 구현 선택이 아니다

Continuous regression은 0.26으로 거의 baseline과 비슷하다. Discrete token은 0.76이다. 저자들은 continuous high-dimensional feature를 causal하게 예측하면 error accumulation이 생기고, fine-grained detail까지 target에 남아 factorization이 깨질 수 있다고 본다.

이 해석은 설득력 있다. RF에서 representation token은 pixel을 대체하는 정보가 아니라 pixel generation을 안내하는 structural token이다. 너무 많은 detail을 담으면 오히려 역할이 흐려진다.

4) Understanding 개선은 있지만, OCR과 chart 계열은 조심해야 한다

Pixel+RF는 general visual understanding 쪽에서 대체로 개선된다. 하지만 DocVQA와 ChartQA에서는 Pixel baseline보다 낮다. 이 부분은 중요하다. Representation token이 semantic and spatial structure를 담는다면, OCR처럼 character-level precision이 필요한 task에서는 충분하지 않을 수 있다.

Document AI 관점에서는 RF를 그대로 가져오기보다, text layout 또는 OCR-specific representation을 어떻게 추가할지까지 고민해야 한다.

5) Generation metric만 보면 UMM의 성격을 놓칠 수 있다

RF-Pixel은 generation benchmark에서 VAE-based unified model들과 비슷한 수준을 보인다. 하지만 더 흥미로운 지점은 understanding과 generation의 coupling이다. Pixel+RF가 VAE+RF보다 6/8 understanding benchmark에서 높다는 결과는, external VAE 제거가 단지 generation path의 문제가 아니라 representation sharing의 문제라는 논문 주장을 뒷받침한다.

6. Limitations

  1. From-scratch multimodal pretraining이 아니다.

    논문은 pretrained Qwen3-A3B에서 시작한다. 저자들도 이 점을 limitation으로 언급한다. 완전히 처음부터 multimodal representation을 배운다면 다른 결과가 나올 수 있다.

  2. Still image generation에 한정되어 있다.

    RF는 image UMM에서 검증되었고, video나 temporal modality로 확장되지는 않았다. Temporal consistency나 long-range motion representation까지 같은 방식으로 해결될지는 추가 검증이 필요하다.

  3. Representation token prediction cost가 있다.

    Inference는 representation token을 먼저 autoregressive하게 생성한 뒤 pixel denoising을 수행한다. 따라서 VAE bottleneck은 없애지만, generation latency나 throughput 관점에서는 RF token stage의 비용을 따로 측정해야 한다.

  4. Fine-grained text and layout understanding에는 약점이 남아 있다.

    DocVQA와 ChartQA에서 Pixel+RF가 Pixel보다 낮게 나온다. 이는 RF representation이 high-level structure에는 좋지만, precise text recognition과 layout parsing에는 충분하지 않을 수 있음을 보여준다.

  5. Safety risk는 일반 image generation system과 동일하게 존재한다.

    논문은 RF 기반 text-to-image system이 misinformation, harmful content, deepfake 등에 악용될 수 있다고 언급한다. 실제 서비스 적용에서는 safety filter, watermarking, access control 같은 별도 장치가 필요하다.

7. My Take

7-1. Why this matters for my work

이 논문은 UMM 구조를 볼 때 꽤 좋은 기준을 준다.

최근 multimodal model은 “하나의 backbone”을 강조하지만, 실제 구현을 보면 image generation은 frozen VAE, understanding은 vision encoder, text는 LLM으로 나뉘어 있고, 이들을 잘 붙인 구조인 경우가 많다. RF는 이 가운데 generation latent space를 내부 representation target으로 끌어들인다.

이 관점은 VLM, OCR, document AI에도 연결된다. 예를 들어 문서 이미지를 생성하거나 편집하는 모델을 만든다고 하면, raw pixel을 바로 예측하기보다 layout representation, text region representation, table structure representation을 먼저 예측하게 만들 수 있다. 중요한 것은 그 representation이 외부 frozen module의 산물이 아니라, 모델의 own understanding path에서 나온다는 점이다.

7-2. Reuse potential

재사용하고 싶은 포인트는 아래 4가지다.

  1. Internal representation as generation target

    Understanding encoder가 잘하는 것을 generation decoder의 target으로 바꾸는 방식은 UMM 외에도 쓸 수 있다. Agent나 document model에서도 perception representation을 action 또는 generation target으로 바꾸는 설계가 가능하다.

  2. Discrete structural token before dense output

    Pixel, audio, video처럼 dense output을 만들기 전에 structural token을 먼저 만들게 하는 방식은 꽤 실용적이다. Dense output을 한 번에 맞히는 것보다, 먼저 planning-like representation을 예측하게 하는 쪽이 안정적일 수 있다.

  3. Controlled Pixel vs VAE comparison

    같은 architecture, data, training budget에서 Pixel, Pixel+RF, VAE, VAE+RF를 비교한 점은 좋은 evaluation design이다. 새 UMM 방법을 볼 때 baseline difference와 method contribution을 분리하는 데 참고할 만하다.

  4. Representation quality를 encoder 선택으로 해석하기

    DINOv3가 SigLIP2보다 4/5 understanding benchmark에서 좋았다는 결과는 representation token이 어떤 정보를 담아야 하는지 보여준다. Text alignment보다 spatial and structural fidelity가 중요한 경우에는 self-supervised visual feature가 더 맞을 수 있다.

7-3. Follow-up papers

  • BAGEL
  • Transfusion
  • Show-o and Show-o2
  • JanusFlow and Janus-Pro
  • REPA
  • RAE
  • Latent Forcing
  • JiT
  • Chameleon
  • Emu3

8. Summary

  • RF는 VAE-free pixel-space UMM에서 생기는 structure gap을 decoder-side representation prediction으로 줄이려는 방법이다.
  • 핵심은 understanding encoder의 feature를 discrete representation token으로 만들고, decoder가 이를 pixel보다 먼저 autoregressive하게 예측하게 하는 것이다.
  • 예측된 representation token은 context에 남아 pixel-space flow matching을 guide한다.
  • RF-Pixel은 GenEval과 DPG-Bench에서 VAE-based unified model들과 비슷한 수준을 보이고, Pixel 대비 understanding도 6/8 benchmark에서 개선된다.
  • 다만 DocVQA와 ChartQA 하락, autoregressive representation stage cost, still-image 한정성은 실제 적용 전 반드시 같이 봐야 한다.

댓글남기기

참고