11 분 소요

0. Introduction

Paper link

Code link

Model link

ViQ는 “이미지를 discrete token으로 바꾸는 또 하나의 tokenizer” 정도로 읽으면 핵심을 놓치기 쉽다. 이 논문이 실제로 겨냥하는 문제는 더 넓다. Text token처럼 다룰 수 있는 discrete visual representation을 만들되, MLLM에서 필요한 high-level semantics와 reconstruction에서 필요한 low-level detail을 동시에 보존할 수 있는가다.

이미지를 token으로 바꾸는 시도는 오래됐다. VQ-VAE, VQ-GAN, FSQ, LFQ 계열은 image generation에서 이미 중요한 역할을 했다. 하지만 multimodal LLM의 visual encoder로 쓰려면 요구 조건이 다르다. 단순히 픽셀을 복원하는 latent가 아니라, language model이 이해할 수 있는 semantic-rich representation이어야 한다. 반대로 CLIP/SigLIP류 semantic encoder를 그대로 quantize하면 fine-grained detail이 많이 사라진다.

ViQ는 이 tension을 두 단계로 나눠 푼다.

  1. 먼저 continuous visual encoder를 text-aligned multimodal supervision으로 강화한다.
  2. 그 다음 proximal representation learning과 head-wise finite scalar quantization으로 feature space를 점진적으로 compact하게 만든다.

여기에 any-resolution processing을 위한 2D positional treatment를 붙인다. 결과적으로 ViQ는 fixed-size image crop에 묶이지 않고 native-resolution visual input을 discrete code로 표현하려 한다.

한 줄 요약: ViQ는 SigLIP2-g 기반 visual encoder를 text-aligned pretraining으로 MLLM-friendly하게 만든 뒤, proximal representation, multi-head FSQ, 2D RoPE, low-level VAE latent supervision을 결합해 arbitrary resolution에서 semantics and details를 함께 보존하는 quantized visual representation framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • VLM encoder를 continuous feature extractor가 아니라 discrete vocabulary-like representation으로 다시 설계한다.
  • Reconstruction-oriented tokenizer와 semantic visual encoder 사이의 trade-off를 명확히 다룬다.
  • Native-resolution MLLM input과 visual quantization을 함께 다룬다.
  • ViQ code가 MLLM understanding and image reconstruction 양쪽에 쓰일 수 있음을 보인다.
  • Multimodal training에서 visual quantized representations가 20%-70% acceleration을 줄 수 있다고 보고한다.
  • Discrete visual token이 generative model용 latent를 넘어 MLLM encoder로 쓰일 수 있는지 검증한다.

이 글에서는 ViQ를 “visual tokenizer”보다, VLM에서 text-aligned discrete visual code를 실제 encoder replacement로 쓸 수 있는지 검증한 representation paper로 읽는다.

1. Problem Setting

1-1. Problem definition

MLLM은 image를 language model이 읽을 수 있는 token sequence로 바꿔야 한다. 현재 dominant한 방식은 visual encoder가 continuous features를 만들고, projector가 이를 LLM embedding space로 옮기는 것이다.

\[Z = E_{\mathrm{vision}}(I)\] \[H = P(Z)\]

여기서 $Z$는 high-dimensional continuous visual features다. 이 방식은 성능이 강하지만, text token과 representation type이 다르다. Text는 discrete vocabulary index이고, image는 dense continuous tensor다. 이 mismatch는 unified modeling and efficient training 측면에서 부담이 된다.

Discrete visual representation은 이를 다음처럼 바꾸려 한다.

\[c_i = Q(z_i), \quad c_i \in \{1,\ldots,K\}\]

여기서 $Q$는 quantizer이고 $K$는 visual codebook size다. 이상적으로는 image도 text처럼 token ID sequence로 다룰 수 있다.

문제는 quantization이 information bottleneck을 만든다는 점이다. MLLM에서는 두 정보가 모두 필요하다.

  • High-level semantics: object, relation, action, scene, knowledge grounding
  • Low-level detail: text, chart, diagram, OCR, small region, visual layout

Reconstruction-only tokenizer는 low-level detail은 보존해도 semantic alignment가 약할 수 있다. CLIP-like semantic encoder는 language alignment가 강하지만 aggressive quantization 후 fine detail이 사라질 수 있다.

ViQ의 문제 설정은 다음이다.

Discrete code로 압축하면서도 MLLM understanding and low-level reconstruction을 동시에 만족할 수 있는 visual representation을 만들 수 있는가?

1-2. Why previous approaches are insufficient

1) Continuous visual encoders

CLIP, SigLIP, AIM, DINOv2, InternViT 같은 continuous encoders는 MLLM에서 강하다. 하지만 high-dimensional continuous features는 training and storage cost가 크고, text token과 representation type이 다르다.

또한 fixed-resolution encoder는 arbitrary aspect ratio and native resolution input에서 inefficiency가 생길 수 있다. Document, chart, infographic, mobile screenshot처럼 resolution and aspect ratio가 중요한 task에서는 native-resolution support가 중요하다.

2) Reconstruction-oriented tokenizers

VQ-VAE, VQ-GAN, FSQ, LFQ류 tokenizers는 image reconstruction and generation에 강하다. 하지만 generation-friendly latent가 MLLM understanding에 충분히 semantic-rich하다는 보장은 없다. Pixel reconstruction objective는 language reasoning에 필요한 concept and relation을 직접 최적화하지 않는다.

3) Semantically quantized encoders

QLIP, UniTok 같은 quantized multimodal encoders는 semantic alignment를 시도하지만, 논문은 기존 quantized encoders가 continuous encoders와의 performance gap을 크게 남긴다고 주장한다. 특히 OCR, document, chart처럼 fine detail이 중요한 task에서 discrete compression의 손실이 크다.

ViQ는 이 세 흐름을 함께 겨냥한다. Continuous encoder의 semantic strength, tokenizer의 discrete code, native-resolution MLLM input을 한 framework로 묶으려 한다.

2. Core Idea

2-1. Main contribution

ViQ의 contribution은 네 가지로 정리할 수 있다.

  1. Text-aligned visual pretraining
    • Visual encoder를 LLM supervision으로 MLLM-friendly하게 만든다.
    • Any-resolution visual input을 처리하도록 positional mechanism and training recipe를 조정한다.
  2. Proximal representation learning
    • High-dimensional continuous feature를 바로 quantize하지 않는다.
    • Bottleneck and regularization으로 latent space를 progressively compact하게 만든다.
    • Quantization anchor와 feature 사이 distance를 줄인다.
  3. Position-aware head-wise quantization
    • FSQ를 사용해 discrete code를 만든다.
    • Multi-head structure로 patch마다 multiple visual codes를 만든다.
    • 2D RoPE를 quantization 전 적용해 spatial information을 보존한다.
  4. Understanding and reconstruction dual validation
    • MLLM visual understanding benchmarks에서 continuous encoder와 비교한다.
    • Decoder를 붙여 reconstruction quality도 측정한다.
    • Training efficiency benefit도 보고한다.

2-2. Design intuition

ViQ의 설계 직관은 “semantic first, quantize later”에 가깝다. Visual tokenizer를 처음부터 reconstruction objective로만 학습하면 MLLM이 원하는 feature가 아닐 수 있다. 반대로 semantic feature를 바로 quantize하면 정보 손실이 크다.

그래서 ViQ는 단계적으로 간다.

continuous semantic encoder
-> text-aligned native-resolution encoder
-> proximal compact feature
-> quantized visual codes
-> MLLM training and reconstruction

중요한 점은 quantization 자체가 마지막 단계가 아니라는 것이다. Quantization이 잘 되도록 feature space를 먼저 정돈한다. 이때 proximal representation은 high-dimensional feature를 low-dimensional quantization-friendly manifold로 점진적으로 밀어 넣는 역할을 한다.

3. Architecture / Method

3-1. Overview

Item Description
Goal Text-aligned discrete visual representation at arbitrary resolution
Base visual encoder SigLIP2-g
Stage 1 Text-aligned pretraining with any-resolution adaptation
Stage 2 Progressive discretization with proximal representation
Quantizer Multi-head finite scalar quantization
Codebook size 64,000
Position encoding 2D RoPE before quantization
Low-level supervision Qwen-Image encoder latent target
Evaluation MLLM understanding, reconstruction, efficiency, ablation

3-2. Module breakdown

1) Text-aligned pretraining

Stage 1은 continuous ViQ feature를 language supervision에 맞춘다. Image $I$, text query $T$, answer $A$가 주어지면 temporary LLM이 text supervision loss를 계산한다.

\[\mathcal{L}_{\mathrm{text}} = \mathrm{CE} \left[ \mathrm{LLM} \left( \mathrm{ViQ}(I), T \right), A \right]\]

이 loss는 visual encoder를 image reconstruction용이 아니라 MLLM task에 유용한 representation으로 만든다.

2) Any-resolution adaptation

ViQ는 native-resolution visual input을 지원해야 한다. 논문은 NaViT/OryxViT-style any-resolution processing을 따르고, fixed positional embedding을 variable image resolution과 aspect ratio를 처리할 수 있는 mechanism으로 바꾼다.

Training은 pixel count와 complexity를 점진적으로 늘린다. 이렇게 fixed/low-resolution data에서 native-resolution multimodal example로 이동한다.

3) Self-distillation

Multimodal pretraining 중 pretrained semantic ability를 잃지 않기 위해 ViQ는 original fixed-resolution model을 teacher로 사용한다. Student any-resolution encoder는 teacher semantic token을 보존하도록 regularized된다.

개념적으로는 다음과 같다.

\[\mathcal{L}_{\mathrm{distill}} = 1 - \cos \left( z_{\mathrm{student}}, z_{\mathrm{teacher}} \right)\]

이는 multimodal instruction data에 overfit하면서 language-image pretraining knowledge를 잊지 않기 위한 실용적인 guard다.

4) Proximal representation

High-dimensional visual feature를 바로 quantize하면 precision loss가 커진다. ViQ는 먼저 bottleneck layer로 feature dimension을 압축하고, feature space를 제한하는 regularization을 적용한다.

핵심은 단순 dimension reduction이 아니다. Discrete quantization이 일어나기 전에 feature space를 finite code representation에 더 가깝게 만드는 것이다.

단순화해서 보면 다음과 같다.

\[f_1 = \mathrm{Norm} \left( \mathrm{BN}(z) \right)\] \[\hat{f} = \mathrm{BN}^{-1}(f_1)\]

여기서 $\mathrm{BN}$은 논문 notation의 bottleneck projection을 뜻하며 batch normalization이 아니다. 이 블로그 notation은 의도적으로 단순화한 것이다.

5) Multi-head FSQ

ViQ는 Finite Scalar Quantization을 사용한다. 논문은 다음 level을 보고한다.

\[[8,8,8,5,5,5]\]

이는 codebook size 64,000을 만든다.

ViQ는 patch마다 하나의 code만 만들지 않고, head-wise quantization으로 각 visual patch를 multiple visual code로 확장한다. 이렇게 각 code는 discrete하고 compact하게 유지하면서 capacity를 높인다.

6) 2D RoPE

Arbitrary resolution에서는 position information이 중요하다. ViQ는 quantization 전에 2D RoPE를 넣어 quantized code가 spatial position information을 갖도록 한다. Position $(h,w)$의 token feature $f$에 대해 논문은 height direction과 width direction의 rotary encoding을 설명한다.

이유는 단순하다. Quantization이 position information을 버리거나 entangle하면 native-resolution visual reasoning이 어려워진다.

7) Low-level VAE latent supervision

Low-level detail을 보존하기 위해 ViQ는 pretrained Qwen-Image encoder를 fixed teacher로 사용해 visual latent supervision을 준다. Reconstruction loss는 pixel space가 아니라 latent space에서 적용된다.

단순화하면 다음과 같다.

\[\mathcal{L}_{\mathrm{recon}} = \mathrm{NLL} \left( \hat{f}, \mathrm{Encoder}(x) \right)\]

논문은 이를 fixed unit variance를 가진 Gaussian likelihood로 설명하며, constant를 제외하면 MSE와 같다.

Total training objective는 text, distillation, reconstruction loss를 결합한다.

\[\mathcal{L}_{\mathrm{total}} = \lambda_{\mathrm{text}} \mathcal{L}_{\mathrm{text}} + \lambda_{\mathrm{distill}} \mathcal{L}_{\mathrm{distill}} + \lambda_{\mathrm{recon}} \mathcal{L}_{\mathrm{recon}}\]

4. Training / Data / Recipe

4-1. Data and training scale

논문은 두 major training stage를 보고한다.

Stage Purpose Hardware
Stage 1 Text-aligned pretraining과 any-resolution adaptation 128 NVIDIA A100 GPUs
Stage 2 Quantization training 256 NVIDIA A100 GPUs

Downstream comparison에서는 ViQ를 서로 다른 크기의 LLM에 통합하고, baseline과 consistent data/protocol 아래에서 학습한다. 논문은 fair comparison을 위해 LLaVA-OneVision에서 뽑은 2,000K samples를 사용하는 experiment를 보고한다.

4-2. Implementation details

Item Value
Base encoder SigLIP2-g
Original feature dimension 1536
Bottleneck intermediate dimension 128
Final compact dimension 6
Quantization FSQ
FSQ levels [8, 8, 8, 5, 5, 5]
Codebook size 64,000
Text-supervision LLM Qwen2.5-VL-0.5B
Low-level teacher Qwen-Image encoder

이 detail이 중요하다. ViQ는 단순히 “CLIP feature를 quantize”하는 방식이 아니다. Quantization 전에 representation geometry를 명시적으로 바꾸고 low-level latent supervision을 추가한다.

4-3. Engineering notes

  1. Do not quantize high-dimensional visual features directly
    • Proximal representation은 semantic feature와 discrete code 사이의 bridge다.
  2. Keep semantic and low-level objectives together
    • Text supervision만 쓰면 detail을 잃을 수 있다.
    • Reconstruction supervision만 쓰면 language relevance를 잃을 수 있다.
  3. Native resolution changes the problem
    • Quantization은 variable aspect ratio 아래에서도 spatial position을 보존해야 한다.
  4. 같은 MLLM training data에서 비교해야 한다
    • Downstream finetuning data와 protocol이 맞지 않으면 visual encoder comparison은 noisy해진다.
  5. Discrete code efficiency는 training pipeline까지 포함해야 한다
    • 논문의 20%-70% acceleration claim은 base LLM과 recipe에 의존한다.

5. Evaluation

5-1. Multimodal understanding

논문은 ViQ를 continuous visual encoder와 prior quantized encoder와 비교한다. Benchmark는 general multimodal reasoning, world knowledge, OCR, document, chart, diagram understanding을 포함한 9개 benchmark다.

Benchmark는 다음을 포함한다.

Category Benchmarks
General multimodal MMStar, MMMU
World knowledge SimpleVQA
Text와 document TextVQA, DocVQA, OCRBench
Chart와 diagram AI2D, ChartQA
Information VQA InfoVQA

논문은 ViQ가 Qwen2.5-1.5B backbone에서 average 57.2, Qwen2.5-7B backbone에서 63.9를 기록한다고 보고한다. 비교 setting에서 previous reported SOTA average 57.0과 63.8을 넘는 수치다.

Average level에서 margin은 작다. 따라서 main claim은 “large benchmark dominance”가 아니다. 더 강한 claim은 discrete visual representation이 strong continuous encoder와 competitive해지면서 efficiency를 개선할 수 있다는 점이다.

5-2. Reconstruction

ViQ는 low-level reconstruction도 평가한다. Image decoder로 fine-tune했을 때 PSNR 22.73과 rFID 0.62를 보고하며, 논문의 comparison에서 mainstream discrete visual autoencoder 중 1위로 제시된다.

이 결과가 중요한 이유는 semantic encoder에 대한 흔한 비판을 다루기 때문이다. Semantic encoder는 classification or language alignment에는 좋지만 pixel-level reconstruction에는 약할 수 있다. ViQ는 둘을 함께 유지하려 한다.

5-3. Efficiency

논문은 visual quantized representation을 쓰면 base LLM과 training recipe에 따라 multimodal training에서 20%-70% acceleration이 나온다고 보고한다.

이 주장은 recipe-dependent하게 읽어야 한다. Acceleration은 다음에 의존한다.

  • Visual token length
  • Feature dimension
  • LLM backbone
  • Sequence length
  • Packing strategy
  • Training framework
  • Continuous feature를 precompute하는지 recompute하는지

5-4. Residual gap and meaningful wins

논문은 ViQ가 OCRBench 같은 detail-intensive task에서는 여전히 일부 continuous encoder에 뒤처진다고 적는다. 이는 중요하다. Quantization은 information을 압축하므로 high-frequency detail loss는 구조적 risk로 남는다.

의미 있는 성과는 quantization cost가 전혀 없다는 것이 아니다. ViQ가 discrete representation을 유지하면서 continuous encoder와의 gap을 상당히 좁혔다는 점이다.

5-5. What really matters in the experiments

1) Average score is not the only story

ViQ의 average benchmark score는 competitive하지만 previous SOTA 대비 margin은 작다. 더 흥미로운 결과는 semantics, reconstruction, any-resolution support, training efficiency를 동시에 결합했다는 점이다.

2) Discrete visual code becomes viable for MLLM

ViQ 이전에는 visual quantization이 MLLM understanding보다 generation에서 더 설득력 있었다. ViQ는 text-aligned pretraining과 proximal representation으로 이 gap을 좁힐 수 있음을 시사한다.

3) Detail-intensive tasks remain the stress test

OCRBench, document parsing, chart reasoning은 visual encoder quality가 가장 중요한 곳이다. Generic VQA average보다 이런 task를 더 면밀히 봐야 한다.

4) Representation unification is not free

Image를 discrete token으로 바꾸는 것은 elegant하게 들리지만, training recipe는 복잡하다. Text supervision, self-distillation, proximal compression, quantization, low-level latent supervision, any-resolution training이 모두 필요하다.

6. Limitations

  1. Average benchmark gain은 작다
    • Reported average 57.2 vs 57.0과 63.9 vs 63.8은 가깝다.
    • Strong claim은 huge accuracy improvement가 아니라 discrete-encoder competitiveness와 efficiency에 두어야 한다.
  2. Quantization은 여전히 detail을 잃을 수 있다
    • 논문은 OCRBench 같은 detail-intensive task에서 residual gap이 있음을 인정한다.
  3. Training recipe가 무겁다
    • Stage 1과 Stage 2는 큰 GPU resource를 사용한다.
    • 이는 reproducibility를 제한할 수 있다.
  4. Component stack이 복잡하다
    • Text loss, distillation loss, reconstruction loss, proximal representation, FSQ, head-wise quantization, 2D RoPE가 모두 상호작용한다.
    • Relative contribution을 이해하려면 ablation이 필요하다.
  5. Efficiency claim은 recipe-dependent하다
    • 20%-70% acceleration은 모든 MLLM training pipeline으로 그대로 옮겨지지 않을 수 있다.
  6. Decoder reconstruction은 별도 finetuning setting이다
    • Reconstruction quality는 decoder finetuning과 teacher latent choice에 의존한다.
  7. Codebook과 token utilization issue가 생길 수 있다
    • Real deployment에서는 discrete code usage distribution과 collapse behavior를 inspect해야 한다.
  8. Any-resolution support는 complexity를 높인다
    • Variable visual token length는 batching과 packing을 복잡하게 만든다.
  9. Generative use는 완전히 해결되지 않았다
    • ViQ는 reconstruction과 MLLM understanding을 지원하지만, ViQ code를 사용하는 full image generation pipeline은 별도 평가가 필요하다.
  10. Dataset과 contamination detail 확인이 필요하다
    • 강한 claim을 하기 전 full data mixture와 benchmark overlap을 확인해야 한다.

7. My Take

7-1. Why this matters for my work

ViQ의 중요한 지점은 “visual tokenization 성능이 좋아졌다”보다, VLM visual encoder를 language-like discrete representation으로 바꿀 수 있는 현실적인 recipe가 보이기 시작했다는 점이다.

MLLM의 current stack은 vision representation과 language representation이 여전히 다르다. LLM은 discrete token world에 있고, image encoder는 continuous feature tensor world에 있다. ViQ는 이 boundary를 줄이려 한다.

물론 discrete visual code가 모든 문제를 해결하는 것은 아니다. 하지만 training efficiency, storage, multimodal unification, token-level routing, image-text joint modeling 측면에서 매력적인 방향이다.

7-2. Reuse potential

MLLM training efficiency

Visual feature를 compact discrete code로 만들 수 있다면 multimodal pretraining cost를 줄일 수 있다. Image resolution과 document-style input이 큰 경우 특히 중요하다.

Document AI와 OCR-heavy VLM

Document understanding은 text alignment와 fine detail을 모두 필요로 한다. ViQ의 text-aligned supervision과 low-level latent loss 조합은 이 문제에 직접 관련된다.

Unified multimodal tokenizer

미래 multimodal model은 text, image, video, audio를 서로 다른 vocabulary를 가진 token stream이지만 shared modeling interface로 다룰 수 있다. ViQ는 그 방향으로 가는 하나의 step이다.

Image generation과 editing

ViQ code가 semantics와 details를 보존한다면 language-aligned image latent가 필요한 generation/editing system에도 쓸 수 있다. 다만 이를 위해서는 별도 generation evaluation이 필요하다.

7-3. Production considerations

  • Benchmark average만 보지 말고 OCR/document/chart subset을 inspect한다.
  • Visual codebook utilization을 monitor한다.
  • Any-resolution batching cost를 측정한다.
  • Discrete visual code precompute는 data pipeline design을 바꿀 수 있다.
  • Reconstruction objective와 understanding objective는 domain-specific data에서 충돌할 수 있다.
  • Adoption 전에 license와 model release status를 확인한다.

7-4. Follow-up papers

  • VQ-VAE
  • VQ-GAN
  • FSQ
  • LFQ
  • QLIP
  • UniTok
  • SigLIP2
  • InternViT
  • OryxViT
  • NaViT
  • Qwen-Image

8. Summary

  • ViQ는 MLLM을 위한 text-aligned discrete visual representation을 제안한다.
  • Two-stage training을 사용한다. 먼저 text-aligned pretraining을 하고, 이후 progressive quantization을 수행한다.
  • Proximal representation learning과 multi-head FSQ로 quantization loss를 줄인다.
  • ViQ는 continuous encoder와 competitive하면서 20%-70% training acceleration을 보고한다.
  • 주요 한계는 quantization이 여전히 OCR-like task에서 fine-detail loss risk를 남긴다는 점이다.

댓글남기기

참고