Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models Review

0. Introduction

Paper link

이 논문은 VLM의 spatial reasoning을 language reasoning 문제로만 보지 않는다. 이미지 안에 직접 보이지 않는 시점, 가려진 경로, 여러 관찰을 합친 공간 구조를 다룰 때는 모델이 텍스트 설명을 길게 쓰는 것보다 먼저 perceptual intermediate를 만들어야 한다는 주장에 가깝다. 논문은 이를 Imaginative Perception Tokens, 줄여서 IPT라고 부른다.

“보이지 않는 장면을 언어로 설명하기 전에, 모델 내부에서 먼저 지각 가능한 중간 표현으로 만들게 하자.”

한 줄 요약: IPT는 VLM이 보이지 않는 spatial configuration을 풀기 위해 alternative viewpoint, occluded path, multiview integration 같은 intermediate perception을 외부화하도록 학습시키는 supervision 방식이며, BAGEL backbone에서 PET, PT, MVC task를 통해 textual chain-of-thought보다 spatial task에 더 잘 맞는 supervision일 수 있음을 보인다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• spatial reasoning 실패를 단순히 더 긴 CoT 부족 으로 해석하지 않는다.
• VLM reasoning에서 language token과 perception token의 역할 분리 를 명확하게 묻는다.
• 약 20K example 규모의 PET, PT, MVC dataset을 만들어 spatial imagination supervision 자체를 평가 대상으로 둔다.
• BAGEL 같은 unified VLM에서 image generation 없이도 IPT supervision이 reasoning 성능을 올릴 수 있음을 보여준다.

제가 보기엔 이 논문은 VLM에서 chain-of-thought를 무조건 텍스트로 강제하는 습관을 다시 생각하게 만든다. spatial reasoning은 본질적으로 좌표, 시점, 가림, 부분 관찰의 결합을 요구한다. 이 계산을 전부 한국어나 영어 문장으로 풀어 쓰게 만드는 것이 항상 좋은 inductive bias는 아닐 수 있다.

1. Problem Setting

1-1. Problem definition

이 논문이 겨냥하는 문제는 unobserved spatial structure reasoning 이다.

현재 VLM은 보이는 물체를 설명하거나, 이미지 안의 명시적인 속성을 답하는 데는 강하다. 하지만 spatial reasoning 문제에서는 중요한 정보가 이미지에 직접 보이지 않을 때가 많다. 예를 들어 다음과 같은 경우다.

• 특정 위치에서 보면 어떤 물체가 보일지 추론해야 한다.
• 가려진 통로를 따라 경로가 어떻게 이어지는지 추적해야 한다.
• 여러 시점에서 본 정보를 합쳐 전체 object count를 계산해야 한다.

논문은 이런 능력을 imaginative perception이라고 부른다. 핵심은 답을 바로 생성하는 것이 아니라, 답을 만들기 전에 모델이 관찰되지 않은 spatial configuration에서 무엇을 지각할지를 먼저 구성해야 한다는 점이다.

논문은 이를 세 가지 task로 구체화한다.

Task	Full name	What it tests
PET	Perspective Taking	unseen viewpoint에서 무엇이 보이는지 추론
PT	Path Tracing	occluded space 안에서 경로를 따라가며 상태를 추론
MVC	Multiview Counting	여러 partial view를 통합해 count를 계산

이 세 task는 모두 정답 label만으로는 부족하다. 모델이 왜 그 답에 도달했는지를 spatial intermediate 관점에서 확인하기 어렵기 때문이다. 그래서 논문은 answer뿐 아니라 ground truth imagination까지 포함한 dataset을 만든다.

1-2. Why previous approaches are insufficient

기존 VLM training에서 spatial reasoning을 다루는 방식은 대체로 세 가지다.

Approach	What it does	Limitation
Label-only supervision	최종 답만 맞추도록 학습	중간 spatial computation을 직접 학습하지 못함
Textual CoT	reasoning path를 문장으로 생성	spatial state를 language로 압축하면서 modality mismatch가 생길 수 있음
Tool or image generation	별도 perception module 또는 image generator 사용	inference cost, dependency, supervision design이 무거워질 수 있음

IPT가 보는 핵심 문제는 textual CoT의 modality mismatch다. CoT는 수학이나 symbolic reasoning에서는 자연스럽지만, spatial reasoning에서는 보이지 않는 장면을 이미지적 구조로 구성해야 한다. 이때 언어 설명은 너무 coarse할 수 있다. 예를 들어 경로의 가림, 시점 변화, object overlap은 문장으로 쓰면 길어지지만, perceptual representation으로는 더 직접적으로 표현될 수 있다.

그래서 이 논문은 묻는다.

“VLM에게 정답을 설명하게 하기보다, 정답을 계산하는 데 필요한 지각 상태를 만들게 하면 더 나은가.”

2. Core Idea

2-1. Main contribution

이 논문의 핵심 기여는 다음 4가지로 정리할 수 있다.

1. Imaginative Perception Tokens 제안
   • IPT는 VLM이 alternative spatial configuration에서 볼 수 있는 perceptual intermediate를 생성하도록 학습하는 supervision이다.
   • 이는 text CoT와 달리 spatial state 자체를 표현하려는 중간 산출물이다.
2. 세 가지 spatial imagination task 정의
   • PET, PT, MVC를 통해 unseen viewpoint, occluded path, multiview integration을 분리해서 평가한다.
   • 논문은 약 20K examples를 구성하고, ground truth imaginations, answers, evaluation benchmarks를 함께 만든다.
3. BAGEL backbone에서 supervision type 비교
   • unified VLM BAGEL을 backbone으로 사용해 label-only, textual CoT, IPT, IPT plus label supervision의 효과를 비교한다.
   • abstract 기준 IPT supervision은 spatial reasoning을 일관되게 개선하고, textual CoT보다 나은 경우가 많다.
4. textual CoT degradation 관찰
   • 논문은 textual CoT가 일부 setting에서 성능을 크게 낮출 수 있다고 보고한다.
   • 이는 spatial computation을 language-only chain으로 강제하는 것이 항상 좋은 선택은 아니라는 근거다.

2-2. Design intuition

IPT의 직관은 단순하다.

정답을 맞히기 전에 모델이 무엇을 상상해야 하는지를 supervision한다.

일반적인 VLM QA는 아래처럼 볼 수 있다.

\[I, q -> a\]

여기서 $I$는 image, $q$는 question, $a$는 answer다. label-only training은 $a$만 맞춘다. Textual CoT는 중간에 text rationale $r$을 넣는다.

\[I, q -> r -> a\]

IPT는 중간 표현을 text rationale이 아니라 perceptual imagination $z$로 둔다.

\[I, q -> z -> a\]

여기서 $z$는 관찰되지 않은 시점, 가려진 경로, 여러 시점 통합 결과처럼 spatial reasoning에 직접 필요한 intermediate다. 중요한 점은 $z$가 answer를 설명하는 문장이 아니라, answer를 계산하기 위한 perceptual state라는 것이다.

이 차이가 작아 보이지만, supervision bias는 꽤 다르다. Textual CoT는 모델에게 reasoning을 말로 풀라고 요구한다. IPT는 모델에게 보이지 않는 지각 상태를 구성하라고 요구한다. spatial reasoning에서는 후자가 더 자연스러운 bottleneck일 수 있다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	VLM이 unobserved spatial structure를 reasoning하도록 중간 perceptual representation을 supervision
Key module	Imaginative Perception Tokens
Backbone	BAGEL unified VLM
Tasks	PET, PT, MVC
Dataset	약 20K examples with imaginations and answers
Main comparison	label-only, textual CoT, IPT, IPT plus label
Main claim	IPT는 spatial reasoning에 더 맞는 intermediate supervision을 제공

논문은 새로운 거대 backbone을 만드는 논문이라기보다, spatial reasoning을 위해 어떤 intermediate supervision이 맞는지를 묻는 논문에 가깝다. 그래서 architecture 자체보다 중요한 것은 output interface다. 답만 출력하게 할 것인가, text rationale을 출력하게 할 것인가, 아니면 perceptual imagination token을 출력하게 할 것인가가 핵심 비교 축이다.

3-2. Module breakdown

1) Imaginative Perception Tokens

IPT는 모델이 실제 입력 이미지와 일관성을 유지하면서 alternative spatial configuration에서 지각될 내용을 외부화하는 intermediate representation이다.

• PET에서는 다른 시점에서 볼 수 있는 장면을 구성한다.
• PT에서는 가려진 공간 안의 경로를 따라가며 필요한 상태를 구성한다.
• MVC에서는 여러 관찰을 하나의 coherent spatial representation으로 통합한다.

여기서 IPT는 단순한 explanation이 아니다. explanation은 이미 나온 답을 사람이 이해하게 만드는 데 가깝다. 반면 IPT는 answer computation에 들어가는 중간 state다. 그래서 학습 신호도 answer correctness만이 아니라 imagination consistency까지 포함해야 한다.

2) Supervision interface

논문의 training objective는 세부 구현을 원문에서 더 확인해야 하지만, 개념적으로는 아래처럼 이해할 수 있다.

\[L = L_{answer} + \lambda L_{IPT}\]

여기서 $L_{answer}$는 final answer에 대한 supervision이고, $L_{IPT}$는 ground truth imaginative perception에 대한 supervision이다. label-only setting은 $L_{answer}$만 쓰는 경우로 볼 수 있고, IPT-only 또는 IPT plus label setting은 $L_{IPT}$를 명시적으로 포함하는 경우로 볼 수 있다.

핵심은 answer label만으로는 intermediate spatial state가 underdetermined일 수 있다는 점이다. 같은 답을 내더라도 모델이 올바른 spatial mental model을 만들었는지는 보장되지 않는다. IPT supervision은 이 hidden computation을 더 직접적으로 제약한다.

3) Relation to textual CoT

Textual CoT와 IPT는 둘 다 intermediate supervision이라는 점에서는 비슷하다. 하지만 표현 modality가 다르다.

Supervision	Intermediate form	Strength	Risk
Textual CoT	natural language rationale	사람이 읽기 쉬움	spatial state를 language로 과도하게 압축
IPT	perceptual intermediate	spatial computation에 더 직접적	data construction과 evaluation이 더 어려움
Label-only	final answer	단순하고 저렴함	reasoning path를 제약하지 못함

논문 abstract에서 중요한 관찰은 textual CoT가 성능을 크게 degrade할 수 있다는 점이다. 이는 CoT가 언제나 좋은 supervision이라는 일반화에 대한 반례로 읽을 수 있다. 특히 spatial reasoning에서는 언어로 설명하는 행위 자체가 모델의 내부 계산을 잘못된 bottleneck으로 밀어넣을 수 있다.

4) Inference-time behavior

논문은 IPT supervision이 inference time에 image generation을 요구하지 않아도 효과가 있다고 설명한다. 이 점은 실용적으로 중요하다. 만약 spatial reasoning을 위해 매번 unseen viewpoint image를 생성해야 한다면 serving cost가 커진다. 하지만 IPT가 학습 단계에서 intermediate representation을 형성하게 만들고, inference에서는 answer quality를 개선하는 방향으로 작동한다면, 이는 data-side supervision으로 볼 수 있다.

다만 여기서 정확히 어떤 token stream을 inference에서 생성하는지, 생성된 IPT를 final answer에 어떻게 연결하는지는 원문 figure와 algorithm을 다시 확인해야 한다. 이 초안에서는 abstract와 공개 arXiv page 기준의 해석만 반영했다.

4. Training / Data / Recipe

4-1. Data

논문은 PET, PT, MVC 세 task에 대해 약 20K examples를 구성했다고 설명한다. 각 example은 최소한 아래 구성 요소를 포함한다.

• observed input
• question
• ground truth imagination
• final answer
• evaluation benchmark split

이 데이터 설계의 핵심은 answer label만 모은 것이 아니라, ground truth imagination을 같이 만든다는 점이다. 즉 모델이 answer로 shortcut을 배우는지보다, spatial intermediate를 제대로 만들 수 있는지를 평가할 수 있다.

Task별로 보면 다음과 같다.

Task	Data signal	Why it matters
PET	unseen viewpoint imagination	viewpoint transform 능력 평가
PT	path state imagination	occlusion and continuity 처리 평가
MVC	multi-view integration	partial observation merge 능력 평가

4-2. Training strategy

논문은 BAGEL을 backbone으로 사용하고, IPT supervision과 다른 supervision type을 비교한다. abstract에서 확인되는 비교 축은 다음과 같다.

• label-only supervision
• textual chain-of-thought supervision
• IPT supervision
• IPT plus label-only supervision

흥미로운 결과는 IPT와 label-only supervision을 결합했을 때 추가 gain이 나온다는 점이다. 이는 IPT가 final answer supervision을 대체한다기보다, answer learning에 필요한 intermediate inductive bias를 보완하는 신호라는 해석과 잘 맞는다.

학습을 개념적으로 보면 다음과 같은 multi-target training이다.

\[p(z, a | I, q) = p(z | I, q) p(a | I, q, z)\]

여기서 $z$는 imaginative perception이고, $a$는 answer다. 모델이 실제로 factorization을 이런 형태로 구현하는지는 원문 확인이 필요하지만, supervision 관점에서는 IPT가 answer 앞에 놓이는 latent or explicit intermediate 역할을 한다고 볼 수 있다.

4-3. Engineering notes

실무 관점에서 이 논문을 재사용하려면 아래 세 가지가 중요하다.

1. Ground truth imagination construction
   • IPT의 병목은 model architecture보다 data generation일 가능성이 크다.
   • unseen viewpoint나 occluded path에 대한 ground truth를 어떻게 만들고 검증했는지가 재현성의 핵심이다.
2. Output format design
   • IPT가 token으로 표현되려면 tokenizer, target format, loss masking, answer 연결 방식이 중요하다.
   • text rationale처럼 사람이 쉽게 검사할 수 없기 때문에 visualization 또는 automatic evaluation이 필요하다.
3. Inference cost control
   • abstract 기준 IPT는 image generation 없이도 성능을 개선할 수 있다.
   • 다만 실제 serving에서 IPT token을 먼저 생성하고 answer를 생성하는지, 또는 IPT supervision만 학습에 쓰는지에 따라 latency가 달라진다.

이 논문은 full deployment recipe라기보다 supervision design paper에 가깝다. 따라서 구현할 때는 먼저 dataset interface와 evaluation script를 확인해야 한다.

5. Evaluation

5-1. Main results

arXiv abstract 기준으로 확인되는 핵심 결과는 다음과 같다.

Result	Meaning
IPT supervision consistently improves spatial reasoning	spatial intermediate supervision이 label-only보다 유의미한 신호를 준다는 claim
IPT often outperforms textual CoT training	language rationale이 spatial reasoning에 항상 좋은 bottleneck은 아니라는 claim
MVC에서 accuracy 3.4% improvement	multi-view integration task에서 정량 gain 보고
PT에서 strong closed-source models와 competitive	path tracing에서 closed-source 모델과 비교 가능한 성능 보고
IPT plus label-only gives additional gains	intermediate supervision과 final answer supervision이 상보적일 수 있음

가장 중요한 실험 해석은 MVC의 3.4% gain 자체보다, textual CoT가 경우에 따라 degrade된다는 관찰이다. 이는 VLM reasoning에서 CoT를 기본 recipe처럼 쓰는 접근에 caution을 준다. 특히 spatial task에서는 reasoning trace가 text가 아니라 perceptual representation이어야 할 수 있다.

5-2. What really matters in the experiments

이 논문의 실험에서 진짜 봐야 하는 것은 SOTA claim보다 supervision type의 비교다.

• label-only가 약한 이유는 intermediate spatial state를 제약하지 못하기 때문이다.
• textual CoT가 약한 이유는 spatial state를 language bottleneck으로 바꾸기 때문이다.
• IPT가 강한 이유는 task에 필요한 perceptual variable을 직접 supervision하기 때문이다.
• IPT plus label이 더 좋은 이유는 intermediate consistency와 final correctness가 서로 다른 신호를 주기 때문이다.

따라서 이 논문을 읽을 때는 benchmark table의 absolute score보다 아래 질문이 더 중요하다.

“이 task에서 모델이 틀린 이유는 답을 몰라서인가, 아니면 봐야 할 장면을 잘못 상상해서인가.”

이 질문에 답할 수 있다는 점이 IPT의 가장 큰 장점이다. 단순 accuracy만 보면 failure mode가 보이지 않지만, IPT를 생성하게 하면 모델이 어떤 spatial intermediate를 만들었는지 검사할 수 있다.

6. Limitations

1. Dataset construction cost
   • IPT supervision은 ground truth imagination이 필요하다.
   • 이는 일반 QA label보다 만들기 어렵고, task domain이 바뀌면 data pipeline을 다시 설계해야 할 수 있다.
2. Representation format ambiguity
   • IPT가 어떤 granularity의 perceptual representation이어야 하는지는 task마다 다를 수 있다.
   • viewpoint, path, count integration이 모두 같은 token format으로 충분한지는 원문 figure와 appendix 확인이 필요하다.
3. Generalization beyond synthetic or controlled tasks
   • PET, PT, MVC는 spatial imagination을 잘 분리한 task지만, real-world image와 video reasoning으로 얼마나 확장되는지는 추가 실험이 필요하다.
4. Inference protocol clarity
   • abstract는 image generation 없이도 효과가 있다고 말한다.
   • 하지만 실제 inference에서 IPT token을 명시적으로 생성하는지, 아니면 training-only auxiliary signal인지에 따라 cost와 usability가 달라진다.
5. BAGEL dependency
   • 결과는 BAGEL backbone에서 보고된다.
   • 다른 unified VLM이나 일반 VLM에서도 같은 효과가 나는지는 별도 검증이 필요하다.

7. My Take

7-1. Why this matters for my work

이 논문은 multimodal reasoning에서 intermediate supervision을 다시 생각하게 만든다. 많은 VLM 논문은 text CoT를 거의 기본 장치처럼 넣는다. 하지만 spatial reasoning은 text로 설명 가능한 reasoning과 다르다. 좌표 변화, 시점 변환, occlusion, overlap, partial view integration은 본질적으로 perceptual state를 요구한다.

그래서 이 논문의 메시지는 다음처럼 읽힌다.

“VLM의 reasoning chain은 항상 language chain일 필요가 없다.”

이 관점은 video understanding, robotics, embodied AI에도 이어진다. agent가 행동하기 전에 필요한 것은 긴 설명이 아니라, 현재 시점에서 보이지 않는 상태를 어떻게 internalize할지일 수 있다. IPT는 그 문제를 supervision interface로 다루는 한 가지 예시다.

7-2. Reuse potential

IPT 아이디어는 다음 영역에 재사용 가능성이 있다.

• robot navigation에서 occluded path imagination supervision
• video QA에서 next-view 또는 hidden-state prediction supervision
• document layout reasoning에서 invisible grid or structure token supervision
• 3D scene understanding에서 viewpoint-specific intermediate supervision
• game or simulation environment에서 partial observation merge supervision

개인적으로 가장 흥미로운 응용은 VLA 모델이다. robot policy가 action을 내기 전에, 현재 카메라에 보이지 않는 grasp target의 back side나 obstacle layout을 IPT 형태로 먼저 예측하게 만들 수 있다면, action decoder의 부담을 줄일 수 있다.

7-3. Follow-up papers

• Perception Tokens Enhance Visual Reasoning in Multimodal Language Models
• Introducing Visual Perception Token into Multimodal Large Language Model
• BAGEL 계열 unified VLM paper
• Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
• Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

8. Summary

• IPT는 VLM spatial reasoning을 위해 answer 이전의 perceptual intermediate를 supervision하는 방법이다.
• 논문은 PET, PT, MVC 세 task와 약 20K examples를 통해 imaginative perception을 평가한다.
• BAGEL backbone에서 IPT supervision은 spatial reasoning을 개선하고, textual CoT보다 나은 경우가 많다고 보고된다.
• MVC에서는 accuracy 3.4% improvement가 보고되고, PT에서는 strong closed-source models와 competitive한 결과가 언급된다.
• 핵심 메시지는 spatial reasoning에서 좋은 intermediate가 항상 text rationale은 아니라는 점이다.