11 분 소요

0. Introduction

Paper link

arXiv page

MLLM hallucination을 줄이는 inference-time 방법은 자주 visual attention을 더 강하게 만든다. Image token에 더 많은 attention mass를 주거나, visual head를 골라 output을 증폭하거나, language-prior path와 contrastive decoding을 수행한다. 이 방향은 직관적이지만 attention weight가 실제 head output에 담긴 information을 그대로 의미하지는 않는다.

같은 attention weight라도 value vector와 output projection이 다르면 downstream effect가 달라진다. Visual signal을 무조건 늘리면 image evidence는 강해질 수 있지만, response가 짧아지거나 language coherence and creativity가 손상될 수도 있다. 반대로 fluent language prior를 유지하면 visually unsupported object and relation이 섞일 수 있다.

HEAL은 질문을 바꾼다.

Hallucination은 visual head의 수가 부족해서 생기는가, 아니면 visual and language information을 함께 처리하는 synergy head 내부의 균형이 무너져서 생기는가.

논문은 attention weight 대신 head output에 causal noise intervention을 적용해 실제 contribution이 작은 head를 제거한다. 남은 head에는 visual and language token을 counterfactual masking한 Difference-in-Differences, 이하 DiD를 적용하고, redundant, visual, language, synergy의 네 type으로 분류한다. 분석 결과를 바탕으로 synergy head의 value vector를 decoding step마다 동적으로 보정한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Attention weight를 information contribution의 proxy로 쓰는 한계를 직접 겨냥한다.
  • Multi-head output intervention과 counterfactual DiD를 결합해 head role을 설명한다.
  • Head type이 generation 중 고정되지 않고 task-driven phase transition을 보인다는 분석을 제시한다.
  • Visual-only enhancement가 아니라 synergy head의 visual-language equilibrium을 조정한다.
  • Training 없이 여러 open MLLM에 적용하지만 internal value-vector access and extra inference cost가 필요하다.

한 줄 요약: HEAL은 causally redundant head를 제거한 뒤 counterfactual Difference-in-Differences로 visual, language, synergy information을 분해하고, hallucination과 연관된 synergy-head distribution drift를 value-vector calibration으로 되돌리는 inference-time MLLM intervention이다.

1. Problem Setting

1-1. MLLM hallucination and modality imbalance

MLLM은 visual token and language token을 하나의 autoregressive decoder에 넣는다. Generation step $t$, layer $l$, head $i$의 output은 아래처럼 볼 수 있다.

\[\mathbf{o}^{(t,l,i)} = \operatorname{Softmax} \left( \frac{ \mathbf{q}^{(t,l,i)} (\mathbf{K}^{(t,l,i)})^\top }{\sqrt{d}} \right) \begin{bmatrix} \mathbf{V}_{vis}^{(t,l,i)} \\ \mathbf{V}_{lang}^{(t,l,i)} \end{bmatrix}\]

Visual evidence and language prior는 같은 head 안에서 섞일 수 있다. Hallucinated object를 생성할 때 attention map이 image token을 어느 정도 보고 있어도, value space에서 language prior가 더 크게 작동할 수 있다.

논문이 다루는 hallucination은 fluent하지만 image evidence와 맞지 않는 generation이다.

  • Image에 없는 object를 언급한다.
  • Object attribute or relation을 잘못 말한다.
  • Question and image보다 language prior가 강하게 작동한다.
  • Visually grounded token을 생성해야 할 때 multimodal balance가 무너진다.

1-2. Why attention weight alone is insufficient

1) Weight와 information contribution은 다르다

Head output은 attention weight, value vector, output projection, 다른 head와의 interaction으로 결정된다. Attention mass가 크다고 final residual representation에 큰 causal effect를 준다고 보장할 수 없다.

2) Visual head count가 hallucination cause라는 보장이 없다

Hallucinated token generation에서 visual head 수가 줄었다는 correlation이 보이지 않을 수 있다. Head 수는 비슷하지만 synergy head 내부에서 visual and language proportion이 달라질 수 있다.

3) Unimodal boosting에는 see-saw dilemma가 있다

Visual information을 일괄 증폭하면 factual grounding은 좋아질 수 있지만 response completeness and linguistic quality가 떨어질 수 있다. Language information을 유지하면 hallucination이 다시 커질 수 있다.

4) Head role은 generation 중 변한다

Question understanding, function word, object noun, relation phrase를 생성할 때 필요한 information이 다르다. Head를 prompt 시작 시 한 번 분류하고 끝까지 같은 role로 취급하면 dynamic behavior를 놓칠 수 있다.

2. Core Idea

2-1. Causal noise intervention으로 redundant head를 먼저 제거한다

HEAL은 head weight norm이나 raw activation magnitude를 쓰지 않는다. 특정 head output을 distribution-matched Gaussian noise로 바꾸고 layer output이 얼마나 달라지는지 본다.

Original layer output을 $\mathbf{y}$, head $i$를 noise로 교체한 output을 $\tilde{\mathbf{y}}_{(-i)}$라고 하자. Similarity는 shifted cosine으로 정의한다.

\[\operatorname{Sim}(\mathbf{a},\mathbf{b}) = \frac{1}{2} \left( 1+ \frac{\mathbf{a}^\top\mathbf{b}} {\|\mathbf{a}\|_2\|\mathbf{b}\|_2} \right)\]

Head contribution은 다음과 같다.

\[I^{(t,l,i)} = 1- \operatorname{Sim} \left( \mathbf{y}^{(t,l)}, \tilde{\mathbf{y}}_{(-i)}^{(t,l)} \right)\]

Contribution이 layer distribution의 low tail에 있으면 causally redundant head로 본다. Fine-grained information decomposition은 non-redundant head에만 수행한다.

이 filtering은 두 가지 비용을 줄인다.

  • Final output에 거의 영향이 없는 head를 해석 대상에서 제거한다.
  • Rich-looking internal pattern이 실제 causal effect와 혼동되는 것을 막는다.

2-2. Counterfactual DiD로 visual and language information을 분리한다

각 head에 네 개의 input condition을 만든다.

  • $\mathbf{H}_{11}$: visual and language 모두 original
  • $\mathbf{H}_{01}$: visual masked, language original
  • $\mathbf{H}_{10}$: visual original, language masked
  • $\mathbf{H}_{00}$: visual and language 모두 masked

Mask는 first and second order statistics를 보존하는 Gaussian noise를 사용한다.

Total information은 full condition과 both-masked condition의 차이로 측정한다.

\[I_{total} = 1- \operatorname{Sim}(\mathbf{H}_{11},\mathbf{H}_{00})\]

Language and visual information은 second-order difference로 계산한다.

\[I_{lang} = \operatorname{Sim}(\mathbf{H}_{11},\mathbf{H}_{01}) - \operatorname{Sim}(\mathbf{H}_{11},\mathbf{H}_{00})\] \[I_{vis} = \operatorname{Sim}(\mathbf{H}_{11},\mathbf{H}_{10}) - \operatorname{Sim}(\mathbf{H}_{11},\mathbf{H}_{00})\]

Approximate synergy term은 다음과 같다.

\[I_{syn} = I_{total}-I_{vis}-I_{lang}\]

이 값은 pure information-theoretic PID quantity라기보다 counterfactual output similarity로 구성한 practical approximation이다. Paper도 theoretical scope를 local approximation과 empirical intervention 범위 안에서 설명한다.

2-3. Four head types

HEAL은 head를 네 type으로 나눈다.

Head type Interpretation
Redundant Output intervention이 layer representation에 거의 영향을 주지 않음
Visual $I_{vis}>0$ and $I_{lang}\leq0$ or visual ratio가 robust high tail에 있음
Language $I_{vis}\leq0$ and $I_{lang}>0$ or language ratio가 robust high tail에 있음
Synergy Visual and language information을 함께 가지며 modality-specific threshold에 들지 않음

둘 다 positive인 head에는 modality ratio를 계산한다.

\[\alpha_{vis} = \frac{I_{vis}}{I_{vis}+I_{lang}}\] \[\alpha_{lang} = \frac{I_{lang}}{I_{vis}+I_{lang}}\]

Distribution이 skewed되어 있기 때문에 logit transform and median absolute deviation, 이하 MAD를 사용해 robust threshold를 만든다. Extreme visual or language head를 분리하고 나머지를 synergy head로 둔다.

2-4. Hallucination의 핵심을 synergy-head drift로 본다

논문 분석의 central observation은 다음과 같다.

  • Correct versus hallucinated token에서 visual head count가 크게 달라지는 것이 아니다.
  • Modality-specific head strength만으로 hallucination을 설명하기 어렵다.
  • Synergy head 안에서 visual-language information proportion이 healthy equilibrium에서 벗어날 때 hallucination이 늘어난다.

또한 head role은 autoregressive step에 따라 바뀐다.

  • Language-centric token에서는 일부 synergy head가 language head 쪽으로 이동한다.
  • Visually grounded token에서는 일부 language head가 synergy head로 이동한다.
  • 일부 synergy head는 visual head 쪽으로 더 이동한다.
  • Visual head count는 generation 동안 비교적 안정적으로 유지된다.

논문은 이를 task-driven phase transition이라고 부른다.

3. Architecture / Method

3-1. Overview

Stage Operation Purpose
1 Causal noise intervention on head output Causally redundant heads filtering
2 Four counterfactual visual-language conditions Head information disentanglement
3 Robust modality-ratio thresholding Visual, language, synergy categorization
4 Periodic head-type update Dynamic role change tracking
5 Per-step value calibration in synergy heads Visual-language equilibrium restoration

HEAL은 model weight를 update하지 않는다. Generation graph 안에서 attention head information을 측정하고 selected value vectors를 scale한다.

3-2. Dynamic information calibration

Target visual reliance를 equilibrium factor $\alpha \in (0,1)$로 둔다. Desired language reliance는 $1-\alpha$다.

Current synergy head의 visual and language ratio가 $\alpha_{vis}$ and $\alpha_{lang}$일 때 scaling factor는 아래처럼 정한다.

\[\beta = \frac{\alpha}{\alpha_{vis}}\] \[\gamma = \frac{1-\alpha}{\alpha_{lang}}\]

Calibrated head는 visual and language value를 각각 scale한다.

\[\mathbf{o}^{(t,l,i)} = \operatorname{Softmax} \left( \frac{ \mathbf{q}^{(t,l,i)} (\mathbf{K}^{(t,l,i)})^\top }{\sqrt{d}} \right) \begin{bmatrix} \beta\mathbf{V}_{vis}^{(t,l,i)} \\ \gamma\mathbf{V}_{lang}^{(t,l,i)} \end{bmatrix}\]

이 intervention은 attention logit이 아니라 value space를 직접 조정한다. Visual and language token을 모두 무조건 키우는 것이 아니라 current ratio를 target ratio 쪽으로 이동시킨다.

3-3. Where intervention happens

Paper는 calibration을 KV-cache update 이후, attention kernel 이전에 적용한다. 따라서 FlashAttention or PagedAttention의 core implementation을 바꾸지 않고, cached value tensor에 modality-specific factor를 적용하는 형태를 목표로 한다.

하지만 실제 serving integration은 간단하지 않다.

  • Visual token range and language token range를 cache에서 알아야 한다.
  • Head-specific value access가 필요하다.
  • Periodic counterfactual batch를 실행해야 한다.
  • Fused kernel boundary와 cache layout을 정확히 맞춰야 한다.

Black-box API model에는 적용하기 어렵고, local open-weight MLLM or customizable serving stack에 적합하다.

3-4. Periodic and batched implementation

Head type은 매 token마다 full recomputation하지 않는다. Paper는 type distribution이 10 to 15 generation steps의 short window에서 상대적으로 안정적이라고 관찰한다.

  • Global head type: interval $S$마다 update
  • Calibration factor $\beta,\gamma$: every decoding step update
  • Head intervention: tensorized parallel operation
  • Four DiD conditions: batch dimension으로 묶어 실행

Default interval은 10 steps이고, 5 to 15 범위에서 유사한 trend를 보고한다. 이 periodic approximation이 full per-step analysis cost를 줄인다.

3-5. Theoretical claim and scope

Paper는 두 가지 theorem을 제시한다.

  1. Value-space calibration and modality-information calibration equivalence
  2. Equilibrium factor $\alpha$가 visual alignment direction에 주는 monotonic effect

이 결과는 intervention direction을 설명하는 데 유용하다. 다만 theorem은 local linear approximation and paper-defined information measure에 의존한다. 실제 deep nonlinear decoder 전체에서 global guarantee를 제공하는 것은 아니다.

4. Training / Data / Recipe

4-1. Training-free but analysis-heavy

HEAL은 별도 finetuning data or weight update가 필요하지 않다. 그러나 training-free가 cost-free를 뜻하지 않는다.

Inference 중 다음 operation이 추가된다.

  • Head-output noise intervention
  • Four counterfactual attention evaluations
  • Head-type threshold computation
  • Synergy-head value scaling
  • Periodic recomputation and per-token calibration

Deployment recipe는 hyperparameter and runtime implementation에 크게 의존한다.

4-2. Main hyperparameters

Equilibrium factor alpha

$\alpha$는 target visual reliance를 결정한다.

  • Too small: language reliance가 과도해져 hallucination mitigation이 약할 수 있다.
  • Too large: visual overcorrection으로 response fluency or completeness가 떨어질 수 있다.
  • Paper experiments에서는 대체로 0.4 to 0.6 부근이 안정적인 range로 나타난다.
  • Stronger visual grounding model은 약간 작은 $\alpha$가 맞을 수 있다.

이 값은 universal constant가 아니라 model and task dependent control knob이다.

Head-type update interval

Default interval은 10 decoding steps다. 짧게 잡으면 overhead가 커지고, 길게 잡으면 task-driven phase transition을 늦게 반영한다.

Robust threshold lambda

Logit-transformed modality ratio의 MAD threshold에 사용하는 coefficient다. Threshold가 강하면 modality-specific head가 적어지고 synergy set이 커질 수 있다.

4-3. Engineering notes

1) Token segment bookkeeping이 정확해야 한다

Image token, system prompt, user text, generated text를 정확히 구분해야 $\mathbf{V}{vis}$ and $\mathbf{V}{lang}$ scaling이 맞는다. Multi-image, video, interleaved input에서는 segment map이 더 복잡하다.

2) Counterfactual mask distribution을 재현해야 한다

Gaussian replacement가 original feature의 first and second order statistics를 어떻게 보존하는지 implementation detail이 중요하다. Simple zero mask로 바꾸면 DiD estimate가 달라질 수 있다.

3) Kernel compatibility를 실제로 profile해야 한다

Paper-level statement처럼 FlashAttention internal algorithm을 수정하지 않아도, tensor materialization and cache scaling이 fusion을 깨거나 memory traffic을 늘릴 수 있다.

4) Head type은 model version마다 다시 계산해야 한다

Fine-tuned checkpoint, quantized model, LoRA merge, different image resolution은 head information distribution을 바꿀 수 있다. Base-model head map을 재사용하면 안 된다.

5) Calibration quality와 answer quality를 함께 봐야 한다

CHAIR or POPE 개선만으로 enough하지 않다. Response length, refusal, VQA accuracy, detailed description quality, text recognition, reasoning benchmark를 함께 측정해야 한다.

5. Evaluation

5-1. Main model coverage

Paper는 여러 7B-class open MLLM에 HEAL을 적용한다.

  • LLaVA-1.5-7B
  • LLaVA-NeXT-7B
  • Qwen2.5-VL-7B
  • Qwen2-VL-7B
  • InternVL-7B

Evaluation은 comprehensive benchmark and hallucination benchmark를 함께 본다.

  • LLaVA-Bench
  • CHAIR-S and CHAIR-I
  • POPE recall, F1, accuracy
  • MMHal and additional analysis in appendix

5-2. Selected main results

Table 2의 selected result는 다음과 같다.

Model Method LLaVA-Bench CHAIR-S CHAIR-I POPE-F1
LLaVA-1.5-7B Base 72.5 51.0 15.2 85.4
LLaVA-1.5-7B HEAL 75.2 36.9 10.7 87.8
LLaVA-NeXT-7B Base 81.6 29.9 9.2 86.5
LLaVA-NeXT-7B HEAL 82.2 24.6 7.9 88.1
Qwen2.5-VL-7B Base 76.8 27.2 9.0 87.4
Qwen2.5-VL-7B HEAL 78.5 23.3 8.5 88.4
InternVL-7B Base 51.6 46.6 12.4 85.3
InternVL-7B HEAL 53.4 39.2 9.6 87.8
  • CHAIR는 lower is better다.
  • LLaVA-Bench and POPE는 higher is better다.
  • Improvement magnitude는 base model마다 다르다.
  • Aggregate trend는 hallucination 감소와 general performance 유지 or improvement다.

이 결과는 visual reliance를 무조건 키우면 response quality가 떨어진다는 see-saw issue를 어느 정도 완화한다는 evidence다. 다만 all-task universal gain을 보장하지는 않는다.

5-3. Efficiency

Appendix efficiency comparison에서 HEAL은 EAH보다 높은 throughput and lower wall-clock latency를 보고한다.

Method Throughput Wall-clock latency
EAH 3.17 tokens/s 100.92 s
HEAL 5.02 tokens/s 70.74 s

Paper는 HEAL이 EAH보다 약 1.58x faster라고 정리한다. Base inference보다는 additional overhead and memory가 있다. Reported peak GPU memory increase는 약 0.26 GB다.

이 숫자는 model, prompt length, generation length, device, implementation에 종속된다. Serving environment에서 그대로 재현된다고 가정하면 안 된다.

5-4. What really matters in the experiments

1) Correlation analysis보다 intervention result가 중요하다

Head distribution visualization만으로 causality를 말할 수 없다. HEAL은 selected value calibration이 hallucination metric을 실제로 움직이는지 보여준다는 점이 더 중요하다.

2) Multiple model families

LLaVA, Qwen-VL, InternVL에서 같은 direction의 gain을 보인 점은 generality에 유리하다. 그러나 model-specific alpha tuning and internal access가 필요하다.

3) Equilibrium sweep

Best alpha가 극단적인 visual-only point가 아니라 intermediate range에 있다는 결과가 central hypothesis와 맞는다. Hallucination mitigation이 modality balance problem이라는 해석을 지지한다.

4) Stronger recent models

Appendix의 Qwen3-VL-8B and InternVL3.5-8B result에서도 MMHal hallucination rate 감소가 보고된다. Improvement는 older baseline보다 작으며, already strong model에서 remaining headroom이 제한적일 수 있다.

6. Limitations

  1. Internal activation and value access가 필요하다.
    • Black-box API에는 적용하기 어렵다.
    • Fused serving engine에 custom hook을 넣어야 한다.
  2. Inference overhead가 남는다.
    • Counterfactual DiD and causal intervention은 extra compute and memory를 사용한다.
    • Periodic update가 cost를 줄이지만 vanilla decoding보다 가볍지는 않다.
  3. Alpha and interval은 model-task dependent다.
    • Universal hyperparameter가 아니다.
    • Deployment distribution이 바뀌면 retuning이 필요할 수 있다.
  4. Upstream visual failure를 복구하지 못한다.
    • Image encoder가 object를 보지 못했거나 crop에서 evidence가 사라진 경우, decoder-side calibration만으로 정보를 만들 수 없다.
  5. Information decomposition은 approximation이다.
    • Gaussian counterfactual and output similarity가 true causal information quantity와 완전히 같지는 않다.
    • Theoretical guarantee는 local approximation 범위로 읽어야 한다.
  6. Public reproduction package가 확인되지 않는다.
    • 2026-09-21 기준 paper page에서 official code repository를 확인하지 못했다.
    • Kernel integration and runtime overhead를 독립적으로 검증하기 어렵다.
  7. Hallucination benchmark coverage가 제한적이다.
    • Object-centric CHAIR and POPE improvement가 document OCR, charts, medical image, multi-image reasoning의 hallucination까지 보장하지 않는다.

7. My Take

7-1. Why this matters for my work

HEAL의 가장 좋은 점은 attention head를 visual or language 하나로 고정하지 않는다는 데 있다. 실제 multimodal generation에서는 두 modality를 함께 쓰는 synergy head가 많고, failure는 head count보다 internal mixture에서 생길 수 있다.

Document VLM에서도 비슷한 failure가 나타난다.

  • OCR token을 봤지만 language prior로 숫자를 바꾼다.
  • Table cell evidence보다 common pattern을 생성한다.
  • Grounding target을 찾았지만 relation phrase에서 drift한다.

Head-level balance analysis는 이런 error를 process-level diagnostic으로 바꾸는 데 쓸 수 있다.

7-2. Reuse potential

1) Document and OCR hallucination diagnosis

Visual token을 page region, OCR token, layout token으로 더 세분화하면 modality balance가 아니라 evidence-source balance를 측정할 수 있다.

2) Adaptive abstention trigger

Synergy-head drift가 threshold를 넘을 때 generation을 중단하거나 verifier를 호출하는 confidence signal로 사용할 수 있다.

3) Quantized VLM calibration

KV quantization or weight quantization이 modality ratio를 어떻게 바꾸는지 분석해, accuracy loss를 head-type drift 관점에서 진단할 수 있다.

4) Training signal design

Inference-time HEAL에서 발견한 stable equilibrium을 training regularizer or RL reward로 옮기는 후속 연구가 가능하다. 다만 detector optimization이 새로운 evasion behavior를 만들지 검증해야 한다.

7-3. Follow-up papers

  • CHAIR: object hallucination evaluation in image captioning
  • POPE: polling-based object hallucination evaluation
  • EAH: attention-head enhancement for LVLM hallucination
  • Owl: causally grounded dual-path attention intervention
  • Partial Information Decomposition for multimodal representations
  • Inference-time intervention and activation steering studies

8. Summary

  • HEAL은 attention weight 대신 head output의 causal effect and counterfactual information을 측정한다.
  • Redundant, visual, language, synergy의 네 head type을 generation 중 동적으로 추적한다.
  • Hallucination을 visual head shortage보다 synergy-head information drift와 연결한다.
  • Equilibrium factor $\alpha$를 기준으로 visual and language value vector를 매 step 보정한다.
  • 여러 LLaVA, Qwen-VL, InternVL checkpoint에서 CHAIR and POPE 개선을 보고한다.
  • Training-free이지만 internal tensor access, extra compute, model-specific tuning이 필요하다.
  • Public code and broader domain reproduction은 추가 확인이 필요하다.

댓글남기기

참고