Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions Review

0. Introduction

Paper link

Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions는 LLM evaluation에서 자주 보는 이상한 현상을 representation geometry로 설명하는 논문이다. 모델이 free-form setting에서는 맞는 지식을 보여주는데, 같은 내용을 multiple-choice question으로 바꾸면 틀린 option을 고르는 경우가 있다. 이 논문은 이를 단순 prompt format 문제나 option bias만으로 보지 않는다. 더 깊은 곳에서, 모델의 residual stream 안에 있는 knowledge signal과 최종 prediction signal이 서로 다른 subspace로 갈라질 수 있다고 본다.

핵심 질문은 다음이다.

모델 안에는 정답을 가리키는 signal이 있는데, 왜 output은 그 signal을 따르지 않는가?

논문은 이 현상을 knowledge-prediction gap이라고 부른다. 그리고 이 gap을 줄이기 위해 KAPPA, 즉 Knowledge-Aligned Prediction through Projection-based Adjustment를 제안한다. KAPPA는 inference time에 residual stream을 작게 조정해 prediction coordinate를 knowledge coordinate에 맞춘다.

한 줄 요약: 이 논문은 MCQ에서 모델 내부의 correct-answer signal과 실제 output signal이 residual stream 안에서 misaligned subspace로 분리될 수 있음을 보이고, KAPPA라는 parameter-free inference-time intervention으로 prediction을 latent knowledge 쪽으로 정렬한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같다.

• MCQ benchmark 실패를 단순 prompt artifact가 아니라 representation-level mismatch로 해석한다.
• knowledge probe와 prediction probe를 분리해 hidden state 안의 두 signal을 비교한다.
• KAPPA는 추가 fine-tuning 없이 inference time에 hidden state를 조정하는 intervention이다.
• Truthfulness, bias, reasoning benchmark에서 gap이 특히 크다는 관찰은 evaluation reliability에 중요하다.
• LLM이 “모르는 것”과 “알지만 output으로 못 쓰는 것”을 구분하는 실용적 관점을 제공한다.

이 논문은 MCQ accuracy를 조금 더 올리는 trick으로만 읽으면 아쉽다. 더 중요한 메시지는 모델 내부 지식이 output policy와 완전히 같은 것이 아니라는 점이다. 이 관점은 hallucination, refusal, bias, reasoning failure를 해석할 때도 꽤 중요하다.

1. Problem Setting

1-1. Problem definition

문제는 multiple-choice question에서 발생하는 knowledge-prediction gap이다. LLM이 어떤 질문에 대한 정답 정보를 hidden representation에 linearly accessible하게 담고 있음에도, 최종 output에서는 다른 option을 선택할 수 있다.

논문은 두 가지 probe를 구분한다.

• Knowledge probe
  • residual stream에서 ground-truth answer를 예측하도록 학습된다.
• Prediction probe
  • 같은 residual stream에서 모델이 실제로 생성할 option을 예측하도록 학습된다.

두 probe가 같은 hidden state를 보지만, 목표는 다르다. 하나는 맞는 답을 찾고, 다른 하나는 모델의 실제 선택을 예측한다. 이 둘이 잘 맞으면 모델이 내부 지식을 output에 잘 반영한다고 볼 수 있다. 반대로 둘이 어긋나면, 모델은 아는 것을 prediction으로 쓰지 못한다.

논문이 정의하는 gap은 다음처럼 생각할 수 있다.

\[gap = distance(p_{knowledge}, p_{prediction})\]

여기서 $p_{knowledge}$는 knowledge probe가 보는 answer distribution이고, $p_{prediction}$은 모델 output 또는 prediction probe가 보는 answer distribution이다.

1-2. Why previous approaches are insufficient

기존 설명은 보통 표면적 요인에 집중했다.

1. Option order bias
   • 모델이 특정 위치나 symbol을 선호할 수 있다.
2. Prompt format sensitivity
   • answer format이나 option labeling에 따라 선택이 달라질 수 있다.
3. Distractor artifact
   • 잘못 설계된 distractor가 모델을 유도할 수 있다.
4. Calibration failure
   • 모델 confidence가 실제 correctness와 어긋날 수 있다.

이 설명들은 모두 중요하지만, 모델 내부에서 correct signal과 chosen signal이 어떻게 분리되는지는 충분히 설명하지 못한다. 이 논문은 그 내부 구조를 residual stream geometry로 본다.

즉 질문은 다음처럼 바뀐다.

Prompt가 틀렸기 때문인가, 아니면 모델 내부에서 knowledge coordinate와 prediction coordinate가 다른 방향으로 routing되기 때문인가?

2. Core Idea

2-1. Main contribution

논문 기여는 세 단계로 정리된다.

1. Gap 측정
   • 여러 model과 MCQ benchmark에서 knowledge probe와 model prediction 사이의 gap을 측정한다.
   • reasoning, truthfulness, bias benchmark에서 gap이 특히 크다고 보고한다.
2. Geometry 해석
   • probe weight vectors를 subspace basis로 보고, knowledge subspace와 prediction subspace를 정의한다.
   • 두 subspace가 deeper layer에서 분리되고, 이 misalignment가 gap과 연관된다고 분석한다.
3. KAPPA intervention
   • hidden state의 prediction coordinate가 knowledge coordinate와 align되도록 affine transformation을 적용한다.
   • 추가 fine-tuning 없이 inference time에 작동한다.

KAPPA의 개념은 다음과 같다.

\[h' = h + \Delta h\]

여기서 $h$는 original residual stream activation이고, $h’$는 modified activation이다. $\Delta h$는 prediction subspace에서 knowledge coordinate와 alignment되도록 계산되며, 다른 방향은 가능한 적게 건드린다.

2-2. Design intuition

KAPPA의 설계 직관은 매우 명확하다.

모델이 정답을 아예 모른다면, hidden state를 조금 조정해도 큰 도움이 되기 어렵다. 하지만 정답 signal이 이미 linearly accessible하다면, 문제는 그 signal이 final prediction으로 제대로 전달되지 않는 것이다. 이 경우에는 output layer를 직접 바꾸기보다, 중간 representation에서 prediction coordinate를 knowledge coordinate 쪽으로 맞추는 intervention이 가능하다.

이 점에서 KAPPA는 단순 logit bias와 다르다.

Method	Intervention target	Main idea
Logit adjustment	final token logits	특정 answer token 확률 조정
Activation steering	fixed representation direction	고정 vector 방향으로 behavior 유도
KAPPA	residual stream subspace	input-specific knowledge coordinate에 prediction coordinate 정렬

논문은 KAPPA가 answer-symbol logits를 직접 밀어주는 방식이 아니라, 더 abstract한 intermediate representation을 조정한다고 해석한다. 이 차이가 중요하다. MCQ option token을 직접 조정하면 dataset-specific artifact가 되기 쉽지만, subspace alignment는 모델의 내부 decision process를 조금 더 구조적으로 건드린다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	MCQ에서 internal knowledge와 final prediction의 gap 완화
Key observation	knowledge probe와 prediction probe가 서로 다른 subspace를 형성
Main method	KAPPA
Intervention type	parameter-free inference-time residual stream 조정
Main models	Qwen 2.5 7B Instruct, Llama 3.1 8B Instruct, 추가 scale analysis
Benchmarks	GSM8k, BBH, MMLU, ARC-Challenge, PubMedQA, TruthfulQA, BBQ 기반 평가

3-2. Module breakdown

1) Knowledge probe

Knowledge probe는 residual stream activation에서 ground-truth answer를 예측한다. 예를 들어 4-choice MCQ라면 hidden state를 4-class classifier에 넣어 어떤 option이 정답인지 예측한다.

이 probe가 모델 자체의 answer보다 잘 맞는다면, 모델 내부에는 정답 signal이 있는데 output은 그 signal을 충분히 쓰지 못한다고 볼 수 있다.

2) Prediction probe

Prediction probe는 모델이 실제로 선택한 option을 예측한다. 이 probe는 correctness가 아니라 model behavior를 따라간다.

이 probe의 목적은 모델이 어디로 가고 있는지 보는 것이다. Knowledge probe가 “어떤 답이 맞는가”를 본다면, prediction probe는 “모델이 어떤 답을 낼 것인가”를 본다.

3) Subspace construction

각 probe의 weight matrix는 residual stream 안의 subspace basis로 해석된다. 이때 knowledge subspace는 correct-answer signal을 담고, prediction subspace는 chosen-answer signal을 담는다.

논문은 mean principal angle과 CKA를 사용해 두 subspace의 alignment를 분석한다. Gap이 큰 benchmark에서는 두 subspace의 misalignment도 크다.

4) KAPPA update

KAPPA는 hidden state를 조정한다. 목표는 prediction subspace에서의 coordinate가 knowledge subspace coordinate와 맞도록 만드는 것이다. 동시에 original hidden state에서 너무 멀어지지 않도록 minimal perturbation constraint를 둔다.

개념적으로는 다음 최적화다.

\[\min_{h'} ||h' - h||_2^2\]

subject to

\[coord_{pred}(h') = coord_{know}(h)\]

논문은 이 문제에 대한 closed-form solution을 사용한다. 실제 적용은 selected intermediate layers에서 수행된다.

5) Extended alignment

논문은 strict equality만이 아니라 hyperparameter를 통해 knowledge coordinate의 영향력을 조절하는 extended alignment도 다룬다. 이 설정은 knowledge logits의 차이를 더 강하게 만들거나, prediction coordinate를 더 sharp하게 만들 수 있다.

4. Training / Data / Recipe

4-1. Data

논문은 다양한 MCQ benchmark를 사용한다.

• reasoning benchmark: GSM8k, BBH-Algorithmic, BBH-NLP
• 지식형 benchmark: MMLU Humanities, MMLU Social Sciences, MMLU STEM, ARC-Challenge, PubMedQA
• truthfulness와 bias benchmark: TruthfulQA, BBQ-Age, BBQ-Religion

실험은 Qwen 2.5 7B Instruct와 Llama 3.1 8B Instruct를 중심으로 진행되고, TruthfulQA에서는 Mistral 7B Instruct v0.3, Qwen3 4B, Qwen3 14B도 추가 평가된다.

4-2. Training strategy

KAPPA 자체는 model fine-tuning이 아니다. 하지만 probe training은 필요하다.

절차는 다음과 같다.

1. 여러 prompt format을 validation set에서 평가해 option bias를 줄이는 format을 고른다.
2. 모든 layer에서 residual stream activation을 추출한다.
3. Knowledge probe와 prediction probe를 각각 학습한다.
4. Prediction probe accuracy가 충분히 높은 layer 중 knowledge probe 성능이 좋은 consecutive layers를 선택한다.
5. Test time에 1-layer, 3-layer, 6-layer KAPPA를 적용한다.

논문 appendix 기준으로 probe training에는 batch size 128, learning rate 0.0002, 1000 epochs 안에서 validation best checkpoint selection이 사용된다. 이 수치는 구현 재현 시 원문 appendix를 다시 확인하는 것이 좋다.

4-3. Engineering notes

실무 적용 관점에서 중요한 점은 다음과 같다.

1. Probe dataset이 필요하다
   • KAPPA는 완전 zero-shot method가 아니다. 각 dataset 또는 유사 task에서 probe를 학습해야 한다.
2. Layer selection이 중요하다
   • 너무 early layer는 answer information이 충분하지 않을 수 있다.
   • 너무 late layer는 이미 logit direction에 가까워져 intervention 여지가 작을 수 있다.
3. Dataset transfer는 제한적이다
   • 논문은 일부 category 안에서는 transfer가 되지만, task가 다르면 subspace가 달라진다고 보고한다.
4. MCQ symbol artifact를 조심해야 한다
   • KAPPA가 단순 answer token steering이 아니라는 분석이 있지만, prompt format과 option symbol은 여전히 중요하다.

5. Evaluation

5-1. Main results

논문은 KAPPA를 Base, CAA, DoLA와 비교한다. 핵심 지표는 accuracy, AGR, KLD다.

• Accuracy는 정답률이다.
• AGR은 knowledge probe와 model prediction이 같은 option을 고르는 비율이다.
• KLD는 knowledge distribution과 prediction distribution 사이의 divergence다.

주요 결과는 다음과 같다.

• Knowledge probe는 여러 benchmark에서 model generation보다 높은 accuracy를 보여, hidden state 안에 linearly accessible knowledge가 있음을 시사한다.
• Gap은 reasoning, truthfulness, bias benchmark에서 더 크게 나타난다.
• KAPPA는 Qwen 2.5 7B와 Llama 3.1 8B에서 대부분의 gap-heavy benchmark에서 AGR을 높이고 accuracy를 개선한다.
• TruthfulQA와 BBQ 같은 benchmark에서는 개선 폭이 특히 크다.
• Knowledge benchmark처럼 gap이 작을 때는 변화가 더 제한적이다.
• Cross-dataset transfer는 task similarity가 있을 때 일부 작동하지만, 전반적으로 subspace가 task-specific하다는 해석이 가능하다.
• Free-form setting에도 일부 효과가 확장된다고 보고한다.

5-2. What really matters in the experiments

이 논문의 핵심은 KAPPA가 모든 benchmark를 무조건 올린다는 것이 아니다. 더 중요한 것은 어떤 실패가 missing knowledge가 아니라 knowledge-to-prediction alignment failure일 수 있다는 점이다.

이 관점에서는 evaluation을 다음처럼 나눌 수 있다.

• 모델이 정답을 내부적으로도 모른다.
• 모델은 정답 signal을 갖고 있지만 output으로 쓰지 못한다.
• 모델은 정답 signal과 prediction signal을 모두 갖지만, downstream decoding이 prediction subspace를 따른다.

KAPPA는 두 번째와 세 번째 경우에 의미가 있다. 첫 번째 경우에는 intervention할 correct signal 자체가 약하다.

6. Limitations

1. Probe supervision이 필요하다
   • Knowledge probe는 ground-truth label을 사용한다. 따라서 task별 labeled validation data가 필요하다.
2. Task transfer가 제한적이다
   • Subspace가 dataset마다 달라질 수 있어, 하나의 universal KAPPA vector로 보기 어렵다.
3. MCQ 중심성
   • 논문은 free-form extension도 다루지만, 핵심 설계와 평가 대부분은 MCQ setting에 맞춰져 있다.
4. Hidden intervention safety
   • Residual stream을 조정하는 방식은 원하는 behavior만 바꾼다는 보장이 없다. 특히 multi-token generation에서는 부작용을 더 봐야 한다.
5. Causal mechanism 해석의 한계
   • Subspace misalignment가 gap과 연관된다는 점은 강하지만, 모든 failure mechanism을 완전히 설명한다고 보기는 어렵다.

7. My Take

7-1. Why this matters for my work

이 논문은 LLM evaluation에서 “모델이 알고 있는가”와 “모델이 그렇게 답하는가”를 분리해서 보게 만든다는 점에서 중요하다. 특히 MCQ, preference evaluation, safety refusal, bias benchmark에서는 model output만 보면 내부 signal을 놓칠 수 있다.

이 관점은 production QA에서도 의미가 있다. 모델이 틀렸을 때 retriever가 못 가져온 것인지, 모델이 지식을 몰랐던 것인지, 아니면 internal evidence를 final answer로 못 옮긴 것인지 구분해야 debugging이 가능하다.

7-2. Reuse potential

재사용 가능성은 다음과 같다.

• MCQ benchmark 분석에서 hidden knowledge와 output prediction을 분리한다.
• RAG QA에서 context evidence signal과 final answer signal의 alignment를 본다.
• Safety model에서 refusal signal과 answer signal의 subspace conflict를 분석한다.
• 모델 디버깅에서 probe 기반 representation audit을 수행한다.
• Inference-time intervention을 training-free calibration layer로 실험한다.

7-3. Follow-up papers

• Representation engineering과 activation steering 관련 논문
• The Geometry of Truth 계열 truth representation 분석 논문
• DoLA와 contrastive decoding 관련 논문
• Hidden factual knowledge와 internal representation probing 논문
• MCQ robustness와 option bias 분석 논문

8. Summary

• 이 논문은 MCQ 실패를 knowledge-prediction gap으로 정의한다.
• Knowledge probe와 prediction probe를 분리해 residual stream 안의 두 signal을 분석한다.
• Gap이 큰 benchmark에서는 knowledge subspace와 prediction subspace가 misaligned되어 있다.
• KAPPA는 inference time에 hidden state를 조정해 prediction coordinate를 knowledge coordinate에 맞춘다.
• 핵심 메시지는 모델이 모르는 것과, 알지만 prediction으로 쓰지 못하는 것을 구분해야 한다는 점이다.