KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks Review

0. Introduction

Paper link

Code link

KVarN은 long reasoning 시대의 꽤 현실적인 병목을 다루는 논문이다. Test-time scaling이 길어질수록 모델은 더 많은 intermediate reasoning token을 생성하고, 그만큼 KV cache도 계속 커진다. 이때 KV cache quantization은 자연스러운 해결책처럼 보이지만, 논문이 지적하는 핵심은 단순하지 않다. prefill에서 좋아 보이는 quantizer가 autoregressive decode에서도 안전하다는 보장은 없다.

이 논문의 출발점은 “KV cache quantization error는 decode step을 따라 누적된다”는 관찰이다. 특히 저자들은 그 누적이 element-wise rounding noise 하나로 설명되기보다, token scale을 잘못 잡는 문제와 강하게 연결된다고 본다. 그래서 KVarN은 KV tile을 그대로 low-bit quantize하지 않고, Hadamard rotation 뒤에 row와 column 양쪽의 variance를 맞추는 normalization을 넣는다.

한 줄 요약: KVarN은 autoregressive decode에서 누적되는 KV-cache quantization error를 줄이기 위해 Hadamard rotation과 dual-axis variance normalization을 결합한 calibration-free KV-cache quantizer이며, reasoning benchmark에서 2-bit급 KV compression을 더 안정적으로 쓰게 만드는 방법이다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• long reasoning, agentic decoding, long-context serving에서 KV cache memory가 실제 병목으로 커지고 있다.
• 기존 KV quantization 논의가 prefill-like evaluation에 치우쳤다면, 이 논문은 autoregressive decode에서 error가 어떻게 누적되는지를 전면에 둔다.
• 구현체가 vLLM fork 형태로 공개되어 있어, 논문 아이디어가 serving backend와 어떻게 만나는지 같이 볼 수 있다.
• 4-bit key, 2-bit value preset처럼 production-facing한 설계 선택이 들어가 있어 단순 algorithm paper보다 실무적인 읽을거리가 많다.

이 논문은 “KV cache를 몇 bit로 줄였는가”보다 “decode 과정에서 quantization error가 어떤 축으로 쌓이는가”를 묻는 쪽이 더 중요하다. KVarN의 핵심은 더 세밀한 calibration set을 쓰는 것이 아니라, cache tile 자체의 variance geometry를 quantization 전에 안정화하는 것이다.

1. Problem Setting

1-1. Problem definition

LLM inference에서 KV cache는 이미 계산된 key와 value를 저장해서 다음 token decoding을 빠르게 만든다. 문제는 sequence length가 늘어날수록 KV cache memory도 선형으로 늘어난다는 점이다. 개념적으로 아래처럼 볼 수 있다.

\[M_{KV} \propto L \times N_{layer} \times N_{head} \times D_{head} \times b\]

여기서 $L$은 context length, $b$는 cache element의 bit width다. Long-context RAG나 multi-turn agent에서는 $L$이 커지고, reasoning model에서는 output length도 커진다. 따라서 KV cache는 prefill 이후 decode가 길어질수록 더 큰 memory pressure를 만든다.

KV cache quantization은 이 문제를 직접 줄인다. FP16 KV를 8-bit, 4-bit, 2-bit로 낮추면 저장 공간은 줄어든다. 하지만 KVarN이 보는 문제는 여기서 시작한다.

• prefill 단계의 reconstruction error가 작다고 decode 단계의 generation quality가 유지되는 것은 아니다.
• autoregressive decode에서는 이전 step에서 저장한 quantized KV가 다음 step의 attention에 계속 쓰인다.
• 작은 scale error라도 token이 길어질수록 attention output과 next-token distribution에 반복적으로 영향을 준다.
• 특히 reasoning task는 긴 chain과 exact answer가 필요하므로 작은 누적 오차가 최종 answer accuracy로 크게 나타날 수 있다.

즉 이 논문의 problem setting은 단순히 KV cache를 압축하는 것이 아니다. 더 정확히는 autoregressive generation에서 quantization error accumulation을 억제하는 KV cache representation을 만드는 것이다.

1-2. Why previous approaches are insufficient

기존 KV cache quantization은 대체로 아래 관점 중 하나에 집중한다.

Type	Main idea	Limitation
Per-token quantization	token별 scale로 KV를 양자화	token scale outlier가 decode 누적 오차를 만들 수 있음
Per-channel quantization	channel별 scale로 outlier channel을 처리	token 방향 variance mismatch를 충분히 제어하지 못할 수 있음
Rotation-based quantization	Hadamard 같은 rotation으로 outlier를 분산	scale 자체를 양쪽 축에서 맞추지 않으면 residual error가 남을 수 있음
Calibration-based quantization	small calibration set으로 scale이나 bit allocation 결정	deployment input distribution이 바뀌면 다시 맞춰야 할 수 있음

KVarN이 특히 문제 삼는 것은 prefill-like 평가다. 많은 quantizer는 이미 존재하는 sequence의 KV를 압축하고 reconstruction error나 perplexity를 본다. 하지만 실제 serving에서 중요한 것은 decode loop다. 모델이 한 token을 생성하고, 그 token의 KV를 다시 cache에 넣고, 다음 token에서 다시 참조한다.

이 구조에서는 quantization error가 한 번의 approximation으로 끝나지 않는다. error가 다음 hidden state에 들어가고, 그 hidden state가 다시 다음 KV와 attention distribution을 만든다. 따라서 long reasoning에서는 error accumulation 이 별도 현상으로 나타난다.

중요한 문제 전환

KV quantization의 목표는 average reconstruction error 최소화가 아니라, decode trajectory가 깨지지 않는 cache geometry를 유지하는 것이 된다.

2. Core Idea

2-1. Main contribution

KVarN의 핵심 기여는 크게 4가지로 정리할 수 있다.

1. Decode-regime error analysis
   • KV quantization error가 autoregressive decoding에서 timestep을 따라 누적된다는 점을 강조한다.
   • 논문은 이 누적의 주요 원인을 incorrect token scales로 본다.
2. Hadamard rotation before quantization
   • KV tile의 channel 방향 outlier를 섞어 quantization에 더 좋은 분포로 만든다.
   • rotation은 orthonormal하므로 attention score 구조를 보존하는 방향으로 설계된다.
3. Dual-axis variance normalization
   • K와 V matrix의 양쪽 축을 따라 variance를 맞춘다.
   • GitHub 설명 기준으로는 row-wise와 column-wise standard deviation normalization을 log space에서 반복하는 Sinkhorn-like 절차다.
4. Calibration-free vLLM backend
   • 별도 calibration set 없이 cache tile 단위로 동작한다.
   • 공개 구현은 vLLM fork로 제공되고, kv_cache_dtype flag로 켜는 형태다.

논문의 주장은 KVarN이 MATH500, AIME24, HumanEval 같은 generative reasoning benchmark에서 2-bit precision 수준의 KV-cache quantization SOTA를 만든다는 것이다. 다만 세부 score는 figure와 table 기준으로 다시 확인하는 것이 좋다.

2-2. Design intuition

KVarN의 설계 직관은 두 단계로 볼 수 있다.

첫째, outlier를 먼저 섞는다.

Hadamard rotation은 channel 방향의 큰 값을 여러 channel로 분산한다. 이렇게 하면 특정 channel이 scale을 지배해서 나머지 값의 effective resolution을 망가뜨리는 현상을 줄일 수 있다.

둘째, scale을 한 축에서만 보지 않는다.

KV cache tile은 channel x token 형태의 2D tensor로 볼 수 있다. Per-channel scale은 channel 축을 안정화하지만 token별 scale mismatch가 남을 수 있고, per-token scale은 반대로 channel outlier를 충분히 다루지 못할 수 있다. KVarN은 이 둘을 나눠 생각하지 않고, row와 column 양쪽 variance를 동시에 맞추는 쪽으로 간다.

개념적으로는 아래와 같은 흐름이다.

\[X \rightarrow HX \rightarrow D_r H X D_c \rightarrow Q_b(D_r H X D_c)\]

여기서 $X$는 KV tile, $H$는 Hadamard rotation, $D_r$과 $D_c$는 row와 column 방향 scale factor, $Q_b$는 low-bit quantizer다. 정확한 구현 세부는 원문과 코드 기준으로 확인해야 하지만, 이 식은 KVarN이 단순 quantizer가 아니라 preconditioning + normalization + quantization pipeline이라는 점을 보여준다.

핵심 직관

KVarN은 quantizer를 바꾸기보다 quantizer가 보는 tensor geometry를 먼저 바꾼다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	Long reasoning decode에서 KV-cache quantization error accumulation 완화
Target	Autoregressive decode-time KV cache
Main components	Hadamard rotation, dual-axis variance normalization, low-bit asymmetric quantization
Default public preset	kvarn_k4v2_g128
Key/value precision	4-bit keys, 2-bit values in shipped preset
Calibration	Calibration-free
Runtime integration	vLLM fork and native attention backend
Main claim	2-bit precision regime에서 MATH500, AIME24, HumanEval generative benchmark 개선

3-2. Module breakdown

1) Tile-wise cache view

KVarN은 KV cache를 token tile 단위로 본다. 공개 README 설명에서는 fixed-size token tile을 Cache, Rotated Cache, Normalized Cache, Quantized Cache의 4단계로 처리한다고 설명한다.

Tile-wise view가 중요한 이유는 serving backend와 잘 맞기 때문이다. vLLM 같은 inference engine은 KV cache를 block 또는 page 단위로 관리한다. KVarN의 preset에서도 block_size=128이 design point로 등장한다. 즉 알고리즘 단위와 serving memory allocator 단위가 어느 정도 맞물린다.

실무적으로 중요한 점

Quantization granularity는 algorithm detail이면서 동시에 serving system detail이다.

2) Hadamard rotation

Hadamard rotation은 channel dimension을 따라 적용된다. 목적은 per-channel outlier를 퍼뜨려 quantization이 한두 channel의 큰 값에 끌려가지 않게 만드는 것이다.

일반적인 low-bit quantization에서는 scale을 정할 때 outlier가 있으면 나머지 대부분 값의 resolution이 낮아진다. Rotation은 값의 에너지를 더 균등하게 분산해 이런 문제를 줄인다.

KVarN 설명에서 중요한 포인트는 rotation이 orthonormal이라는 점이다. 따라서 이론적으로는 dot-product 구조를 크게 훼손하지 않는 방향으로 cache representation을 바꾼다.

3) Dual-axis variance normalization

Hadamard rotation만으로는 충분하지 않다. 논문과 공개 구현 설명은 incorrect token scales가 decode error accumulation의 주요 원인이라고 본다. 그래서 KVarN은 row와 column 방향으로 variance를 맞추는 normalization을 추가한다.

GitHub README 기준으로 이 단계는 row-wise와 column-wise standard deviation normalization을 log space에서 반복하는 Sinkhorn-like procedure로 설명된다. 이는 token direction과 channel direction의 scale mismatch를 동시에 줄이려는 설계다.

개념적으로는 아래 두 목표를 동시에 달성하려는 것이다.

\[Var_{row}(X') \approx c_r\] \[Var_{col}(X') \approx c_c\]

여기서 $X’$는 rotation과 normalization 이후의 tile이다. 실제 구현은 scale factor를 저장하거나 read time에 fold back하는 방식이 필요하다.

4) Low-bit quantization

Normalization 이후에는 low-bit asymmetric round-to-nearest quantization을 적용한다. 공개 preset은 key에 더 많은 bit를 주고 value에는 더 적은 bit를 주는 kvarn_k4v2_g128이다.

이 선택은 꽤 의미가 있다. Attention에서 key error는 attention score 자체에 영향을 줄 수 있고, value error는 score가 정해진 뒤 weighted sum에 들어간다. 그래서 key를 더 보수적으로 압축하고 value를 더 공격적으로 압축하는 설계는 직관적이다.

KVarN은 이 선택을 단순 compression ratio가 아니라 strict accuracy bar를 맞추기 위한 release configuration으로 설명한다.

5) vLLM backend integration

공개 구현은 vLLM fork 형태다. 예시는 아래처럼 kv_cache_dtype로 KVarN preset을 지정한다.

from vllm import LLM, SamplingParams

llm = LLM(
    model="Qwen/Qwen3-32B",
    dtype="float16",
    kv_cache_dtype="kvarn_k4v2_g128",
    block_size=128,
)

Serving도 같은 방식으로 설정한다.

vllm serve Qwen/Qwen3-32B --dtype float16 --kv-cache-dtype kvarn_k4v2_g128 --block-size 128

이 점은 중요하다. KVarN은 별도 model weight를 바꾸는 방법이 아니다. cache backend를 바꾸는 방법이다. 그래서 weight quantization, speculative decoding, MLA model support 같은 serving compatibility가 핵심 가치가 된다.

4. Training / Data / Recipe

4-1. Data

KVarN 자체는 calibration-free quantizer로 설명된다. 따라서 별도 calibration dataset을 요구하는 방식이 아니다. 논문의 평가에서는 reasoning과 code generation 성격의 generative benchmark가 중요하게 등장한다.

논문 abstract 기준으로 언급된 benchmark는 다음과 같다.

Benchmark	Role
MATH500	수학 reasoning generation
AIME24	더 어려운 수학 reasoning generation
HumanEval	code generation

이 benchmark 선택은 타당하다. KV cache quantization이 단순 perplexity만 유지해도 실제 answer accuracy가 떨어질 수 있기 때문이다. 특히 AIME나 HumanEval은 긴 intermediate reasoning 또는 code generation trajectory가 필요하므로, decode-time error accumulation을 보기 좋은 테스트다.

4-2. Training strategy

KVarN은 모델을 새로 training하는 논문이 아니다. 핵심은 inference-time cache representation이다. 따라서 training recipe라기보다 deployment recipe가 더 중요하다.

정리하면 다음과 같다.

• model weights는 그대로 둔다.
• KV cache backend를 KVarN dtype으로 바꾼다.
• cache tile을 Hadamard rotation, variance normalization, low-bit quantization으로 저장한다.
• attention read time에는 quantized cache를 다시 사용 가능한 형태로 복원한다.
• calibration set이나 model-specific scale fitting 없이 동작하도록 설계한다.

중요한 구분

KVarN은 post-training quantization of weights가 아니라 runtime KV-cache quantization이다.

4-3. Engineering notes

공개 GitHub README에서 특히 눈에 띄는 engineering note는 아래와 같다.

1. vLLM fork로 제공된다.
   • 설치 후 kv_cache_dtype flag로 활성화한다.
   • KVarN kernel은 Triton JIT path를 사용한다고 설명된다.
2. Default tile size는 128이다.
   • README는 one vLLM block이 one KVarN tile이 되도록 설명한다.
   • 다른 granularity는 capacity와 overhead trade-off를 만든다.
3. MLA model을 지원한다.
   • README는 KVarN이 MLA 기반 모델의 compressed KV latent를 int4로 quantize한다고 설명한다.
   • GLM-4.7-Flash 예시에서는 TP=2에서 KV-cache capacity가 313K에서 865K로 늘고 AIME25 accuracy 53.3% parity라고 제시한다.
4. Hybrid model에서는 full-attention layer만 압축한다.
   • Mamba나 linear-attention layer의 recurrent state는 KV cache가 아니므로 그대로 둔다.
   • full-attention layer cache에만 KVarN gain이 적용된다.
5. Speculative decoding과도 조합 가능하다고 설명한다.
   • Rejected draft token이 history cache를 오염시키지 않도록 accepted block만 quantized cache에 commit하는 방식으로 설명된다.

이런 내용은 논문보다 README에 더 implementation-facing하게 적혀 있다. 따라서 블로그에서 paper claim과 repo claim을 분리해서 읽는 편이 안전하다.

5. Evaluation

5-1. Main results

논문 abstract 기준으로 KVarN은 MATH500, AIME24, HumanEval 같은 generative benchmark에서 2-bit precision KV-cache quantization의 새로운 SOTA를 보고한다. 또한 공개 README는 serving 관점의 추가 claim을 제시한다.

Source	Claim
arXiv abstract	MATH500, AIME24, HumanEval에서 2-bit precision regime의 SOTA claim
GitHub README	agentic and long-context workload에서 3-5x more KV-cache capacity
GitHub README	FP16 대비 up to about 1.3x throughput claim
GitHub README	TurboQuant 대비 up to about 2.4x throughput claim
GitHub README	Qwen3-32B AIME25 16K burst TP=2에서 FP16 accuracy와 throughput 이상, about 4x capacity claim
GitHub README	GLM-4.7-Flash MLA example에서 313K to 865K capacity, AIME25 53.3% parity

여기서 주의할 점은 논문 benchmark claim과 repo README의 serving claim이 완전히 같은 평가 setting이 아닐 수 있다는 점이다. 블로그 최종본에서는 원문 table과 repo table을 따로 확인하는 편이 좋다.

5-2. What really matters in the experiments

KVarN에서 진짜 중요한 평가는 세 가지다.

첫째, perplexity가 아니라 generation accuracy 다.

KV cache quantization이 perplexity를 조금만 올려도 괜찮아 보일 수 있다. 하지만 reasoning benchmark에서는 answer가 맞느냐가 중요하다. MATH500, AIME24, HumanEval을 보는 이유가 여기에 있다.

둘째, prefill reconstruction이 아니라 decode trajectory stability 다.

KVarN의 문제의식은 decode 과정에서 error가 누적된다는 것이다. 따라서 단일 step reconstruction error만으로는 논문의 핵심을 검증하기 어렵다. 긴 generation에서 answer distribution이 얼마나 유지되는지가 중요하다.

셋째, capacity와 throughput을 함께 봐야 한다 는 점이다.

KV cache quantization은 memory를 줄일 수 있지만, dequantization overhead 때문에 throughput이 떨어질 수 있다. GitHub README가 FP16-level accuracy와 FP16-or-better throughput을 동시에 강조하는 이유도 이 때문이다. 단순히 context capacity만 키우는 것이 아니라, serving throughput까지 맞춰야 실제로 켤 수 있는 기능이 된다.

평가 해석의 핵심

KVarN은 compression ratio paper라기보다, low-bit KV cache를 production serving에서 켤 수 있게 만드는 stability paper에 가깝다.

6. Limitations

1. Exact benchmark score는 원문 table 기준으로 재확인해야 한다.
   • arXiv abstract는 MATH500, AIME24, HumanEval SOTA claim을 말하지만, model별 score와 baseline condition은 table 기준으로 확인해야 한다.
2. Hardware와 vLLM backend 의존성이 있다.
   • 공개 구현은 vLLM fork와 Triton kernel path를 전제로 한다.
   • 다른 serving stack에서는 같은 throughput과 capacity trade-off가 바로 재현되지 않을 수 있다.
3. Quantization preset이 항상 최적인지는 별도 검증이 필요하다.
   • kvarn_k4v2_g128은 공개 release의 strict accuracy preset이지만, task와 model에 따라 4-bit key, 2-bit value가 최적 trade-off인지 확인해야 한다.
4. Long reasoning safety나 alignment 영향은 별도 문제다.
   • Accuracy benchmark가 유지되어도, refusal, calibration, tool-use reliability 같은 behavior가 low-bit KV cache에서 어떻게 변하는지는 따로 봐야 한다.
5. MLA와 hybrid support는 repo claim으로 읽어야 한다.
   • MLA, Mamba hybrid, speculative decoding compatibility는 공개 README에 잘 설명되어 있지만, 논문 본문의 모든 실험 claim과 동일한 범위인지 확인이 필요하다.

7. My Take

7-1. Why this matters for my work

Long-context와 reasoning model을 볼 때, 이제는 context length만 보는 것이 부족하다. 실제 병목은 다음 세 가지가 동시에 얽힌다.

• prefill cost
• decode-time KV memory
• long generation stability

KVarN은 이 중 decode-time KV memory와 generation stability를 직접 묶는다. 특히 test-time scaling으로 output token이 길어지는 reasoning model에서는 input context가 길지 않아도 KV cache가 계속 커진다. 따라서 KVarN 같은 방법은 long-context RAG뿐 아니라 long reasoning serving에서도 중요하다.

KVarN의 가장 좋은 framing은 “reasoning model을 위한 KV quantization”이다. 일반적인 compression paper와 달리, 이 논문은 생성 trajectory가 길어질 때 오차가 어떻게 축적되는지에 집중한다.

7-2. Reuse potential

KVarN의 아이디어는 여러 방향으로 재사용 가능해 보인다.

1. Long reasoning serving
   • AIME, MATH, code generation처럼 output length가 긴 task에서 KV memory를 줄이는 데 바로 연결된다.
2. Agentic workload
   • multi-turn tool call, search agent, coding agent는 context와 output이 모두 길다.
   • KV cache capacity가 늘면 같은 GPU에서 더 긴 trajectory나 더 많은 concurrent session을 감당할 수 있다.
3. Hybrid architecture serving
   • Mamba나 linear-attention layer가 섞인 모델에서도 full-attention layer의 KV cache만 압축하는 방식은 practical하다.
4. Quantization-aware benchmark design
   • 앞으로 KV quantization benchmark는 prefill reconstruction, perplexity, answer accuracy, throughput, safety behavior를 함께 봐야 한다.

7-3. Follow-up papers

• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
• QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs
• TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate
• KVLinC: KV Cache Quantization with Hadamard Rotation and Linear Correction
• Alignment Collapse Under KV Cache Quantization

이 후속 문헌들은 KVarN을 더 잘 이해하는 데 도움이 된다. 특히 KIVI와 QuaRot은 low-bit KV 또는 activation/weight quantization의 기본 비교축으로 보고, TurboQuant와 KVLinC는 rotation과 vector quantization 계열의 비교 대상으로 보면 좋다. Alignment Collapse 계열은 accuracy 유지와 behavior preservation이 별개라는 점을 확인하는 데 유용하다.

8. Summary

• KVarN은 long reasoning decode에서 KV-cache quantization error가 누적된다는 문제를 겨냥한다.
• 핵심 원인을 token scale mismatch로 보고, Hadamard rotation과 dual-axis variance normalization을 결합한다.
• 공개 preset은 kvarn_k4v2_g128이며, key 4-bit, value 2-bit 설정을 사용한다.
• 논문은 MATH500, AIME24, HumanEval에서 2-bit precision regime의 SOTA claim을 제시한다.
• 실제 재사용 관점에서는 vLLM backend, tile size, throughput, MLA/hybrid/speculative decoding compatibility를 함께 봐야 한다.