Gemma 4 Technical Report Review

0. Introduction

Paper link

한 줄 요약: Gemma 4는 2.3B effective model부터 31B dense model까지의 open-weight family를 하나의 architecture로 단순 반복한 것이 아니라, model size별로 embedding, attention, multimodal frontend, quantization, MTP drafter를 다르게 배치해 deployment target에 맞춘 system family로 설계한 기술 보고서다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• E2B, E4B, 12B, 26B-A4B, 31B가 서로 다른 parameter activation과 modality path를 가진다.
• Long-context KV cache, quantized weight, image and audio encoder까지 inference memory를 model design 단계에서 함께 다룬다.
• 12B는 별도 vision and audio encoder를 제거하고 raw patch와 raw audio chunk를 LLM embedding space로 직접 projection한다.
• 모든 model에 autoregressive MTP drafter를 제공해 speculative decoding을 checkpoint package의 일부로 다룬다.
• Benchmark score뿐 아니라 mobile, local, server deployment에서 어떤 variant를 선택할지 판단할 자료가 많다.

Gemma 4 Technical Report를 단순히 새로운 Gemma generation의 benchmark report로 읽으면 핵심을 놓치기 쉽다. 이 보고서의 더 중요한 메시지는 model family를 deployment stack과 함께 설계했다는 점이다.

작은 model은 per-layer embedding과 aggressive mobile quantization을 사용한다. 12B는 multimodal encoder 자체를 제거하는 실험을 한다. 26B-A4B는 total parameter와 active parameter를 분리한 MoE다. 31B는 dense quality target이다. 여기에 local-global attention, partial RoPE, KV cache sharing, quantized encoder, MTP drafter가 variant별로 조합된다.

즉 Gemma 4를 평가할 때는 Gemma 4가 얼마나 강한가보다 다음 질문이 더 중요하다.

어떤 Gemma 4 variant가 어떤 memory, modality, context, latency 조건을 위해 설계되었는가?

1. Problem Setting

1-1. Problem definition

Open-weight model을 실제로 배포하려면 quality 하나만 높아서는 부족하다. 최소한 다음 축을 함께 만족해야 한다.

Axis	Deployment question
Model quality	Reasoning, coding, instruction following이 충분한가
Active compute	Token마다 실제로 계산되는 parameter가 얼마인가
Weight memory	Target device에 checkpoint가 올라가는가
KV cache	Long context에서 cache가 memory를 압도하지 않는가
Modality	Text, image, audio를 어떤 frontend로 처리하는가
Decode speed	Autoregressive generation을 얼마나 가속할 수 있는가
Tool use	Function calling과 agent task를 안정적으로 처리하는가
Safety	Open-weight release에 필요한 evaluation과 guidance가 있는가

기존 model family는 종종 같은 architecture를 size만 바꿔 제공한다. 이 방식은 비교는 쉽지만, 작은 model과 큰 model의 deployment 병목이 다르다는 점을 충분히 반영하지 못한다.

예를 들어 mobile model에서는 weight memory와 encoder footprint가 중요하다. Server model에서는 active compute, expert routing, KV cache, batching이 더 중요할 수 있다. Multimodal model에서는 input resolution이 곧 token 수와 latency로 이어진다. Long-context model에서는 parameter memory보다 KV cache가 먼저 병목이 될 수 있다.

Gemma 4는 하나의 universal architecture를 모든 size에 강제하지 않는다. 대신 family 안에서 다음과 같은 서로 다른 선택을 한다.

• E2B and E4B: per-layer embeddings, compact image and audio encoders, mobile quantization
• 12B: encoder-free multimodal input path
• 26B-A4B: sparse MoE로 active compute 절감
• 31B: dense high-quality model

1-2. Why previous approaches are insufficient

1) Parameter count만으로 deployment cost를 설명하기 어렵다

E2B와 E4B는 각각 effective 2.3B와 4.5B지만 total parameter는 약 5B와 8B다. Per-layer embedding이 모든 layer에서 동시에 active하지 않기 때문에 effective count와 stored weight count가 다르다.

26B-A4B도 total 26B와 activated 3.8B를 구분해야 한다. Disk footprint, network transfer, expert storage에는 total parameter가 중요하고, token compute에는 active parameter가 더 중요하다.

따라서 model name의 숫자 하나만 보고 memory와 latency를 예측하면 안 된다.

2) Multimodal encoder는 quality뿐 아니라 footprint 병목이다

Vision and audio encoder는 backbone 밖의 추가 memory, latency, compilation cost를 만든다. Small on-device model에서는 encoder가 전체 package의 큰 비중을 차지할 수 있다.

Gemma 4는 small model의 encoder를 줄이고, 12B에서는 아예 제거한다. 이는 multimodal capability를 추가하는 것과 deployment path를 단순화하는 것이 서로 다른 문제가 아님을 보여준다.

3) Long context는 context window 숫자만으로 충분하지 않다

지원 context length가 길어도 KV cache가 너무 크면 실제 serving에서는 사용할 수 없다. 또한 synthetic retrieval benchmark와 full-document reasoning은 같은 능력이 아니다.

Gemma 4는 local-global attention ratio, keys-as-values, partial RoPE, KV sharing을 통해 cache cost를 직접 줄인다. Long-context capability를 architecture와 memory system의 문제로 본다.

4) Quantization은 release 이후의 별도 작업이 아니다

Community가 checkpoint를 임의 quantize하는 방식은 접근성이 높지만, model and encoder activation range나 target hardware를 training 단계에서 반영하지 못한다. Gemma 4는 QAT와 공식 quantized format을 release package에 포함한다.

5) Speculative decoding은 serving layer에서만 붙이기 어렵다

Draft model을 별도로 고르고 학습하면 main model과 tokenizer, KV, quality를 맞추는 추가 작업이 필요하다. Gemma 4는 model별 MTP drafter를 함께 학습해 이 문제를 model package 안으로 가져온다.

2. Core Idea

2-1. Main contribution

Gemma 4의 핵심 기여는 크게 다섯 가지로 볼 수 있다.

1. Deployment-oriented model family
   • Dense small, dense medium, sparse server, dense large variant를 한 family에 둔다.
   • Parameter count가 아니라 target memory and compute regime에 맞춰 architecture를 다르게 설계한다.
2. Long-context memory optimization
   • Local and global attention을 섞는다.
   • 일부 global layer에서 keys를 values로 재사용한다.
   • Partial RoPE와 KV cache sharing으로 global cache를 줄인다.
3. Variant-specific multimodal frontend
   • E2B and E4B는 compact vision and audio encoder를 쓴다.
   • 26B-A4B and 31B는 larger vision encoder를 쓴다.
   • 12B는 dedicated encoder를 없애고 raw signal을 직접 projection한다.
4. Quantization-aware release
   • Mobile mixed int2 and int4 weight와 int8 activation quantization을 제공한다.
   • Local inference를 위한 Q4_0 checkpoint도 제공한다.
   • Vision and audio encoder까지 quantization target에 포함한다.
5. Integrated MTP drafter
   • Main model activation과 KV cache를 재사용하는 4-layer autoregressive drafter를 함께 학습한다.
   • Drafter prefill을 제거하고 variable draft length를 지원한다.

2-2. Design intuition

Gemma 4의 설계는 모든 model에 모든 component를 같은 방식으로 넣지 않는다는 원칙으로 이해할 수 있다.

Small model에서는 model body만 줄여도 frontend와 embedding이 상대적으로 커진다. 따라서 E2B and E4B는 per-layer embedding, 150M vision encoder, 305M audio encoder, mobile quantization을 결합한다.

12B는 다른 방향으로 간다. 별도 vision and audio encoder를 제거하고, LLM이 가벼운 projection 뒤의 raw signal representation을 직접 처리하게 한다. 이는 model simplicity를 얻는 대신 perception burden을 backbone에 넘기는 선택이다.

Large server model에서는 sparse activation과 dense quality를 나눈다. 26B-A4B는 26B total weight 중 3.8B 정도만 token마다 activate하고, 31B는 dense path를 유지한다.

이 구조를 deployment 관점에서 요약하면 다음과 같다.

Variant	Primary design target	Key choice
E2B	Mobile and edge	Effective 2.3B, compact encoders, aggressive quantization
E4B	Stronger edge and local	Effective 4.5B, compact encoders, better quality margin
12B	Unified multimodal stack	Encoder-free image and audio input path
26B-A4B	Efficient server inference	26B total, 3.8B active MoE
31B	Dense quality target	31B dense model with larger vision encoder

3. Architecture / Method

3-1. Overview

Item	Description
Backbone	Decoder-only Transformer
Normalization	Pre-norm and post-norm RMSNorm, QKNorm
Attention	Local-global mixed attention
Position	Global partial RoPE, local RoPE
Small models	Per-layer embeddings
Sparse model	26B-A4B MoE with 3.8B active parameters
Vision	150M or 550M ViT, or encoder-free 12B path
Audio	305M USM-based encoder, or encoder-free 12B path
Quantization	Mobile mixed low-bit and Q4_0
Decode acceleration	4-layer autoregressive MTP drafter

3-2. Module breakdown

1) Dense, effective, and sparse parameter layouts

Table 1의 parameter 구성은 model name을 해석하는 데 중요하다.

Model	Effective or active scale	Total-scale note	Modality frontend
E2B	2.3B effective	약 5B total	305M audio, 150M vision
E4B	4.5B effective	약 8B total	305M audio, 150M vision
12B	12B dense	Encoder-free	Lightweight projection
26B-A4B	3.8B active	26B total MoE	550M vision, no audio encoder listed
31B	31B dense	31B model body	550M vision, no audio encoder listed

E2B and E4B의 per-layer embedding은 storage에는 포함되지만 token마다 모든 embedding parameter가 함께 활성화되지는 않는다. 그래서 effective parameter라는 이름을 쓴다.

26B-A4B는 active expert weight와 stored expert weight가 다르다. 이 model을 4B급 model로만 부르면 disk and memory burden을 과소평가하고, 26B dense model로만 부르면 token compute를 과대평가할 수 있다.

2) Local-global attention and KV cache reduction

E2B는 local to global attention layer 비율을 4:1로 사용하고, 나머지는 5:1을 사용한다. 대부분의 layer는 local context를 처리하고 주기적으로 global layer가 전체 context를 연결한다.

Global attention layer에는 $p = 0.25$인 p-RoPE를 적용하고, local attention에는 일반 RoPE를 쓴다. RoPE frequency는 global 1M, local 10k로 설정한다.

E2B and E4B를 제외한 model에서는 global attention layer의 value를 별도로 저장하지 않고 key를 value로 재사용한다. 또한 E2B and E4B에는 KV cache sharing ratio 20/35와 18/42가 적용된다.

보고서는 이 조합이 global KV cache를 최대 37.5% 줄인다고 설명한다. 핵심은 context window를 늘리는 것뿐 아니라, global layer 하나가 만드는 cache footprint를 줄이는 것이다.

3) Vision path

E2B and E4B에는 150M ViT가 들어가고, 26B-A4B and 31B에는 550M ViT가 들어간다. Vision encoder는 다음 성질을 가진다.

• Patch size 16
• Variable aspect ratio
• Non-causal attention
• Axial 2D-RoPE
• 2D absolute positional embedding
• Maximum visual token budget 70, 140, 280, 560, 1120 중 선택

Visual token budget은 단순한 image resolution option이 아니다. Token 수가 늘면 perception detail은 좋아질 수 있지만 LLM prefill, memory, latency도 증가한다.

4) Audio path

E2B and E4B는 305M USM-based audio encoder를 사용한다.

• Audio를 40ms chunk로 나눈다.
• Mel filterbank input을 사용한다.
• 2개의 downsampling convolution layer 뒤에 12개의 Conformer layer를 둔다.
• Vector quantization 없이 continuous representation을 LLM에 전달한다.
• Pretraining 동안 audio encoder weight는 frozen한다.

Gemma 3n의 680M audio encoder와 비교해 parameter를 55% 줄였다.

5) Encoder-free 12B

12B는 family 안에서도 가장 실험적인 architecture다.

Vision input은 48 x 48 x 3 RGB patch로 나눈 뒤, 550M vision encoder 대신 35M parameter의 large matrix multiplication으로 LLM embedding space에 projection한다. 2D coordinate positional embedding과 final LayerNorm으로 spatial information을 제공한다.

Audio는 16kHz waveform을 40ms chunk로 나눈다. 각 chunk는 640-dimensional raw vector가 되고, 이를 LLM embedding space로 직접 projection한다. Temporal sequence 자체가 순서를 제공하므로 별도 positional encoding을 추가하지 않는다.

이 구조의 장점은 frontend가 단순하고 encoder deployment가 필요 없다는 것이다. 반면 high-level perception feature를 만들어 주는 별도 encoder가 없으므로 더 많은 burden이 LLM body로 이동한다.

6) Quantization-aware model package

Gemma 4는 두 quantization family를 제공한다.

1. Mobile quantization
   • Per-channel mixed int2 and int4 weights
   • Int8 activations
   • Edge hardware와 mobile runtime을 목표로 한다.
2. Q4_0
   • Blockwise low-bit weight quantization
   • llama.cpp 같은 local inference engine과의 활용을 염두에 둔다.

32k text context에서 보고된 weight and KV memory는 다음과 같다.

Model	bf16 weights, GB	Quantized weights, GB	Int8 KV cache, GB
E2B	4.6	0.8	0.05
E4B	9.0	2.3	0.14
12B	24.0	7.65	0.28
26B-A4B	52.0 total, 7.6 active	16.2 total, 2.8 active	0.28
31B	64.0	19.2	1.10

이 표는 checkpoint storage와 active compute를 분리해 읽어야 한다. 특히 26B-A4B의 2.8GB active weight 숫자만 보고 전체 16.2GB checkpoint requirement를 놓치면 안 된다.

Vision encoder에는 W8A8을 적용한다. 보고서는 newer hardware에서 Gemma 3n 대비 forward-pass memory가 400MB에서 200MB로 줄고 on-device latency가 44% 감소했다고 설명한다.

Audio encoder는 2, 4, 8-bit weight와 int8 activation을 사용하며, on-disk footprint가 390MB에서 87MB로 줄어 78% 감소한다.

7) Autoregressive MTP drafter

각 Gemma 4 model에는 speculative decoding을 위한 MTP drafter가 함께 학습된다.

Drafter input은 다음 두 요소다.

• Main model의 previous-step last-layer activation
• Current token embedding

Drafter는 별도 embedder와 4-layer Transformer를 사용하고, main model의 KV cache에 cross-attention한다. 3개의 local layer와 1개의 global layer로 구성된다.

이 구조의 장점은 drafter가 main model prompt를 다시 prefill하지 않는다는 것이다. Main KV를 재사용하므로 draft length를 유연하게 가져갈 수 있다.

E2B and E4B는 final vocabulary projection cost를 줄이기 위해 token cluster를 사용한다. 전체 262k vocabulary에 바로 projection하는 대신 candidate 4,096 tokens로 좁힌다. 보고서는 acceptance rate를 비슷하게 유지한다고 설명하지만, end-to-end tokens per second와 acceptance curve는 제시하지 않는다.

4. Training / Data / Recipe

4-1. Data

Pretraining data는 다음 modality와 domain을 포함한다.

• Web documents
• Code
• Images
• Audio for E2B, E4B, and 12B

Data cutoff는 January 2025다. Benchmark decontamination, unsafe utterance 감소, recitation 위험 감소를 위한 filtering을 수행한다.

Tokenizer는 Gemini 계열과 같은 262k SentencePiece vocabulary를 사용한다.

• Digit splitting
• Whitespace preservation
• Byte-level fallback

보고서에는 total pretraining token 수, modality별 비율, language distribution, data mixture schedule이 제시되지 않는다. 따라서 model 성능을 architecture contribution과 data scaling contribution으로 분리하기 어렵다.

4-2. Pre-training strategy

Training은 TPU v4 and v6e에서 수행한다. Variant별 chip 수는 4,096부터 12,288까지다.

• Optimizer state는 ZeRO-3 방식으로 shard한다.
• Multi-pod data replica reduction에는 Pathways를 사용한다.
• JAX, GSPMD, MegaScale XLA를 사용한다.
• Large model에는 slice-granularity elasticity를 적용한다.

Elasticity는 localized TPU failure가 발생했을 때 전체 job을 멈추는 대신 일부 slice를 줄여 training을 계속하게 한다. 보고서는 interruption recovery delay를 many minutes에서 a few seconds로 줄였다고 설명한다.

이 부분은 benchmark와 별개로 대규모 pretraining 운영에서 중요한 contribution이다. Model architecture가 좋아도 distributed job의 failure recovery가 느리면 전체 utilization이 크게 떨어진다.

4-3. Instruction tuning

Pretrained model은 Gemma 3와 유사한 post-training approach로 instruction-tuned model이 된다. Gemma 4에서 눈에 띄는 변화는 thinking mode다.

Post-training data에서는 다음 example을 filter하거나 보강한다.

• Certain personal information
• Unsafe or toxic output
• Wrong self-identification
• Duplicate examples
• Better in-context attribution
• Hedging
• Refusal behavior

Formatting에도 차이가 있다.

• PT model은 generation 끝에 <eos>를 출력한다.
• IT model은 <turn|>를 출력한다.
• Thinking mode와 function calling은 별도 control formatting을 사용한다.

다만 exact post-training dataset size, SFT and preference optimization recipe, loss, sampling budget, thinking trace generation method는 보고서에 자세히 공개되지 않는다.

4-4. Engineering notes

1) Variant name과 actual package를 함께 기록해야 한다

E4B만 기록하면 total weight, quantization format, visual token budget, thinking mode가 빠진다. Production evaluation record에는 최소한 다음을 함께 남겨야 한다.

model: Gemma 4 E4B IT
weight: official mobile quantization
context: 32k
vision_tokens: 280
thinking: off
runtime: target engine and version

2) Visual token budget은 accuracy-latency knob다

Document OCR, chart, infographic task는 280에서 1120으로 올렸을 때 이득이 클 수 있다. 일반 scene understanding에서는 같은 비용 증가가 필요하지 않을 수 있다. Resolution을 model 고정값이 아니라 workload별 parameter로 봐야 한다.

3) Thinking benchmark와 non-thinking benchmark를 분리해야 한다

Table 5 and Table 6의 Gemma 4는 thinking mode를 사용하고, Gemma 3 27B comparison은 non-thinking이다. Model generation 자체의 개선과 extra reasoning token budget의 효과가 섞인다.

4) MTP는 runtime support가 있어야 의미가 있다

Checkpoint에 drafter가 포함되어도 serving engine이 main KV cross-attention과 token clustering을 지원하지 않으면 reported design을 그대로 활용할 수 없다.

5) 12B encoder-free path는 application-specific test가 필요하다

Encoder-free는 architecture simplicity를 주지만, small text, OCR, dense document, low-resource audio처럼 frontend quality가 중요한 task에서 별도 encoder보다 항상 유리하다고 볼 수 없다.

5. Evaluation

5-1. Main results

Text reasoning and coding

Table 5의 주요 결과 중 일부는 다음과 같다. Gemma 4는 thinking mode, Gemma 3 27B는 non-thinking이라는 조건 차이를 기억해야 한다.

Benchmark	31B	26B-A4B	12B	E4B	E2B	Gemma 3 27B
MMLU Pro	85.2	82.6	77.2	69.4	60.0	67.6
AIME 2026	89.2	88.3	77.5	42.5	37.5	20.8
LiveCodeBench v6	80.0	77.1	72.0	52.0	44.0	29.1
GPQA Diamond	84.3	82.3	78.8	58.6	43.4	42.4
IFEval	98.9	98.5	97.2	96.7	94.6	90.4
MRCR v2 128k	66.4	44.1	43.4	25.4	19.1	13.5

보고서는 E2B가 10배 적은 effective parameter로 Gemma 3 27B와 roughly match한다고 해석한다. 하지만 benchmark별로 보면 MMLU Pro는 낮고, reasoning, coding, instruction following 일부에서는 높다. Roughly match는 모든 task에서 같은 성능이라는 뜻이 아니라 aggregate capability profile에 대한 주장이다.

Human preference

June 19, 2026 Arena snapshot에서 다음 Elo를 보고한다.

• Gemma 4 31B: 1451
• Gemma 4 26B-A4B: 1438

보고서는 31B를 당시 open dense category의 leading model로 설명한다. Arena는 model version, prompt distribution, sampling, voting population에 따라 변하는 snapshot이므로 발행 이후 ranking으로 일반화하면 안 된다.

Vision

Maximum 1120 visual tokens와 thinking mode에서 일부 결과는 다음과 같다.

Benchmark	E4B	Gemma 3 27B
MMMU Pro	52.6	49.7
MATH-Vision	59.5	46.0
InfographicVQA	70.0	70.6
OmniDocBench 1.5, lower is better	0.181	0.365

E4B가 훨씬 작은 effective scale에서도 document and mathematical vision task에서 경쟁력 있는 결과를 보인다. 다만 280 visual token 결과는 일부 task에서 크게 낮아진다. 특히 dense document와 infographic에서는 resolution budget이 중요한 confounder다.

Audio

E2B and E4B의 305M audio encoder는 Gemma 3n의 680M encoder보다 작고 quantized footprint도 크게 줄었다. 보고서는 corresponding size와 비교해 다음 relative improvement를 제시한다.

• Translation: E2B 12%, E4B 10%
• Transcription: E2B 17%, E4B 12%

이 수치는 여러 language 평균의 relative improvement다. Language별 score와 task distribution을 함께 봐야 한다.

Long context

Thinking을 끈 Table 9의 128k 결과는 architecture comparison에 더 적합하다.

Benchmark	31B	26B-A4B	12B	E4B	E2B	Gemma 3 27B
RULER 128k	96.4	89.8	91.2	86.6	70.4	66.0
LOFT Retrieval 128k	79.5	66.3	66.4	58.5	50.5	8.6

MTOB에서는 31B, 26B-A4B, 12B에 대해 약 256k full-book translation 결과도 보고한다. 다만 retrieval benchmark와 full-document semantic use는 동일하지 않으므로 실제 long-document application에서 별도 평가가 필요하다.

5-2. What really matters in the experiments

1) Family comparison은 model size만 맞추면 안 된다

E2B and E4B는 effective parameter와 total parameter가 다르고, 26B-A4B는 sparse activation을 사용한다. 비교 시 다음을 분리해야 한다.

• Quality per active FLOP
• Quality per stored GB
• Quality per peak memory
• Quality per output token latency

하나의 parameter efficiency 숫자로는 이 family를 설명하기 어렵다.

2) Thinking mode가 성능 표의 큰 변수다

Gemma 4 text and vision benchmark는 대부분 thinking mode를 사용한다. Gemma 3 27B는 non-thinking이다. 따라서 같은 token budget에서 architecture가 얼마나 개선되었는지는 별도 ablation이 필요하다.

보고서는 thinking on and off의 latency, output length, cost, accuracy curve를 충분히 제시하지 않는다.

3) Vision resolution은 model scale만큼 중요한 변수다

1120 visual token에서 좋은 result가 280에서도 유지된다고 가정하면 안 된다. Table 12의 low-resolution result와 비교하면 OCR and infographic task에서 detail loss가 커질 수 있다.

4) Encoder-free 12B의 causal contribution은 분리되지 않는다

12B가 강한 multimodal performance를 보이더라도, same-size, same-data, same-recipe의 encoder-based 12B baseline이 없다. 따라서 encoder-free design이 quality를 높였는지, 단순화를 위해 어느 정도 손해를 감수했는지 분리하기 어렵다.

5) MTP는 architecture 설명은 있지만 serving result가 부족하다

Drafter parameter와 structure는 공개되지만 acceptance rate, draft length별 speedup, batch size별 throughput, latency percentile은 제시되지 않는다. 실제 deployment value를 판단하려면 runtime benchmark가 필요하다.

6. Limitations

1. Pretraining data scale과 mixture가 공개되지 않았다
   • Total tokens, language ratio, code ratio, image and audio mixture가 없다.
   • Architecture gain과 data gain을 분리하기 어렵다.
2. Post-training recipe가 충분히 구체적이지 않다
   • Thinking mode를 만드는 exact process, dataset size, preference optimization method가 자세히 공개되지 않는다.
   • 결과 재현보다 model usage report에 가까운 수준이다.
3. Variant별 modality support가 동일하지 않다
   • E2B, E4B, 12B는 audio path를 설명하지만 26B-A4B and 31B에는 audio encoder가 표에 없다.
   • Gemma 4 is multimodal이라는 family-level 문장을 variant capability로 오해하면 안 된다.
4. Effective parameter와 total parameter가 혼동될 수 있다
   • E2B and E4B는 이름보다 많은 weight를 저장한다.
   • 26B-A4B는 active compute가 작아도 full expert weight를 메모리에 올려야 한다.
5. Benchmark 조건이 완전히 일치하지 않는다
   • Gemma 4는 thinking, Gemma 3는 non-thinking인 표가 많다.
   • Arena는 특정 날짜의 snapshot이다.
   • Vision은 resolution과 Pan and Scan setting이 다르다.
6. MTP의 end-to-end performance가 부족하다
   • Drafter 구조만으로 실제 serving speedup을 판단하기 어렵다.
   • Runtime integration support도 확인해야 한다.
7. Encoder-free 12B의 장단점이 controlled ablation으로 분리되지 않았다
   • Same backbone with dedicated encoder baseline이 필요하다.
   • Perception-heavy task에서 frontend removal의 영향을 더 봐야 한다.
8. Long-context benchmark가 실제 memory use를 모두 설명하지 않는다
   • RULER and LOFT는 유용하지만 multi-document synthesis, instruction retention, exact citation, long agent trajectory와는 다르다.
   • KV memory가 줄어도 prefill latency와 attention compute는 남는다.
9. Quantized result의 quality retention 표가 제한적이다
   • Memory and latency 이점은 자세하지만 full benchmark에서 bf16 대비 quality delta를 더 폭넓게 보고할 필요가 있다.
10. Thinking trace 사용에는 product-level 주의가 필요하다
    • Visible reasoning trace는 latency와 token cost를 늘린다.
    • Sensitive information이나 intermediate speculation이 노출될 수 있다.
    • Application에 따라 hidden scratchpad 없이 concise answer mode를 우선해야 할 수 있다.

7. My Take

7-1. Why this matters for my work

Gemma 4의 핵심 contribution이 단일 architecture novelty보다 release artifact co-design에 있다.

많은 open model report는 pretraining과 benchmark를 중심으로 하고, quantization, context cache, visual resolution, speculative decoding은 community implementation에 맡긴다. Gemma 4는 이 component를 model family 정의에 포함한다.

실무에서는 model 선택이 다음과 같은 matrix가 된다.

Workload	우선 검토할 variant	이유
Mobile text and audio	E2B	가장 작은 effective scale과 compact encoder
Edge multimodal quality	E4B	E2B보다 높은 reasoning and vision margin
Unified multimodal server	12B	Dedicated encoder 없는 단순 deployment path
Efficient high-quality server	26B-A4B	3.8B active MoE compute
Dense quality baseline	31B	Routing 없는 dense high-capacity path

Document AI 관점에서는 E4B와 12B의 차이가 특히 흥미롭다. E4B는 compact ViT가 visual representation을 먼저 정리한다. 12B는 raw patch에 가까운 input을 LLM이 직접 해석한다. OCR, chart, table, document layout에서 어느 path가 data efficiency와 robustness에 더 유리한지는 별도 비교 가치가 있다.

7-2. Reuse potential

1) Deployment matrix 기반 model selection

한 model의 평균 score로 결정하지 말고 다음 configuration을 고정해 비교해야 한다.

• Exact variant
• Quantization format
• Context length
• Visual token budget
• Thinking on or off
• MTP enabled or disabled
• Batch size
• Target runtime

2) Multimodal resolution routing

모든 image를 1120 visual tokens로 처리하지 않고, document density나 OCR difficulty를 먼저 추정해 280, 560, 1120 중 선택할 수 있다. Accuracy and latency trade-off를 request routing 문제로 바꿀 수 있다.

3) Encoder-free versus encoder-based ablation

같은 data와 backbone scale에서 dedicated encoder와 direct projection을 비교하면, perception frontend가 실제로 필요한 task를 더 명확히 알 수 있다.

4) Official drafter를 포함한 serving benchmark

Main model만 비교하지 말고 MTP를 켠 end-to-end p50, p95 latency와 accepted draft length를 측정해야 한다. Gemma 4는 이런 evaluation을 시작하기 좋은 package다.

5) Weight memory와 active memory를 분리한 capacity planning

MoE는 active parameter가 작아도 expert storage가 필요하다. Deployment sheet에 total weights, active weights, KV, encoder, temporary activation을 따로 기록하는 방식이 필요하다.

7-3. Follow-up papers

• Gemma 3 Technical Report
• Gemma 3n: Mobile-first AI
• p-RoPE: RoPE with Partial Position Information
• Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
• EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

8. Summary

• Gemma 4는 E2B, E4B, 12B, 26B-A4B, 31B를 deployment target별로 다르게 설계한 open-weight model family다.
• E2B and E4B는 per-layer embedding, compact vision and audio encoder, mobile quantization을 사용한다.
• 12B는 dedicated multimodal encoder를 제거하고 raw image patch와 audio chunk를 직접 projection한다.
• 26B-A4B는 26B total weight 중 3.8B를 activate하는 MoE이고, 31B는 dense quality path다.
• Partial RoPE, keys-as-values, KV sharing으로 long-context cache를 줄이고, official quantized checkpoint와 MTP drafter를 함께 제공한다.
• Benchmark를 해석할 때는 thinking mode, visual resolution, effective versus total parameter, dated Arena snapshot을 분리해야 한다.
• Gemma 4의 가장 큰 실무적 가치는 architecture, quantization, multimodal frontend, context, decoding을 하나의 release artifact로 묶은 점이다.