MiniCPM4: Ultra-Efficient LLMs on End Devices Review

0. Introduction

Paper link

Model link: MiniCPM4-8B

Model link: MiniCPM4.1-8B

Code link

MiniCPM4는 “작은 모델을 잘 만들었다” 정도로 읽으면 핵심을 놓치기 쉬운 technical report다. 이 논문이 겨냥하는 문제는 단순히 8B 모델의 benchmark score가 아니다. 더 정확히는 end-side device에서 long context, reasoning, tool use, survey generation까지 실제로 돌릴 수 있는 LLM stack을 어떻게 설계할 것인가에 가깝다.

MiniCPM4의 핵심은 model card에 적힌 0.5B, 8B 크기보다 훨씬 넓다. 논문은 architecture, data, training algorithm, inference system을 하나의 efficiency stack으로 묶는다. InfLLM v2로 attention 비용을 줄이고, UltraClean과 UltraChat v2로 token budget을 압축하고, ModelTunnel v2와 chunk-wise rollout으로 학습 비용을 낮추고, CPM.cu와 ArkInfer로 실제 deployment까지 이어간다.

한 줄 요약: MiniCPM4는 end-side LLM을 위해 sparse attention, high-quality data filtering, training strategy search, RL rollout balancing, ternary quantization, custom inference runtime을 한 번에 엮은 full-stack efficiency report다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• end-side LLM 을 단순 quantization 문제가 아니라 architecture, data, training, serving의 공동 설계 문제로 본다.
• InfLLM v2 가 trainable sparse attention을 long-context prefilling과 decoding 양쪽에 연결하는 방식이 실용적이다.
• 8T token 으로 Qwen3 계열과 비교 가능한 성능을 보였다는 claim이 data efficiency 관점에서 흥미롭다.
• CPM.cu와 ArkInfer 까지 포함해 논문이 실제 inference path를 꽤 구체적으로 보여준다.

이 논문은 “작은 모델도 성능이 좋다” 보다 “작은 모델이 살아남으려면 전체 stack이 같이 최적화되어야 한다” 라는 메시지가 더 강하다.

1. Problem Setting

1-1. Problem definition

이 논문이 다루는 문제는 end-side LLM의 효율성이다. 여기서 end-side는 단순히 low memory GPU 한 장을 뜻하지 않는다. mobile terminal, personal computer, Jetson 같은 edge device, local agent runtime, robotics 쪽까지 포함하는 deployment regime이다.

문제는 이런 환경에서는 cloud LLM과 다른 제약이 동시에 걸린다는 점이다.

• compute budget이 작다.
• memory bandwidth가 제한적이다.
• long context에서 dense attention 비용이 빠르게 커진다.
• model size를 줄이면 capability가 약해지기 쉽다.
• quantization만으로는 prefill, decode, tool use, long-context application까지 모두 해결하기 어렵다.

Dense attention의 단순 비용은 sequence length를 $L$로 두면 아래처럼 증가한다.

\[C_{dense} = O(L^2)\]

이 구조에서는 context가 32K, 64K, 128K로 늘어날수록 end-side device에서 prefill과 decode가 같이 무거워진다. MiniCPM4가 해결하려는 문제는 그래서 한 문장으로 정리하면 다음과 같다.

“제한된 device에서 long-context LLM을 실제 application까지 돌릴 수 있게 만들려면, 모델만 줄이는 것으로 충분한가?”

논문의 대답은 아니다. 모델 크기, sparse attention, data quality, RL recipe, quantization, runtime이 같이 움직여야 한다.

1-2. Why previous approaches are insufficient

기존 접근을 크게 나누면 아래와 같다.

Approach	Main idea	Limitation
Smaller dense model	parameter 수를 줄임	long context에서 attention cost와 KV cache cost는 여전히 큼
Post-training only	SFT/RL로 capability를 끌어올림	base model과 data efficiency가 약하면 한계가 빨리 옴
Quantization only	weight precision을 낮춤	prefill과 attention retrieval 병목을 직접 해결하지 못함
Sparse attention only	attention 계산량을 줄임	trainability, decoding consistency, runtime support가 없으면 실사용이 어려움
Serving runtime only	kernel과 engine을 최적화	model architecture가 맞지 않으면 얻는 이득이 제한됨

MiniCPM4는 이 중 하나만 밀지 않는다. 오히려 논문의 장점은 “어떤 하나의 trick” 이 아니라 여러 효율화 축을 한 pipeline 안에 배치한 데 있다.

이 접근은 최근 small LLM 논문들이 자주 놓치는 부분을 찌른다. 작은 모델에서 benchmark를 조금 올리는 것은 중요하지만, 실제 local deployment에서는 prompt length, batch, quantization format, tool call, speculative decoding, sparse kernel이 같이 맞아야 한다. MiniCPM4는 이걸 model release 단위에서 다룬다.

2. Core Idea

2-1. Main contribution

MiniCPM4의 기여는 4개 축으로 정리할 수 있다.

1. Efficient architecture
   • InfLLM v2라는 trainable sparse attention을 사용한다.
   • long-context prefilling뿐 아니라 decoding phase까지 고려한다.
   • semantic kernel 기반 block selection으로 token-level memory access를 줄인다.
2. Efficient data
   • UltraClean으로 pretraining data filtering and generation을 구성한다.
   • UltraChat v2로 SFT 데이터를 capability axis별로 만든다.
   • 논문은 8T token으로 충분한 성능을 달성했다고 주장한다.
3. Efficient training algorithm
   • ModelTunnel v2로 pretraining hyperparameter search 비용을 줄인다.
   • chunk-wise rollout으로 long CoT RL의 load imbalance를 완화한다.
   • BitCPM4로 ternary quantization-aware training을 다룬다.
4. Efficient inference system
   • CPM.cu는 sparse attention, quantization, speculative sampling을 통합한다.
   • ArkInfer는 cross-platform deployment를 위한 abstraction을 제공한다.
   • model card 기준 MiniCPM4는 dense attention mode와 sparse attention mode를 모두 지원하지만, sparse mode는 runtime support가 제한되어 있다.

이 네 축을 엮으면 MiniCPM4의 핵심 구조가 보인다. 성능은 model scaling만으로 밀지 않고, efficiency는 quantization만으로 해결하지 않는다. 각 병목을 서로 다른 stage에서 줄이는 방식이다.

2-2. Design intuition

MiniCPM4의 설계 직관은 꽤 명확하다.

첫째, long-context inference에서는 모든 token을 매번 dense하게 볼 필요가 없다. 중요한 것은 query마다 관련 있는 context block을 빠르게 고르는 것이다.

둘째, 작은 모델은 data quality에 훨씬 민감하다. token 수를 무작정 늘리는 대신, performance gain을 주는 data를 찾는 verification loop가 중요하다.

셋째, reasoning RL에서는 rollout 길이가 제각각이라 device utilization이 쉽게 깨진다. 따라서 rollout 자체를 chunk로 나누고 incomplete trajectory를 이어가는 방식이 필요하다.

넷째, edge deployment에서는 model weight precision, sparse attention kernel, speculative decoding, platform wrapper가 따로 놀면 안 된다.

MiniCPM4는 “efficient LLM” 을 하나의 objective로 보지 않는다. 오히려 아래처럼 여러 병목을 stage별로 나눈다.

\[Efficiency = f(Architecture, Data, Training, Inference)\]

이 식이 이 논문의 실제 메시지에 가깝다. MiniCPM4는 model architecture paper이면서 동시에 data paper이고, post-training paper이면서 systems paper다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	end-side device에서 competitive LLM capability와 long-context inference efficiency를 동시에 달성
Model scales	MiniCPM4-0.5B, MiniCPM4-8B, MiniCPM4.1-8B
Main architecture module	InfLLM v2 trainable sparse attention
Data modules	UltraClean, UltraChat v2
Training modules	ModelTunnel v2, chunk-wise rollout, BitCPM4, FP8, MTP
Inference modules	CPM.cu, ArkInfer, FR-Spec, P-GPTQ
Key difference	모델, 데이터, 학습, 추론을 한 report에서 end-side efficiency 기준으로 공동 최적화

3-2. Module breakdown

1) InfLLM v2

InfLLM v2는 MiniCPM4의 가장 중요한 architecture component다. 논문은 기존 sparse attention 계열의 문제를 두 가지로 본다.

• block selection이 token-level memory access에 묶이면 retrieval 자체가 병목이 된다.
• query block 단위 sparse selection은 prefilling에는 도움이 되어도 decoding에서는 training-inference mismatch를 만들 수 있다.

InfLLM v2는 key-value sequence를 block으로 나누고, 각 query token이 관련 block을 선택하게 한다. 이때 block representation을 token representative로 만들지 않고, overlapping semantic kernel의 mean pooling으로 만든다. 이렇게 하면 token-level 대표 token을 계속 읽는 비용을 줄일 수 있다.

개념적으로는 아래 흐름이다.

1. key-value cache를 block으로 나눈다.
2. key sequence에서 overlapping semantic kernel을 만든다.
3. query와 semantic kernel 사이 relevance score를 계산한다.
4. 각 key-value block에 대해 관련 semantic kernel score의 maximum을 사용한다.
5. top-k block을 선택한다.
6. query는 선택된 block 내부 token과 attention을 계산한다.

논문에 적힌 block score는 아래처럼 이해할 수 있다.

\[r_{block}(q_i, B_j) = max_{S_t \cap B_j \ne empty} r_{kernel}(q_i, S_t)\]

여기서 $S_t$는 semantic kernel이고, $B_j$는 key-value block이다. 실제 원문 표기는 더 수학적으로 세분화되어 있지만, 리뷰 관점에서는 query가 직접 모든 token을 보지 않고 block-level 후보를 고른다는 점이 핵심이다.

또 하나 중요한 디테일은 initial block과 local window block이다. InfLLM v2는 query가 항상 초기 block과 local window에 attend할 수 있도록 relevance score를 크게 둔다. short sequence에서는 dense attention으로 degrade되도록 설계되어 있어, 짧은 입력에서 sparse attention overhead가 너무 커지는 상황도 피하려 한다.

이 설계의 핵심은 sparse attention을 “long prefill trick” 이 아니라 decode까지 고려한 trainable architecture로 만든 점이다.

2) Semantic kernel and top-k cost

InfLLM v2에서 top-k selection은 그 자체가 병목이다. relevance score 계산, softmax normalization, group aggregation, top-k selection이 필요하기 때문이다. 논문은 여기서 coarse-grained semantic kernel을 써서 LogSumExp 근사를 하며 비용을 낮춘다.

중요한 것은 sparse attention의 계산식만 보는 것이 아니다. 실제 long-context inference에서는 attention computation보다 block retrieval이 더 까다로운 병목이 될 수 있다. MiniCPM4는 이 retrieval cost를 정면으로 다룬다.

이 부분은 practical sparse attention 논문을 볼 때 매우 중요하다. sparse pattern이 멋있어 보여도, retrieval이 dense attention보다 비싸지면 deployment 의미가 줄어든다. InfLLM v2는 semantic kernel, group sharing, approximate LSE를 같이 써서 이 문제를 줄인다.

3) UltraClean

UltraClean은 pretraining data filtering and generation strategy다. 논문은 고품질 data classifier를 만들기 위해 LLM training 결과로 verification하는 과정이 비싸다는 점에서 출발한다.

논문 Table 1에 따르면 1B LLM 기준 verification strategy의 GPU hours는 아래처럼 비교된다.

Strategy	GPU Hours
100B from scratch	1200
380B from scratch	4600
Efficient verification	110

즉 data filtering을 잘하려면 classifier를 검증해야 하는데, 그 검증 자체가 너무 비싸다. UltraClean은 efficient verification을 사용해 positive seed를 만들고, classifier를 반복적으로 개선하는 방향을 잡는다.

이 파트의 핵심은 “data quality” 라는 말을 추상적으로 쓰지 않는 데 있다. 좋은 데이터를 찾기 위해 실제 downstream training signal을 빠르게 근사하려는 engineering이 들어가 있다.

4) UltraChat v2

UltraChat v2는 SFT용 synthetic data pipeline이다. 기존 instruction tuning data가 surface diversity를 넓히는 데 치우쳤다면, MiniCPM4는 capability axis를 더 직접적으로 나눈다.

논문이 강조하는 track은 아래 5개다.

• knowledge application
• reasoning
• instruction following
• long-context processing
• tool use

이 구성은 MiniCPM4가 단순 chat model이 아니라 survey generation과 MCP tool use application까지 겨냥하기 때문이다. 특히 long-context data와 tool-use data가 별도 track으로 들어간 점이 중요하다.

5) ModelTunnel v2

ModelTunnel v2는 pretraining strategy search를 위한 방법이다. 큰 모델에서 learning rate, batch size, initialization을 직접 grid search하는 것은 비용이 크다. MiniCPM 계열은 small model experiment로 large model hyperparameter를 예측하는 ModelTunnel을 사용해왔고, MiniCPM4에서는 이를 ModelTunnel v2로 개선한다.

여기서 중요한 개선은 performance indicator다. 일반 LM loss만으로 downstream performance를 예측하기 어렵기 때문에, ScalingBench loss와 downstream performance의 관계를 활용한다. 즉 search target을 단순 perplexity가 아니라 downstream ability에 더 가까운 proxy로 바꾼다.

이건 practical training에서 꽤 중요한 포인트다. small-scale search가 실패하는 이유 중 하나는 proxy가 틀렸기 때문이다. MiniCPM4는 proxy 자체를 조정하려 한다.

6) Chunk-wise rollout

MiniCPM4.1의 reasoning capability는 SFT와 RL을 통해 구성된다. 그런데 long CoT RL에서는 rollout length variance가 커서 load imbalance가 생긴다. 어떤 sample은 금방 끝나고, 어떤 sample은 매우 길게 생성하면서 GPU utilization을 떨어뜨린다.

Chunk-wise rollout은 rollout을 일정 token budget 단위로 자르고, incomplete trajectory를 이후 iteration에서 이어 생성한다. 그리고 안정화를 위해 KL loss, dual-clip, chunk-level importance sampling, garble filter 같은 장치를 함께 쓴다.

이걸 단순 speed trick으로 보면 안 된다. reasoning RL에서는 response length가 곧 compute scheduling 문제다. MiniCPM4는 이 지점을 training algorithm 레벨에서 다룬다.

7) BitCPM4 and P-GPTQ

BitCPM4는 ternary LLM을 위한 quantization-aware training이다. 논문은 MiniCPM4-0.5B를 기반으로 BitCPM4-0.5B를 만들고, 내부 1B experimental model 기반 BitCPM4-1B도 비교한다. QAT 과정에는 350B tokens를 사용했다고 보고한다.

P-GPTQ는 prefix-aware post-training quantization이다. 논문은 FP16 baseline 대비 quantized model의 degradation을 줄이기 위해 prefix-aware calibration을 적용한다. Table 7 기준 S-P-GPTQ는 average 74.91로, FP16 75.58 대비 비교적 작은 하락을 보인다.

이 파트의 포인트는 quantization을 별도 appendix처럼 다루지 않는다는 점이다. end-side LLM에서는 quantization이 serving runtime과 speculative decoding까지 연결되어야 한다.

8) CPM.cu and ArkInfer

CPM.cu는 OpenBMB의 CUDA inference framework다. model card 기준 CPM.cu는 sparse attention, quantization, speculative sampling을 통합한다. MiniCPM4-8B는 Hugging Face Transformers, SGLang, vLLM에서도 사용할 수 있지만, sparse attention inference는 runtime support가 갈린다. model card는 sparse mode를 쓰려면 Hugging Face Transformers와 CPM.cu를 사용하라고 안내한다.

ArkInfer는 cross-platform deployment system이다. 논문은 executor-level abstraction, model zoo frontend, speculative decoding, constrained decoding을 다룬다. 이 파트는 연구 결과라기보다 product engineering에 가깝지만, end-side LLM에서는 이런 layer가 실제 재현성을 크게 좌우한다.

4. Training / Data / Recipe

4-1. Data

MiniCPM4의 data recipe는 크게 pretraining data와 post-training data로 나뉜다.

Pretraining 쪽에서는 UltraClean이 핵심이다. 논문은 web-scale pretraining data에서 high-quality knowledge-intensive sample을 뽑기 위해 efficient verification 기반 classifier 개선 pipeline을 사용한다.

Post-training 쪽에서는 UltraChat v2가 핵심이다. UltraChat v2는 knowledge, reasoning, instruction following, long-context, tool use라는 5개 skill axis를 중심으로 SFT data를 생성한다.

중요한 수치는 아래와 같다.

Item	Value
MiniCPM4-8B pretraining tokens	8T
MiniCPM4-0.5B pretraining tokens	1T
Stable pretraining	7T
Annealing pretraining	1T
Long-context extension training	20B
Base context during first stages	4K
Long context training	32K
YaRN extended evaluation context	128K

이 표에서 가장 중요한 것은 8T라는 총량 자체보다, 7T stable, 1T annealing, 20B long-context extension이라는 stage 분리다. MiniCPM4는 처음부터 128K로 학습하지 않고, 32K 학습 후 YaRN으로 128K까지 평가한다.

4-2. Training strategy

MiniCPM4의 training strategy는 pretraining과 post-training에서 각각 다르다.

Pretraining에서는 다음 흐름을 따른다.

1. small model로 hyperparameter search를 수행한다.
2. ModelTunnel v2로 learning rate, batch size, initialization을 결정한다.
3. 7T stable pretraining을 수행한다.
4. 1T annealing pretraining을 수행한다.
5. 20B long-context stage에서 4K to 32K context extension을 한다.
6. LongRoPE를 사용하고, 128K는 YaRN으로 확장해 평가한다.

Post-training에서는 MiniCPM4.1을 위해 hybrid SFT와 RL을 수행한다. MiniCPM4.1은 deep reasoning mode와 non-reasoning mode를 모두 쓸 수 있게 설계된다. Hugging Face card 기준 enable_thinking=True 또는 /think로 reasoning mode를 쓰고, enable_thinking=False 또는 /no_think로 non-reasoning mode를 쓸 수 있다.

수식으로만 보면 RL rollout은 긴 sequence generation 비용을 가진다.

\[Cost_{rollout} = \sum_{i=1}^{B} L_i\]

여기서 $L_i$ variance가 크면 batch 안에서 긴 sample이 전체 step을 잡아먹는다. chunk-wise rollout은 이 variance를 scheduling 문제로 보고, 긴 trajectory를 여러 chunk로 나눠 이어간다.

4-3. Engineering notes

MiniCPM4에서 실무적으로 기억할 포인트는 다음과 같다.

• Sparse mode는 runtime-dependent 하다.
  • model card 기준 vLLM과 SGLang은 dense inference mode 중심이고, sparse attention mode는 Hugging Face Transformers와 CPM.cu를 사용해야 한다.
• Short context에서는 sparse attention 이득이 제한적 이다.
  • config에는 dense_len 같은 threshold가 있어 짧은 sequence에서는 dense attention을 사용할 수 있다.
• LongRoPE factor 수정이 필요할 수 있다.
  • MiniCPM4-8B는 native 32768 context를 지원하고, 131072 token context는 validated LongRoPE factor 수정을 통해 다룬다고 model card가 안내한다.
• FR-Spec, quantization, sparse attention은 따로 볼 것이 아니다.
  • end-side deployment에서는 attention sparsity로 prefill cost를 줄이고, quantization으로 memory footprint를 낮추고, speculative decoding으로 autoregressive latency를 줄여야 한다.
• MiniCPM5-1B model card는 관련 후속 release다.
  • 큐에 같이 들어온 model card URL은 MiniCPM5-1B다. 이번 리뷰의 본문은 MiniCPM4 논문과 MiniCPM4/MiniCPM4.1 release를 중심으로 작성했다.

5. Evaluation

5-1. Main results

Standard evaluation

Table 8에서 MiniCPM4는 0.5B와 8B scale을 각각 비교한다.

Model	Params	Train tokens	Average
Qwen3	0.6B	36T	44.93
Llama3.2	1B	9T	34.76
Gemma3	1B	2T	42.28
MiniCPM4	0.5B	1T	52.99
Qwen3	8B	36T	80.55
GLM4	9B	10T	74.78
Gemma3	12B	12T	76.14
LLaMA3.1	8B	15T	61.49
Phi4	14B	10T	78.47
MiniCPM4	8B	8T	81.13

논문 관점에서 중요한 claim은 MiniCPM4-8B가 8T tokens로 Qwen3-8B의 36T token setting과 유사한 평균 성능을 보인다는 점이다. 원문은 이를 Qwen3 training data scale의 22%라고 해석한다.

다만 여기서 바로 “절대적으로 더 좋은 모델” 이라고 읽으면 안 된다. evaluation set, baseline version, decoding setting, post-training setting이 모두 중요하다. 이 표는 MiniCPM4의 data efficiency와 training recipe의 강점을 보여주는 근거로 읽는 편이 맞다.

MiniCPM4.1 reasoning evaluation

Table 9에서는 MiniCPM4.1-8B가 reasoning model로 비교된다. 주요 평균은 다음과 같다.

Model	Attention	Average
Qwen3-8B	Full	78.02
R1-Qwen3-8B	Full	79.72
GLM-Z1-9B	Full	75.27
MiMo-0530-7B	Full	75.02
Nemotron-Nano-v2-9B	Full	76.54
MiniCPM4.1-8B	Full	80.17
MiniCPM4.1-8B	Sparse	79.69

여기서 흥미로운 것은 sparse variant가 full attention 대비 크게 떨어지지 않는다는 점이다. 원문 text는 full 79.93 average와 sparse 79.14 average의 0.79 point 차이를 언급하지만, PDF table line에는 full 80.17, sparse 79.69로 보인다. 이 숫자 차이는 Verification Notes에 남긴다.

Long-context evaluation

MiniCPM4는 RULER-NIAH에서 128K context까지 평가된다. 논문은 32K context로 학습했음에도 YaRN을 통해 128K에서 needle-in-a-haystack 100% accuracy를 보였다고 보고한다. 또한 각 token이 6K context tokens만 attend하면 되며, 128K 기준 sparsity가 5%라고 설명한다.

MiniCPM4.1 RULER 32K 결과는 다음과 같다.

Model	Attention	wAvg
MiniCPM4.1	Full	88.93
MiniCPM4.1	Sparse	85.84

Sparse variant는 wAvg에서 3.09 point 낮지만, 긴 sequence task에서 compute saving과 performance retention의 trade-off를 보여준다.

Efficiency evaluation

논문은 Jetson AGX Orin과 RTX 4090에서 32K to 128K sequence를 놓고 Llama3-8B, GLM4-9B, Qwen3-8B, MiniCPM4-8B를 비교한다. Figure 1과 본문은 MiniCPM4가 long sequence에서 더 큰 speed advantage를 보이며, Jetson AGX Orin에서 Qwen3-8B 대비 약 7x decoding acceleration을 보인다고 설명한다.

결론 섹션에서는 long-sequence processing에서 5x speedup을 달성했다고 요약한다. 즉 exact setting에 따라 5x와 7x 표현이 같이 등장한다. 이 부분은 최종 리뷰 전에 어떤 hardware, sequence length, metric에서의 숫자인지 다시 맞춰보는 편이 좋다.

5-2. What really matters in the experiments

이 논문의 실험에서 진짜 봐야 하는 포인트는 3가지다.

1. 8T token data efficiency
   • MiniCPM4-8B가 Qwen3-8B와 유사한 평균 성능을 주장하는데, token budget은 훨씬 작다.
   • 이 결과는 UltraClean, ModelTunnel v2, training recipe의 결합 효과로 읽어야 한다.
2. Sparse attention quality drop
   • MiniCPM4.1에서 sparse attention이 full attention 대비 어느 정도 품질을 유지하는지가 중요하다.
   • speedup claim보다 이 quality retention이 더 중요한 engineering signal이다.
3. Runtime availability
   • sparse attention이 논문 속 algorithm으로 끝나지 않고 CPM.cu, HF sparse path, config field로 이어진다.
   • 다만 vLLM/SGLang 쪽에서는 dense mode 중심이라는 현실적인 제약이 있다.

6. Limitations

1. System complexity가 높다.
   • MiniCPM4는 architecture, data, training, inference가 모두 얽혀 있다. 따라서 성능이 어느 component에서 얼마나 나온 것인지 분리해서 재현하기 쉽지 않다.
2. Sparse inference path가 runtime에 강하게 의존한다.
   • model card 기준 sparse mode를 쓰려면 Hugging Face Transformers나 CPM.cu가 필요하다. vLLM/SGLang production stack에서 바로 같은 sparse gain을 얻는다고 보면 안 된다.
3. Evaluation claim은 baseline setting에 민감하다.
   • Table 8과 Table 9는 강한 결과를 보이지만, baseline version, instruction template, decoding parameter, evaluation harness가 달라지면 해석이 바뀔 수 있다.
4. Long context result는 NIAH 중심 해석에 주의해야 한다.
   • 128K NIAH 100%는 좋은 signal이지만, real long-context QA나 multi-hop document reasoning과 동일한 것은 아니다.
5. MiniCPM4.1 table/text 숫자 정합성 확인이 필요하다.
   • reasoning average에 대해 본문 서술과 table line이 조금 다르게 보인다. 최종 게시 전 원문 table image 기준으로 재확인이 필요하다.
6. MiniCPM5-1B와의 관계를 혼동하면 안 된다.
   • 제공된 참고 model card는 MiniCPM5-1B이고, 이번 논문은 MiniCPM4다. MiniCPM5는 후속 release 흐름으로 보되, MiniCPM4의 직접 결과로 섞으면 안 된다.

7. My Take

7-1. Why this matters for my work

MiniCPM4는 small LLM을 평가할 때 봐야 하는 기준을 잘 바꿔준다. 보통 작은 모델은 benchmark score만 보게 된다. 그런데 실제 연구나 제품에서는 아래 질문이 더 중요하다.

• 긴 문서를 넣었을 때 prefill이 버티는가?
• decode latency가 edge device에서 의미 있는가?
• quantization을 넣어도 성능이 유지되는가?
• long-context runtime이 실제로 공개되어 있는가?
• tool use나 survey generation처럼 긴 입력과 외부 상태를 쓰는 application에 연결되는가?

MiniCPM4는 이 질문을 한 report 안에서 모두 다룬다. 그래서 이 논문은 모델 성능표보다 engineering map으로 더 가치가 있다.

7-2. Reuse potential

개인적으로 재사용성이 높은 부분은 아래 5개다.

1. InfLLM v2 design pattern
   • semantic kernel 기반 block selection은 다른 long-context model에도 참고할 만하다.
2. Efficient verification for data filtering
   • data classifier를 만들 때 downstream performance verification 비용을 줄이는 방식은 LLM data pipeline 전반에 응용 가능하다.
3. Capability-axis SFT data construction
   • knowledge, reasoning, instruction following, long context, tool use를 track으로 나누는 방식은 post-training dataset design에 바로 쓸 수 있다.
4. Chunk-wise rollout
   • long CoT RL에서 load imbalance를 줄이는 scheduling idea는 reasoning RL pipeline에 꽤 실용적이다.
5. Sparse plus quantization plus speculative decoding stack
   • end-side serving에서는 이 세 가지를 각각 따로 보는 것보다 같이 보는 편이 현실적이다.

7-3. Follow-up papers

• InfLLM / InfLLM v2 계열 sparse attention paper
• Qwen3 technical report
• Rethinking On-Policy Distillation of Large Language Models
• BitNet and ternary LLM quantization papers
• DeepSeek-V3 and DeepSeek-R1 technical reports
• RULER long-context benchmark

8. Summary

• MiniCPM4는 0.5B와 8B end-side LLM을 위한 full-stack efficiency technical report다.
• 핵심은 InfLLM v2, UltraClean, UltraChat v2, ModelTunnel v2, chunk-wise rollout, BitCPM4, CPM.cu, ArkInfer의 결합이다.
• MiniCPM4-8B는 8T token으로 학습되었고, Table 8에서는 MiniCPM4-8B average 81.13을 보고한다.
• MiniCPM4.1은 hybrid reasoning model이며, full attention과 sparse attention에서 비슷한 reasoning benchmark average를 보인다.
• 가장 중요한 takeaway는 end-side LLM efficiency가 model size나 quantization 하나로 끝나지 않고, architecture, data, training, inference system의 공동 설계라는 점이다.