10 분 소요

0. Introduction

Paper link

한 줄 요약: Ring-Zero는 SFT를 거치지 않은 1T-parameter MoE base model에 zero RL을 적용하기 위해 training-inference ratio correction, mixed-precision control, staged loss normalization, self-distillation, tier-based reasoning depth를 결합하고, scale에 따른 reasoning discovery와 sharpening, CoT quality, emergent behavior를 분석한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Zero RL을 1T total parameter, 63B activated MoE까지 확장한 대규모 system study다.
  • 단일 RL recipe가 아니라 reasoning elicitation, compression, sustained optimization, adaptive compute를 단계별로 분리한다.
  • Training engine과 rollout engine의 numerical mismatch가 large-scale RL collapse로 이어지는 mechanism과 fix를 보여준다.
  • Final-answer accuracy 외에 CoT comprehensibility, reproducibility, efficiency를 별도 평가한다.
  • Pass@1과 pass@1024의 dynamics를 이용해 RL의 discovery와 sharpening이 순차적으로 나타난다는 해석을 제안한다.

Zero RL은 pretrained base model에 verifiable reward만 주어 reasoning behavior를 끌어내는 접근이다. 이론적으로는 human-authored CoT SFT 없이 model이 스스로 useful reasoning pattern을 발견할 수 있다. 하지만 scale이 커지면 단순히 GPU를 더 붙이는 것으로 해결되지 않는다.

초기 base model은 reasoning token probability가 낮고, 긴 response를 만들 능력도 약하다. 이를 강하게 밀면 entropy collapse와 training-inference log-probability mismatch가 커진다. 반대로 안정성만 우선하면 model이 short answer regime에서 벗어나지 못한다. Reasoning이 생긴 뒤에도 token-level loss를 계속 쓰면 output length가 무한히 늘어날 수 있다.

Ring-Zero는 이 trade-off를 하나의 고정 objective로 해결하지 않는다. Training phase마다 목표와 loss normalization을 바꾸는 four-stage pipeline을 사용한다.

1. Problem Setting

1-1. Problem definition

논문이 다루는 문제는 크게 네 가지다.

  1. Reasoning elicitation
    • SFT가 없는 base model에서 low-probability reasoning token을 어떻게 강화할 것인가.
  2. RL stability
    • Megatron training policy와 SGLang rollout policy가 같은 weight에서도 다른 probability를 낼 때 importance ratio를 어떻게 안정화할 것인가.
  3. CoT efficiency
    • Early exploration에 필요한 long response와 late-stage token redundancy를 어떻게 분리할 것인가.
  4. Adaptive reasoning depth
    • Simple question과 difficult problem에 같은 token budget을 쓰지 않도록 하나의 model에 multiple compute mode를 어떻게 학습할 것인가.

Scale study는 Ling-2.5의 두 base model을 비교한다.

  • Ling-2.5-1T-Base: 1T total parameters, 63B activated
  • Ling-2.5-flash-Base: 104B total parameters, 7.4B activated

두 model 모두 supervised reasoning fine-tuning 없이 pipeline을 시작한다.

1-2. Why previous approaches are insufficient

1) Standard clipping

Low-probability reasoning token은 ratio가 clipping range를 쉽게 벗어난다. Standard PPO-style clipping이 gradient를 완전히 끊으면 base model이 새로운 reasoning behavior를 만들기 어렵다.

2) Inference-only ratio

Rollout engine이 저장한 old log-probability와 recomputed inference logit만으로 ratio를 만들면, training engine의 실제 current probability가 반영되지 않는다. BF16/FP32 operation과 kernel 차이가 small mismatch를 만들고, low-probability token amplification이 이를 크게 키운다.

3) Token-level loss throughout training

Token loss를 sequence length로 normalize하지 않으면 긴 response가 더 큰 gradient를 얻는다. Early stage에는 useful exploration을 늘리지만, later stage에는 already-solved problem도 길게 푸는 length inertia와 trailing garbage를 만든다.

4) Fixed context and response mode

모든 query에 긴 CoT를 허용하면 inference cost가 낭비된다. 반대로 짧은 budget은 hard problem의 search space를 제한한다.

2. Core Idea

2-1. Main contribution

Ring-Zero의 핵심은 phase별 objective specialization이다.

Phase Goal Main design
First Stage RL Reasoning elicitation Clipped IS gradient, token-level loss, KL, window curriculum
Self-Distillation Compression and reset Short correct trace selection, self-review, SFT
Second Stage RL Stable capability sharpening Sample-level normalization, KL removal
Third Stage RL Adaptive compute allocation Low, Medium, High tier와 system prompt routing

여기에 mixed-precision control과 context-parallel optimization을 결합해 1T model의 long-context RL을 실행한다.

2-2. Design intuition

Early stage: length is exploration budget

Base model에서 reasoning token은 rare action이다. Token-level objective는 response가 길수록 더 많은 gradient contribution을 주므로, model이 short-answer basin에서 벗어나도록 돕는다.

Middle stage: distillation is compression and numerical reset

첫 RL이 만든 longest successful CoT에는 redundancy와 circular reasoning이 많다. Self-distillation은 여러 correct rollout 중 짧은 trace를 선택하고 self-evaluation으로 불필요한 segment를 줄인다. 그 결과를 base model에 SFT해 concise reasoning checkpoint를 만든다.

이 단계는 behavior compression뿐 아니라 RL 동안 누적된 training-inference gap을 새 checkpoint로 reset하는 역할도 한다.

Late stage: normalize away length incentive

Reasoning capability가 생긴 뒤에는 sample-level normalization을 사용한다.

\[\mathcal{L} = -\mathbb{E}\left[\frac{1}{|o|}\sum_{t=1}^{|o|}\operatorname{sg}(\hat{\rho}_t)\hat{A}_t\log\pi_\theta(o_t\mid q,o_{<t})\right]\]
$1/ o $가 response length와 gradient magnitude를 분리한다. Distilled checkpoint가 이미 stable anchor이므로 second RL에서는 KL penalty도 제거해 추가 exploration을 허용한다.

3. Architecture / Method

3-1. Overview

Item Description
Base model Ling-2.5-1T-Base, 63B activated MoE
Rollout engine SGLang
Training engine Megatron
RL orchestration Areal
Main reward Verifiable answer reward + strict format and termination rule
Rollout group Prompt당 16 responses
Main stability tools Ratio correction, upper-only clipping, KL, FP32 critical operation
Long-context tool Hybrid MLA and Lightning Attention context parallelism

3-2. Module breakdown

1) Clipped importance-ratio policy gradient

Current training policy probability를 numerator, old SGLang rollout probability를 denominator로 둔다.

\[\rho_{i,t} = \frac{\pi_M^\theta(o_{i,t}\mid q,o_{i,<t})}{\pi_S^{\theta_{old}}(o_{i,t}\mid q,o_{i,<t})}\]

논문은 lower clipping bound를 두지 않고 upper bound만 $\epsilon_{high}=5.0$으로 제한한다. Clipped ratio 자체에는 stop-gradient를 적용하지만 token log-probability gradient는 유지한다. Low-probability reasoning token도 learning signal을 받게 하기 위한 선택이다.

2) Training-inference ratio correction

같은 weight라도 Megatron과 SGLang이 exact logit을 다르게 계산할 수 있다. Baseline은 약 800 steps 안에 collapse하고, threshold 기반 IcePop은 약 2,700 steps까지 지연하지만 결국 실패한다. Training engine probability를 numerator로 직접 쓰는 correction은 log-probability gap을 near zero로 유지하고 entropy와 reward를 안정화한다.

이 부분은 Ring-Zero에서 가장 실무적인 system contribution이다. RL algorithm이 같아도 ratio가 어느 engine의 probability를 사용하는지에 따라 training이 완전히 달라질 수 있다.

3) KL stabilization

First Stage RL에는 frozen reference에 대한 K3 divergence penalty를 사용한다. Reference는 400 steps마다 latest checkpoint로 refresh한다.

KL을 제거한 ablation에서는 training-rollout log-probability gap이 발산하고 entropy와 reward가 collapse한다. Aggressive low-probability amplification과 numerical mismatch를 동시에 다루기 위한 anchor다.

4) Strict format reward

Loose format은 answer 뒤에 garbage token을 계속 붙이는 reward exploit을 허용한다. Ring-Zero는 <think>...</think><answer>...</answer>를 모두 닫고 EOS로 종료해야 format credit을 준다.

이 design은 cosmetic formatting보다 termination contract에 가깝다. Sequence length만 늘고 reward가 오르지 않는 degenerate behavior를 차단한다.

5) Self-distillation

Expert checkpoint에서 problem당 여러 response를 sample하고 correct candidate 중 짧은 trace를 고른다. Model self-evaluation으로 redundant segment를 filter한 뒤, original base model에 SFT한다.

Distilled checkpoint는 First Stage RL보다 짧은 CoT와 높은 benchmark score를 보이며, Second Stage RL의 stable initialization이 된다.

6) Tier-based adaptive reasoning

Third Stage RL은 problem을 Low, Medium, High difficulty로 나누고 서로 다른 system prompt와 truncation window를 사용한다.

  • Low: 4K training window
  • Medium: 16K training window
  • High: YaRN extension을 포함한 128K training window setting

Deployment에서 user 또는 system이 mode prompt를 선택할 수 있다. Model 내부 router가 완전히 자동으로 difficulty를 판단하는 구조는 아니다.

7) Mixed precision and context parallelism

Model body는 BF16을 사용하지만 attention softmax와 LM head 같은 numerically sensitive operation은 FP32로 계산한다.

MLA layer는 compressed latent KV를 context-parallel device 사이에서 교환해 communication volume을 줄인다. Lightning Attention layer는 fixed-size KV state를 sequential ring으로 넘기지 않고 AllGather해 계산한다. 논문은 standard ring attention과 mathematically equivalent한 gradient를 유지한다고 설명한다.

4. Training / Data / Recipe

4-1. Data

Training은 mathematical reasoning question과 rule-based verifiable reward를 중심으로 한다. Human-authored reasoning trajectory를 사용하지 않지만, problem selection, difficulty curriculum, format contract, reward rule은 사람이 설계한다.

평가는 일곱 benchmark에서 수행한다.

  • AIME 2024, 2025, 2026
  • HMMT Feb. 2025, Nov. 2025, Feb. 2026
  • IMOAnswerBench

CoT quality는 AIME 2024-2026의 90 problems를 중심으로 별도 평가한다.

4-2. Training strategy

Main infrastructure는 320 H200 GPUs다.

  • Initial off-policy batch size: 512
  • Later batch size: 256
  • Minibatch size: 32
  • Rollout group size: 16
  • Temperature: 1.0
  • Learning rate: $2\times10^{-6}$ constant
  • Adam $\beta_1=0.9$, $\beta_2=0.999$
  • Weight decay: 0.01
  • First-stage KL coefficient: $10^{-4}$

First Stage RL은 response window를 4K에서 64K로 점진적으로 늘린다. Third Stage High mode는 YaRN을 사용해 더 긴 training window를 구성한다.

4-3. Engineering notes

1) Engine identity를 log에 남긴다

Stored log-probability가 inference engine 값인지 training engine 값인지 분명해야 한다. Ratio numerator와 denominator의 precision, kernel, checkpoint timestamp를 함께 기록해야 한다.

2) Reward와 length를 항상 같이 본다

Reward가 오르지 않는데 sequence length만 늘면 format exploit이나 length inertia일 수 있다. Correctness, EOS compliance, average token, truncated rate를 하나의 dashboard에 둬야 한다.

3) Early and late loss normalization을 분리한다

Reasoning이 없는 base model에는 token-level objective가 useful할 수 있지만, 이미 long CoT를 만드는 model에서는 같은 objective가 harmful하다. Model stage에 따라 normalization을 바꾸는 것이 핵심이다.

4) Distillation은 capability transfer뿐 아니라 reset이다

Long RL run의 optimizer state와 engine mismatch가 누적될 때, concise data로 새 checkpoint를 만드는 것이 system reset point가 될 수 있다.

5) Difficulty tier의 negative transfer를 monitor한다

Low, Medium, High를 하나의 model에 joint training하면 High mode peak가 떨어질 수 있다. Mode별 data ratio와 gradient conflict를 별도 측정해야 한다.

5. Evaluation

5-1. Main results

Stage AIME24 AIME25 AIME26 HMMT Feb25 HMMT Nov25 HMMT Feb26 IMOAnswerBench
First Stage RL 89.1 83.3 84.2 76.7 75.8 66.2 59.3
Self-Distillation 92.3 87.3 88.1 81.9 79.9 71.2 63.8
Second Stage RL 93.5 91.6 92.5 87.4 87.1 78.1 72.7
Second Stage RL, YaRN=2 94.1 92.3 93.2 90.6 90.8 81.0 75.5

First Stage RL만으로 AIME 2026 84.2를 기록하고, subsequent stage마다 score가 오른다. 다만 frontier proprietary model과의 비교는 serving setup, sampling budget, model version이 다를 수 있으므로 같은 표의 absolute ranking보다 pipeline 내부 stage comparison이 더 신뢰할 만하다.

Third Stage mode는 compute-performance trade-off를 만든다.

Mode Average inference tokens AIME26 IMOAnswerBench
Low 2,353 68.8 54.1
Medium 8,085 90.8 70.8
High 20,817 91.4 72.7

Medium에서 High로 token을 크게 늘려도 gain은 제한적이고, High mode는 Second Stage peak보다 일부 benchmark에서 낮다. Ultra-long data 부족과 joint multi-length negative transfer가 원인으로 제시된다.

5-2. What really matters in the experiments

1) Scale가 ceiling과 sample efficiency를 동시에 바꾼다

동일한 first-stage setting에서 1T model은 3,600 steps 후 AIME24 89.06, AIME25 83.28에 도달한다. 104B model은 5,200 steps 후에도 71.72, 63.54다.

두 scale point만으로 universal scaling law를 만들 수는 없지만, 이 experiment에서는 total 및 activated capacity가 zero-RL exploration ceiling에 큰 영향을 준다.

2) Discovery와 sharpening이 순차적으로 나타난다

Pass@1024는 early training에서 오르다가 plateau하고, pass@1은 계속 오른다. 논문은 이를 early discovery, late sharpening으로 해석한다.

이 분석의 장점은 “RL은 새 capability를 만드는가, existing capability를 sharpen하는가”를 binary choice로 두지 않는다는 점이다. 같은 run에서도 phase가 달라질 수 있다.

3) CoT quality를 세 축으로 본다

  • Comprehensibility: 90 AIME problem에서 LLM pairwise judge
  • Reproducibility: 100K CoT로 Qwen2.5-32B와 Llama3.3-70B distillation
  • Efficiency: 모든 compared model이 맞힌 common subset의 average token

Ring trace로 distill한 Qwen-32B는 78.4로 DeepSeek-R1 trace의 72.6보다 5.8 points 높고, Llama-70B는 74.5 versus 70.0이다. Common correct subset에서 Ring은 평균 6,368 tokens를 사용해 다른 compared model의 절반 미만이라고 보고한다.

4) Emergent behavior는 capability와 artifact를 함께 포함한다

Structured formatting, parallel reasoning, self-verification은 useful behavior다. 반면 anthropomorphic meta-commentary와 context anxiety는 reward와 pretraining corpus가 만든 artifact일 수 있다.

특히 context limit이 가까워질 때 rigorous reasoning을 포기하고 heuristic guess를 내는 behavior는 model이 budget rule을 인식한다는 흥미로운 사례지만, reliability 관점에서는 failure mode다.

6. Limitations

  1. Compute scale가 매우 크다.
    • 320 H200 기반 training은 대부분의 연구자가 재현하기 어렵다.
    • Ablation은 104B flash model에서 수행되어 1T setting과 완전히 동일하지 않다.
  2. Scale comparison point가 두 개다.
    • 104B와 1T 차이에는 total parameter뿐 아니라 activated capacity와 base capability 차이도 포함된다.
    • “1T가 fundamental prerequisite”라는 강한 해석은 더 많은 scale과 controlled compute에서 검증할 필요가 있다.
  3. Zero RL도 human design에서 자유롭지 않다.
    • Human-authored CoT는 없지만 data curriculum, reward, format, EOS rule, mode prompt는 설계된다.
    • Emergence를 supervision-free와 동일시하면 안 된다.
  4. CoT comprehensibility는 LLM judge에 의존한다.
    • 구조화된 verbose style을 선호하는 judge bias가 있을 수 있다.
    • Human expert evaluation과 factual step verification이 추가로 필요하다.
  5. Distillation comparison의 data budget과 source quality가 다르다.
    • 100K versus 800K라는 sample efficiency 결과는 강하지만, filtering, problem distribution, SFT recipe가 완전히 동일한지 함께 봐야 한다.
  6. Adaptive depth는 external prompt routing이다.
    • Model이 query difficulty를 자동 추정해 optimal mode를 선택하는 end-to-end router는 아니다.
  7. High mode에서 negative transfer가 나타난다.
    • Longer context가 곧 higher reasoning quality를 뜻하지 않는다.
    • Ultra-long trace quality와 tier mixture가 bottleneck이다.
  8. Emergent behavior 해석에 주의가 필요하다.
    • Anthropomorphic phrase와 self-verification output은 internal cognition의 직접 evidence가 아니다.
    • Observable text pattern으로 제한해 해석해야 한다.

7. My Take

7-1. Why this matters for my work

Ring-Zero의 가장 중요한 부분은 1T라는 headline보다 “reasoning training stage에 따라 좋은 objective가 달라진다”는 engineering lesson이다.

Reasoning을 처음 만들 때는 low-probability token을 밀고 length를 늘려야 한다. Capability가 생기면 같은 pressure가 redundancy가 된다. 그 사이에 self-distillation을 넣어 behavior와 numerical state를 reset하고, 이후 sample-normalized RL로 전환한다. 이 stage transition은 훨씬 작은 model에서도 검증할 가치가 있다.

7-2. Reuse potential

  1. Small-scale staged RLVR
    • 1B-7B model에서도 token-level warm-up, concise self-distillation, sample-level continuation을 비교할 수 있다.
  2. Engine mismatch audit
    • vLLM 또는 SGLang rollout log-probability와 FSDP training log-probability를 same-token 기준으로 측정한다.
  3. CoT quality dashboard
    • Accuracy 외에 correct-token length, truncation, self-distillation gain, human readability를 같이 본다.
  4. Length-inertia evaluation
    • Easy solved problem의 response length가 training step에 따라 늘어나는지 별도 metric으로 둔다.
  5. Mode-conditioned inference
    • Short, standard, long mode를 system prompt로 제공하고 accuracy-latency frontier를 그린다.
  6. Discovery-sharpening analysis
    • Pass@1과 high-k success를 같이 추적해 새로운 solution support가 언제 plateau하는지 본다.

7-3. Follow-up papers

  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
  • DAPO: An Open-Source LLM Reinforcement Learning System at Scale
  • GSPO: Group Sequence Policy Optimization
  • Areal: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning
  • The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models

8. Summary

  • Ring-Zero는 1T total, 63B activated MoE base model에 zero RL을 적용한 large-scale study다.
  • First RL, self-distillation, second RL, tier-based third RL로 reasoning elicitation과 efficiency를 분리한다.
  • Training engine numerator와 rollout engine denominator를 쓰는 ratio correction이 long-run stability의 핵심이다.
  • Scale는 performance ceiling과 sample efficiency를 높였고, pass@1024와 pass@1 dynamics는 discovery 후 sharpening이라는 해석을 지지한다.
  • 결과는 강하지만 compute cost, limited scale points, LLM-judge CoT evaluation, prompt-based depth routing을 함께 봐야 한다.

댓글남기기

참고