NITP: Next Implicit Token Prediction for LLM Pre-training Review
0. Introduction
NITP를 “NTP에 auxiliary loss를 하나 더 붙인 논문” 정도로만 읽으면 아쉽다. 이 논문의 진짜 문제의식은 next-token prediction이 token identity는 강하게 맞추지만, 그 token을 맞추기 위해 내부 hidden state가 어떤 geometry를 가져야 하는지는 충분히 제약하지 않는다는 데 있다.
표준 NTP는 final logit space에서 정답 token에 대한 likelihood를 키운다. 이 supervision은 강력하지만 sparse one-hot target에 가깝다. 그래서 model이 비슷한 validation loss를 얻더라도, hidden representation은 effective rank가 낮고 anisotropic한 좁은 cone으로 몰릴 수 있다. NITP는 이 빈 공간을 latent-space prediction objective로 채운다. 마지막 hidden state가 다음 token의 discrete id만 맞히는 것이 아니라, 다음 token의 shallow-layer contextual representation도 예측하게 만든다.
한 줄 요약: NITP는 standard next-token prediction에 shallow-layer next-token representation을 맞히는 cosine alignment objective를 추가해, pre-training 중 hidden representation geometry를 더 구조적으로 제약하려는 LLM pre-training objective다.
이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.
- LLM pre-training objective를 “더 많은 token을 예측하자”가 아니라 “prediction을 담는 representation geometry를 어떻게 제약할 것인가”로 다시 본다.
- external encoder, extra annotation, extra inference module 없이 self-supervised target을 같은 forward pass에서 만든다.
- MoE와 dense model 모두에서 실험하고, downstream benchmark뿐 아니라 frozen hidden-state MTEB probe까지 같이 본다.
- inference cost를 늘리지 않는 training-only auxiliary objective라서, 실제 base model pre-training recipe 관점에서 읽을 가치가 있다.
- 단순 regularization이 아니라 “next implicit token”을 예측한다는 temporal shift가 성능의 핵심이라는 ablation이 있다.
이 논문의 핵심 메시지는 단순히 “representation loss를 추가하면 좋다”가 아니다. 더 정확히는 NTP가 남겨둔 under-constrained latent degrees of freedom을, 다음 token의 contextual semantic target을 예측하는 방식으로 채워야 한다는 주장이다.
1. Problem Setting
1-1. Problem definition
이 논문이 겨냥하는 문제는 standard next-token prediction이 hidden representation geometry를 직접 감독하지 않는다는 점이다.
NTP는 보통 다음 objective로 이해할 수 있다.
\[L_{NTP} = - \log p_\theta(x_{t+1} \mid x_{\le t})\]이 objective는 다음 token의 discrete id를 맞히는 데에는 매우 강하다. 하지만 final hidden state $h_t^{(L)}$가 어떤 semantic structure를 가져야 하는지는 직접적으로 말해주지 않는다. 정답 token logit이 충분히 높으면, logit ranking을 보존하는 여러 hidden-state configuration이 loss 관점에서는 비슷하게 허용될 수 있다.
논문은 이 지점을 “geometric blind spot”으로 본다. NTP gradient는 target embedding 방향과 일부 high-probability contender 방향에 강하게 작용하지만, 그 밖의 semantic subspace는 상대적으로 약하게 제약된다. 이 자유도가 좋은 feature diversity로 남는 것이 아니라, 실제 pre-training 중에는 representation degeneration으로 이어질 수 있다는 것이 논문의 출발점이다.
NITP가 보는 degeneration은 크게 두 가지 신호로 나타난다.
- Effective rank 감소
- hidden states가 사용하는 유효 차원이 줄어든다.
- feature space가 더 좁아지고, 표현 다양성이 감소한다.
- Cosine similarity 증가
- 서로 다른 token representation이 과도하게 비슷한 방향을 향한다.
- anisotropic cone 형태로 representation이 몰릴 수 있다.
이 문제는 단순 interpretability 문제가 아니다. Base pre-training representation이 더 좁고 덜 구분되면, downstream reasoning, retrieval, classification, semantic similarity 같은 transfer task에 영향을 줄 수 있다.
1-2. Why previous approaches are insufficient
기존 방향은 크게 세 가지로 나눠볼 수 있다.
첫째, multi-token prediction 계열은 미래 token horizon을 늘린다. 여러 future token을 예측하게 만들면 planning이나 long-horizon dependency에는 도움이 될 수 있다. 하지만 이 방법도 기본적으로 discrete token target을 더 많이 맞히는 구조다. Hidden representation geometry를 직접 제약한다고 보기는 어렵다.
둘째, layer-wise distillation이나 representation alignment는 continuous target을 쓴다. 하지만 보통 teacher model, external encoder, 혹은 별도 representation source가 필요할 수 있다. Pre-training scale에서는 external encoder를 추가하는 것 자체가 cost, domain mismatch, pipeline complexity를 만든다.
셋째, generic hidden-state regularization은 representation collapse를 막을 수는 있어 보인다. 예를 들어 token representation끼리 너무 비슷해지지 않게 penalty를 줄 수 있다. 하지만 NITP의 ablation은 단순 cosine regularization만으로는 충분하지 않다고 보여준다. 중요한 것은 geometry를 흩뜨리는 것이 아니라, 다음 token semantics를 예측하는 방향으로 geometry를 구조화하는 것이다.
정리하면 이 논문이 보는 병목은 다음과 같다.
- NTP는 “무엇을 맞힐지”는 잘 정의하지만, “그 예측을 담는 hidden state가 어떤 geometry를 가져야 하는지”는 덜 정의한다.
- External teacher를 쓰는 representation supervision은 scale과 domain mismatch 문제가 있다.
- Generic regularization은 predictive target이 없어서, pre-training objective와 직접 결합되지 않을 수 있다.
2. Core Idea
2-1. Main contribution
NITP의 핵심 기여는 standard NTP에 representation-level autoregressive objective를 추가하는 것이다.
핵심 발상은 다음과 같다.
- 다음 token $x_{t+1}$ 자체를 discrete id로만 보지 않는다.
- 같은 model의 shallow layer가 만든 contextual representation을 다음 token의 “implicit token”으로 본다.
- 마지막 hidden state $h_t^{(L)}$가 이 implicit token을 예측하게 만든다.
- 이 auxiliary head는 training 중에만 사용하고, inference 때는 버린다.
블로그 수준에서 objective를 쓰면 아래처럼 이해할 수 있다.
\[z_{t+1} = sg(h_{t+1}^{(l_s)})\] \[\hat{z}_{t+1} = g_\phi(h_t^{(L)})\] \[L_{NITP} = 1 - cos(\hat{z}_{t+1}, z_{t+1})\] \[L_{total} = L_{NTP} + \lambda L_{NITP}\]여기서 $l_s$는 shallow target layer, $sg$는 stop-gradient, $g_\phi$는 projection head다. 핵심은 $h_t^{(L)}$가 현재 위치에서 다음 token의 shallow representation $h_{t+1}^{(l_s)}$를 예측한다는 점이다. 같은 위치 representation을 맞추는 것이 아니라, one-step future representation을 맞춘다.
이 temporal shift가 중요하다. NITP는 static layer alignment가 아니다. Final hidden state를 shallow hidden state와 단순히 비슷하게 만드는 것이 아니라, autoregressive prediction target과 연결된 continuous supervision을 준다.
2-2. Design intuition
NITP의 설계 직관은 세 가지다.
첫째, shallow layer는 contextual semantic anchor로 쓸 수 있다. Token embedding 자체는 static하고 polysemy에 약하다. “bank” 같은 token은 문맥에 따라 의미가 달라진다. 반면 shallow transformer layer의 representation은 문맥을 어느 정도 반영하면서도, deeper layer처럼 token discrimination에 과도하게 특화되기 전의 local semantics를 보존할 가능성이 있다.
둘째, shallow target은 같은 forward pass에서 얻을 수 있다. External encoder를 새로 돌리거나 teacher model을 붙일 필요가 없다. 이미 계산되는 intermediate activation에서 target을 뽑고 stop-gradient를 걸면 된다. Pre-training scale에서는 이 단순성이 꽤 중요하다.
셋째, cosine loss는 scale mismatch에 덜 민감하다. Layer가 다르면 representation norm과 scale이 다를 수 있다. MSE처럼 magnitude를 직접 맞추는 loss는 instability를 만들 수 있다. NITP는 direction alignment를 중시하는 cosine similarity를 써서, semantic direction을 맞히되 scale은 NTP가 조절하도록 남긴다.
이 논문에서 가장 중요한 지점은 “continuous supervision” 자체보다 “future semantic target”이다. Representation을 예쁘게 만드는 regularizer가 아니라, 다음 token의 contextual semantics를 예측하는 auxiliary task로 설계했기 때문에 NTP와 충돌하지 않고 보완 관계를 만든다.
3. Architecture / Method
3-1. Overview
| Item | Description |
|---|---|
| Goal | NTP가 약하게 제약하는 hidden representation geometry를 보완 |
| Base objective | Standard next-token prediction |
| Auxiliary objective | Next implicit token prediction |
| Target | Same model의 shallow-layer representation at $t+1$ |
| Predictor | Final hidden state at $t$ plus projection head |
| Loss | Cosine alignment loss |
| Inference path | Projection head removed, no inference overhead |
| Main claim | Better representation geometry and downstream transfer with small training overhead |
NITP는 architecture를 크게 바꾸는 논문이 아니다. Backbone은 그대로 두고, training objective와 temporary projection head를 추가한다. 그래서 deployment 관점에서는 꽤 가벼운 제안이다.
3-2. Module breakdown
1) Predictive state
Predictive state는 final hidden state $h_t^{(L)}$다. Standard language model에서는 이 state가 unembedding matrix를 거쳐 next-token logits를 만든다. NITP에서는 같은 state가 projection head $g_\phi$도 통과한다.
즉 하나의 hidden state가 두 가지 역할을 한다.
- discrete next token prediction
- continuous next implicit token prediction
이중 supervision을 통해 final hidden state가 token id만 맞히는 방향으로 collapse하지 않고, 다음 token의 contextual semantics를 담을 수 있도록 유도한다.
2) Implicit token target
Implicit token target은 shallow layer representation $h_{t+1}^{(l_s)}$다. 여기서 중요한 것은 $t$가 아니라 $t+1$이다. Model은 현재 위치의 final hidden state로 다음 위치 shallow representation을 예측한다.
왜 shallow layer인가?
- Embedding layer는 contextual semantics가 부족하다.
- Middle or deep layer는 token discrimination에 더 특화될 수 있다.
- Shallow layer는 lexical detail과 local semantics를 보존하면서도 context를 반영한다.
- 같은 forward pass에서 얻을 수 있어 cost가 낮다.
논문의 target-layer sweep에서는 전체 depth의 약 20% 지점에 가까운 shallow layer가 가장 좋은 선택으로 나온다. 3B MoE의 17-layer setting에서는 4번째 layer, 9B MoE의 24-layer setting에서는 5번째 layer가 selected target으로 보고된다.
3) Projection head
Final hidden state와 shallow target representation은 distribution이 다를 수 있다. NITP는 이 gap을 줄이기 위해 projection head를 둔다. 논문과 README는 projection head가 training 때만 필요하고 inference 때는 제거된다고 설명한다.
이 설계는 실무적으로 중요하다. Auxiliary objective가 inference graph에 남으면 serving latency, memory, kernel path를 바꿀 수 있다. NITP는 pre-training representation을 바꾸되 inference architecture는 standard transformer backbone과 동일하게 유지한다.
4) Cosine alignment loss
NITP loss는 cosine similarity 기반이다. 블로그 수준에서는 아래처럼 볼 수 있다.
\[L_{NITP} = 1 - cos(z_{pred}, z_{target})\]Cosine을 쓰는 이유는 scale보다 direction을 맞추는 것이 중요하기 때문이다. Layer가 다르면 norm scale이 다르고, MSE는 scale mismatch를 크게 벌할 수 있다. 실제 ablation에서도 MSE는 성능이 낮고, 논문은 optimization divergence 가능성을 언급한다.
5) Combined objective
최종 objective는 간단하다.
\[L_{total} = L_{NTP} + \lambda L_{NITP}\]여기서 $\lambda$는 auxiliary loss weight다. 논문은 loss weight와 target layer가 추가 hyperparameter라고 명시한다. 실험에서는 안정적인 range가 보이지만, 다른 model family와 더 큰 scale에서 항상 같은지는 추가 검증이 필요하다.
4. Training / Data / Recipe
4-1. Data
논문은 MoE와 dense language model을 scratch pre-training으로 평가한다.
주요 setting은 다음과 같다.
| Setting | Description |
|---|---|
| MoE architecture | DeepSeek-V2 style MoE, 144 experts, top-k routing |
| MoE scale | 1.9B-A0.3B, 3B-A0.5B, 9B-A1B |
| Dense scale | 0.5B, 2B, 3B |
| 9B MoE token budget | 330B high-quality tokens |
| Data mixture | English, Chinese, code, mathematics, reasoning data |
| Context length | 8192 tokens unless otherwise stated |
NITP가 별도 annotation을 요구하지 않는다는 점이 중요하다. Target은 model의 own shallow-layer activation에서 나온다. 따라서 data pipeline은 standard pre-training corpus를 그대로 쓸 수 있다.
4-2. Training strategy
Training recipe에서 핵심은 target extraction과 stop-gradient다.
- Standard forward pass를 수행한다.
- Shallow layer $l_s$의 representation at $t+1$을 저장한다.
- 이 representation에 stop-gradient를 걸어 target으로 둔다.
- Final hidden state at $t$를 projection head에 넣어 predicted implicit token을 만든다.
- NTP loss와 NITP loss를 더한다.
- Training 종료 후 projection head는 버린다.
이 구조의 장점은 target을 위해 extra forward pass가 필요 없다는 점이다. External teacher가 없고, additional backbone pass도 없다. 그래서 training FLOPs overhead는 작고 inference overhead는 없다.
4-3. Engineering notes
실제로 구현할 때 볼 포인트는 네 가지다.
- Activation capture 위치
- target layer의 hidden state를 안정적으로 뽑아야 한다.
- sequence shift가 들어가기 때문에 token alignment bug가 생기기 쉽다.
- 특히 packed sequence나 document boundary 처리 시 $t+1$ target이 sample boundary를 넘어가지 않도록 확인해야 한다.
- Stop-gradient
- shallow target으로 gradient가 역전파되면, target 자체가 predictor에 맞춰 움직일 수 있다.
- NITP는 shallow representation을 semantic anchor로 쓰기 때문에 stop-gradient가 필수다.
- Projection head lifecycle
- training checkpoint에는 projection head가 필요하지만, serving checkpoint에는 없어야 한다.
- export script에서 auxiliary head removal을 명확히 처리해야 한다.
- Loss weight and target layer
- 논문은 shallow target과 cosine loss가 중요하다고 보지만, 최적 layer와 $\lambda$는 model depth, architecture, data mixture에 따라 달라질 수 있다.
- Production pre-training에서는 small-scale sweep 없이 바로 붙이면 위험하다.
또 하나의 practical caveat가 있다. arXiv abstract는 implementation이 GitHub에 있다고 말하지만, GitHub README에는 “Coming soon: We will release the NITP implementation code”라고 표시되어 있다. 리뷰 시점 기준으로 exact training code release 여부는 게시 전 재확인하는 것이 좋다.
5. Evaluation
5-1. Main results
평가는 크게 세 축이다.
- MoE model downstream benchmark
- Dense model downstream benchmark
- Frozen hidden-state representation quality
MoE results
MoE에서는 1.9B-A0.3B, 3B-A0.5B, 9B-A1B를 비교한다. 9B-A1B에서는 NTP baseline average가 40.27이고, NITP가 42.94로 보고된다. 세부적으로 MMLU-Pro는 15.29에서 21.00으로, C3는 56.65에서 63.01로, CommonsenseQA는 45.70에서 49.96으로 오른다.
| Model | Method | MMLU-Pro | C3 | CSQA | Avg |
|---|---|---|---|---|---|
| 9B-A1B MoE | NTP | 15.29 | 56.65 | 45.70 | 40.27 |
| 9B-A1B MoE | NITP | 21.00 | 63.01 | 49.96 | 42.94 |
| Delta | NITP - NTP | +5.71 | +6.36 | +4.26 | +2.67 |
이 결과에서 중요한 것은 NITP가 단일 benchmark trick으로 보이기보다, knowledge, reasoning, reading comprehension 쪽에 넓게 영향을 준다는 점이다. 특히 MMLU-Pro와 C3 gain은 논문의 headline에 가깝다.
Dense results
Dense model에서도 개선이 보고된다.
| Model | Method | MMLU | C-Eval | BBH | ARC-C | C3 | AGIEval | LCBench | Avg |
|---|---|---|---|---|---|---|---|---|---|
| 0.5B | NTP | 30.59 | 33.72 | 18.96 | 31.95 | 28.21 | 27.01 | 0.52 | 24.42 |
| 0.5B | NITP | 31.01 | 32.78 | 19.92 | 34.71 | 32.10 | 26.15 | 1.39 | 25.44 |
| 2B | NTP | 37.96 | 35.67 | 26.59 | 39.52 | 49.26 | 30.51 | 3.83 | 31.91 |
| 2B | NITP | 40.14 | 37.81 | 27.33 | 41.92 | 53.42 | 31.66 | 3.65 | 33.70 |
| 3B | NTP | 43.54 | 39.17 | 31.25 | 51.20 | 59.01 | 31.77 | 4.35 | 37.18 |
| 3B | NITP | 44.95 | 40.14 | 29.40 | 51.55 | 63.67 | 35.11 | 4.87 | 38.53 |
2B dense에서 average는 31.91에서 33.70으로 오른다. 3B dense에서는 BBH가 내려가지만, C3와 AGIEval이 크게 올라 average는 37.18에서 38.53이 된다. 즉 모든 column이 무조건 오르는 그림은 아니고, task별 trade-off도 있다.
Hidden-state representation quality
이 논문에서 개인적으로 가장 중요한 평가는 MTEB probe다. NITP가 단지 output head 근처 decision boundary를 바꾼 것인지, hidden state 자체가 더 좋은 representation이 되었는지 보려는 실험이다.
논문은 3B MoE model의 last-layer hidden states를 mean pooling하고 normalization한 뒤, fine-tuning 없이 25 English MTEB tasks에서 평가한다. arXiv HTML Table 6 기준으로 overall score는 39.24에서 41.56으로 오른다. 또한 25개 task 중 23개에서 개선을 보고한다.
| Task group | NTP | NITP | Delta |
|---|---|---|---|
| Classification | 40.09 | 42.29 | +2.20 |
| STS / Similarity | 35.66 | 38.58 | +2.93 |
| Retrieval / Duplicate | 43.19 | 44.83 | +1.64 |
| Overall | 39.24 | 41.56 | +2.33 |
이 실험은 논문의 주장과 잘 맞는다. NITP의 gain이 단순히 likelihood나 output head 변화만이 아니라, frozen representation utility로도 나타난다는 증거이기 때문이다.
Efficiency
NITP는 training-only objective다. 논문과 README는 다음 overhead를 보고한다.
| Item | Reported overhead |
|---|---|
| Training FLOPs | about 2% to 2.3% in 9B MoE setting |
| Wall-clock | about 1.8% over 5k-step 9B MoE run |
| Inference | 0, projection head removed |
이 지점은 실무적으로 중요하다. Pre-training objective를 바꿔 representation을 개선하더라도, serving architecture와 inference latency가 그대로라면 deployment friction이 낮다.
5-2. What really matters in the experiments
1) NITP는 MTP와 다른 문제를 푼다
MTP는 여러 future token을 discrete target으로 예측한다. NITP는 다음 token 하나의 contextual representation을 continuous target으로 예측한다. 둘 다 “future”를 보지만, supervision space가 다르다.
NITP의 메시지는 predictive horizon 확장보다 representation geometry 제약에 가깝다.
2) Same-position alignment가 아니라 next-position prediction이 핵심이다
Ablation에서 current-step alignment는 average 18.75로, baseline NTP 21.10보다도 낮다. 반면 next-token NITP는 23.58이다. 이 결과는 “hidden state끼리 맞추면 된다”가 아니라, “다음 token의 implicit semantic target을 예측해야 한다”는 주장을 뒷받침한다.
3) Shallow target이 가장 잘 맞는다
Target layer ablation에서 shallow target이 average 23.58로 deep target 22.16, middle target 21.22보다 좋다. Appendix의 target-layer sweep도 약 20% depth 부근이 좋은 선택이라고 설명한다.
이 결과는 shallow layer가 lexical detail과 local semantics를 보존한다는 design intuition과 맞는다.
4) Cosine loss가 중요한 engineering choice다
MSE는 average 19.38로 크게 낮고, Smooth L1과 KL도 NITP default를 넘지 못한다. 논문은 MSE가 layer scale mismatch 때문에 optimization instability를 만들 수 있다고 설명한다. Representation target을 쓸 때 loss choice가 단순한 부가 실험이 아니라 training stability의 핵심이라는 점을 보여준다.
5) Validation cross-entropy만으로 representation quality를 설명하기 어렵다
논문은 Pile validation cross-entropy가 NTP와 NITP에서 거의 같다고 보고한다. 예를 들어 3B MoE는 2.006 vs 2.006, 9B MoE는 1.841 vs 1.840이다. 그런데 MTEB hidden-state probe와 downstream task는 달라진다.
이 지점이 NITP의 가장 좋은 논리다. Next-token loss가 같아도 hidden representation geometry와 transferability는 다를 수 있다.
6. Limitations
- 추가 hyperparameter가 생긴다
- target layer $l_s$와 loss weight $\lambda$가 새로 필요하다.
- 논문은 안정적인 선택을 보고하지만, model depth, data mixture, architecture가 바뀌면 다시 sweep해야 할 수 있다.
- 더 큰 frontier-scale 검증은 아직 열려 있다
- 실험은 dense 0.5B-3B, MoE 1.9B-A0.3B to 9B-A1B 중심이다.
- 30B, 70B, 100B+ dense or MoE pre-training에서 같은 gain과 overhead가 유지되는지는 별도 검증이 필요하다.
- Objective gain과 data mixture effect를 완전히 분리하기 어렵다
- 9B MoE는 330B high-quality tokens로 학습된다.
- 동일 data, 동일 recipe 비교이므로 NITP 효과를 볼 수 있지만, 다른 corpus mixture에서 재현되는지는 추가 확인이 필요하다.
- Some tasks regress
- Dense 3B에서 BBH는 NTP 31.25에서 NITP 29.40으로 낮아진다.
- MTEB에서도 AskUbuntuDupQuestions와 ToxicConversationsClassification의 small regression이 보고된다.
- 따라서 “모든 task를 무조건 올린다”가 아니라 representation geometry를 바꾸면서 task별 trade-off가 있을 수 있다고 읽어야 한다.
- Public code release 상태가 애매하다
- arXiv abstract는 implementation available이라고 쓰지만, GitHub README는 implementation code coming soon이라고 표시한다.
- 논문 수치 재현 가능성은 실제 code, config, tokenizer, data mixture 공개 상태를 보고 다시 판단해야 한다.
- Exact formula notation은 PDF 기준 재확인이 필요하다
- arXiv HTML에서는 일부 equation variable이 누락되어 보이는 구간이 있다.
- 블로그의 수식은 method를 설명하기 위한 notation이며, publication 전에는 PDF notation과 대조하는 것이 좋다.
7. My Take
7-1. Why this matters for my work
이 논문이 흥미로운 이유는 pre-training objective를 output accuracy가 아니라 representation operating point 관점에서 다시 본다는 점이다. LLM을 실제로 fine-tuning, retrieval, reranking, agent policy backbone으로 재사용하다 보면, base model의 hidden state quality가 생각보다 중요하다.
NITP의 message는 꽤 실용적이다. Validation loss가 비슷한 두 checkpoint라도 downstream transferability는 다를 수 있다. 특히 embedding reuse, representation probing, adapter training, retrieval-augmented workflow처럼 hidden state를 많이 쓰는 상황에서는 next-token likelihood만 보고 checkpoint quality를 판단하면 부족할 수 있다.
NITP는 “pre-training에 self-distillation을 넣자”보다 더 좁고 강한 주장이다. 같은 model의 shallow layer를 target으로 쓰되, 현재 위치가 다음 위치의 implicit semantic representation을 예측하게 만든다. 이 autoregressive latent prediction 구조가 없으면 단순 alignment나 regularization으로 무너질 수 있다.
7-2. Reuse potential
재사용해볼 만한 포인트는 다음과 같다.
- Training-only representation objective
- inference architecture를 바꾸지 않는 auxiliary objective는 production adoption 장벽이 낮다.
- pre-training이 아니더라도 domain-adaptive continued pre-training에서 실험해볼 만하다.
- Shallow-layer self-target
- external teacher 없이 own activation을 target으로 쓰는 구조는 cost-efficient하다.
- domain-specific model에서도 target construction이 단순하다.
- Representation quality evaluation
- NITP처럼 hidden-state probe를 별도로 보는 습관은 useful하다.
- Base model 비교 시 validation loss, benchmark accuracy, MTEB-like frozen probe를 함께 보면 더 안전하다.
- Objective ablation checklist
- target layer
- temporal shift
- loss type
- generic regularization baseline
- inference overhead
- validation CE preservation
이 checklist는 새로운 pre-training objective를 볼 때 거의 그대로 재사용할 수 있다.
7-3. Follow-up papers
- Multi-Token Prediction related work
- Representation Degeneration Problem in Training Natural Language Generation Models
- How Contextual are Contextualized Word Representations?
- Sheared LLaMA
- BYOL and self-supervised representation learning papers
- Next Latent Prediction or latent-space autoregressive objectives
8. Summary
- NITP는 NTP가 hidden representation geometry를 충분히 제약하지 않는다는 문제에서 출발한다.
- 핵심은 final hidden state at $t$가 shallow-layer representation at $t+1$을 예측하게 만드는 next implicit token objective다.
- Shallow target, temporal shift, cosine loss가 중요한 설계 요소이며, 단순 hidden-state regularization과는 다르다.
- MoE와 dense model 모두에서 downstream gain이 보고되고, frozen MTEB probe도 hidden-state quality 개선을 뒷받침한다.
- 다만 target layer와 loss weight라는 hyperparameter, large-scale generalization, public code release 상태는 추가 확인이 필요하다.
댓글남기기