VideoKR Review
0. Introduction
VideoKR은 “video understanding model이 정말 영상을 보고, 도메인 지식을 쓰고, 여러 단계로 추론하는가”를 데이터 관점에서 다시 묻는 논문이다. 새 architecture를 제안하는 논문이라기보다, knowledge-intensive video reasoning을 위해 어떤 training corpus와 evaluation benchmark를 만들어야 하는지 보여주는 data-centric post-training paper에 가깝다.
최근 video VLM 쪽은 SFT, RLVR, GRPO, reward engineering 같은 post-training 방법론이 빠르게 늘고 있다. 그런데 그 전에 더 기본적인 질문이 남아 있다. 모델이 학습하는 video QA가 실제로 continuous video evidence를 요구하는가. 아니면 한 장면, 텍스트 힌트, 상식 shortcut만으로도 맞힐 수 있는가. VideoKR은 이 문제를 정면으로 다룬다.
한 줄 요약: VideoKR은 145K개의 새 CC-licensed expert-domain video와 315K개의 video reasoning example로 구성된 training corpus, 그리고 single-frame shortcut을 줄인 VideoKR-Eval을 통해 knowledge- and reasoning-intensive video understanding을 강화하려는 논문이다.
이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.
- video reasoning 성능 향상이 architecture나 RL algorithm만의 문제가 아니라 data design 문제일 수 있음을 보여준다.
- VidR, KnowVid, KnowVidR이라는 skill taxonomy로 video reasoning example을 설계한다.
- 기존 knowledge-intensive video benchmark가 single-frame probing에서 얼마나 취약할 수 있는지 직접 측정한다.
- SFT -> GRPO라는 표준 pipeline 위에서 data quality가 어떤 차이를 만드는지 비교한다.
이 논문의 핵심 메시지는 단순하다. knowledge-intensive video reasoning을 하려면 긴 영상만 많이 모아서는 부족하다. 어떤 지식 포인트를 겨냥하는지, 질문이 실제 영상에 의존하는지, reasoning trace가 근거를 갖는지, benchmark가 shortcut을 막는지를 모두 data pipeline 안에 넣어야 한다.
1. Problem Setting
1-1. Problem definition
- 이 논문이 겨냥하는 문제는 knowledge- and reasoning-intensive video understanding이다.
- 여기서 모델은 단순히 action, object, scene을 맞히는 수준을 넘어야 한다.
- 모델은 아래 세 가지를 함께 사용해야 한다.
- video sequence에서 관찰되는 visual evidence
- chemistry, medicine, engineering, law 같은 domain knowledge
- 여러 단계를 거쳐 답을 좁히는 reasoning process
- 개념적으로는 답변 생성이 아래와 같은 형태에 가까워진다.
- 중요한 점은 $video$, $knowledge$, $reasoning$ 중 하나만으로는 충분하지 않아야 한다는 것이다.
1-2. Why previous approaches are insufficient
- 기존 video understanding dataset은 action recognition, event localization, short-range temporal understanding처럼 perceptual objective에 치우친 경우가 많다.
- 영상의 도메인도 everyday activity 중심으로 구성되기 쉽다.
- 반면 real-world expert task에서는 영상 속 절차, 장비, 증상, 물리 현상, 사회적 맥락을 domain knowledge와 함께 해석해야 한다.
- 또 기존 knowledge-intensive video benchmark 중 일부는 question, option, single frame만 보고도 풀리는 경우가 있다.
- 이 경우 benchmark score가 높아도, 모델이 continuous video understanding을 잘한다고 보기 어렵다.
- 결국 이 논문의 문제 설정은 “더 강한 video VLM을 어떻게 만들 것인가”보다, “진짜 video-grounded reasoning data와 eval을 어떻게 만들 것인가”에 가깝다.
2. Core Idea
2-1. Main contribution
VideoKR의 기여는 크게 네 가지로 볼 수 있다.
- VideoKR training corpus
- 145K개의 새로 수집한 CC-licensed expert-domain video를 기반으로 한다.
- 총 315K개의 video reasoning example을 만든다.
- corpus는 VideoKR-SFT-201K와 VideoKR-RL-114K로 나뉜다.
- Skill-oriented example generation
- video reasoning을 VidR, KnowVid, KnowVidR 세 skill로 나눈다.
- VidR은 관찰 가능한 사건, 공간 관계, 시간 순서를 이해하는 기본 video reasoning이다.
- KnowVid는 domain knowledge로 visual perception을 보강하는 task다.
- KnowVidR은 visual evidence와 domain knowledge를 결합해 multi-hop inference를 수행하는 task다.
- Human-in-the-loop quality control
- 34명의 domain expert가 knowledge bank, seed example, model validation, quality assessment, eval construction에 참여한다.
- frontier model pool을 사용하되, 각 pipeline step마다 expert validation으로 사용할 model을 고른다.
- self-consistency verification, video dependency filtering, CoT rationale validation을 통해 shortcut과 reasoning 오류를 줄인다.
- VideoKR-Eval
- VideoMMMU, MMVU, SciVideoBench에서 출발하되, multi-model single-frame probing으로 shortcut 가능성이 큰 example을 걸러낸다.
- 최종적으로 1,254개의 retained original example과 746개의 expert-reannotated example을 합쳐 2,000개 benchmark를 구성한다.
2-2. Design intuition
이 논문의 설계 직관은 “어려운 질문을 많이 만들자”가 아니라 “어떤 종류의 어려움인지 통제하자”에 있다.
- VidR은 영상 자체를 보는 능력을 요구한다.
- KnowVid는 관찰한 visual cue를 domain concept와 연결하도록 만든다.
- KnowVidR은 관찰, 지식, 논리를 모두 써야 답이 나오도록 만든다.
이렇게 skill을 나눠 놓으면 data mixture를 조정하거나 ablation하기 쉽다. 예를 들어 VidR만 넣었을 때와 KnowVidR까지 넣었을 때의 차이를 따로 볼 수 있다. 이 점이 VideoKR을 단순한 대규모 video QA corpus와 구분한다.
또 하나 중요한 설계는 negative filtering이다. 질문이 text-only나 single-frame shortcut으로 풀리면 과감히 제거한다. 데이터셋을 키우는 것보다 shortcut을 줄이는 쪽을 우선한다는 점이 이 논문의 실질적인 강점이다.
3. Architecture / Method
3-1. Overview
| Item | Description |
|---|---|
| Goal | knowledge- and reasoning-intensive video understanding을 위한 training corpus와 eval benchmark 구성 |
| Main artifact | VideoKR-SFT-201K, VideoKR-RL-114K, VideoKR-Eval |
| Video source | newly collected CC-licensed expert-domain videos |
| Knowledge structure | subject, course, lecture, knowledge point의 4-layer knowledge bank |
| Core skills | VidR, KnowVid, KnowVidR |
| Generation | expert-curated seed examples + frontier MLLM generation |
| Filtering | self-consistency, video dependency, CoT rationale validation |
| Post-training | SFT -> GRPO |
| Base models | Qwen2.5-VL-7B-Instruct, Qwen3-VL-8B-Instruct |
3-2. Module breakdown
1) Domain Knowledge Bank
- 저자들은 top university undergraduate curriculum을 검토해 82개 representative subject를 고른다.
- subject는 Natural Sciences, Healthcare, Humanities and Social Sciences, Engineering의 네 discipline에 걸쳐 있다.
- knowledge는 subject -> course -> lecture -> knowledge point의 계층으로 구성된다.
- 최종적으로 63,745개의 knowledge point가 수집된다.
- 이 단계의 목적은 video collection과 QA generation이 일반 영상 검색 키워드가 아니라 domain knowledge에 의해 움직이도록 만드는 것이다.
2) Knowledge-driven video collection
- knowledge point를 기반으로 실제로 영상에서 나타날 수 있는 scenario를 만든다.
- 이후 해당 scenario를 바탕으로 video search와 filtering을 수행한다.
- 최종 video는 모두 새로 수집한 CC-licensed video이고, 평균 길이는 기존 post-training corpus보다 훨씬 긴 편이다.
- 이 설계는 short clip 중심의 perception dataset과 구분된다.
3) Skill-oriented example generation
- 각 video에 대해 세 skill category를 기준으로 QA를 만든다.
- 각 skill마다 multi-choice와 open-ended format을 모두 사용한다.
- 먼저 domain expert가 seed example을 만든다.
- discipline과 skill마다 150개의 seed example을 만들고, 전체 1,800개의 expert-curated seed example을 확보한다.
- 이후 frontier MLLM이 각 video에 대해 skill당 2개 example, 총 6개 example을 생성한다.
- generation 시점에는 0.2 fps로 uniform sampled frame과 timestamp, 같은 discipline과 skill의 human-curated example 3개, 그리고 knowledge point가 함께 제공된다.
4) Validation and filtering
VideoKR의 filtering은 세 단계로 이해할 수 있다.
- Self-consistency verification
- 생성된 question과 video frame을 다시 model에 넣어 answer를 재도출한다.
- 재도출한 answer가 원래 answer와 맞는 example만 남긴다.
- 최종 reasoning trace는 이 verification step에서 나온 trace를 사용한다.
- Video dependency filtering
- question text와 random sampled 4 frames만으로도 맞히는 example을 제거한다.
- InternVL3.5-38B와 Qwen3-VL-32B-Instruct가 제한된 입력에서 모두 맞히면 해당 example을 제거한다.
- 이 단계는 example이 실제 video understanding을 요구하도록 강제한다.
- CoT rationale validation
- 독립적인 strong MLLM이 reasoning trace의 각 key step이 observable evidence 또는 standard domain knowledge로 지지되는지 확인한다.
- 답과 plausible alternative를 구분하지 못하는 trace는 제거한다.
5) Pipeline-level quality control
- 저자들은 GPT-5.2, GPT-5-mini, Claude-4.5-Sonnet, Gemini-3-Flash, DeepSeek-V3.2, Qwen3-VL-235B-A22B, GLM-4.6V의 model pool을 사용한다.
- 하지만 모든 model을 모든 step에 쓰지 않는다.
- 각 pipeline step마다 실제 input 100개를 sample하고, domain expert가 model output error를 평가한다.
- error rate가 threshold보다 낮은 model만 해당 step에 eligible model로 쓴다.
- 대규모 synthesis 중에는 그 step에 대해 qualified model 중 하나를 random select한다.
이 부분이 꽤 중요하다. model-generated data를 쓰면서도 generator 하나에 모든 편향을 맡기지 않고, stage별 eligibility를 expert validation으로 통제한다. 대규모 synthetic data pipeline에서 재사용할 수 있는 설계다.
6) Contamination mitigation and manual quality assessment
- evaluation leakage를 줄이기 위해 YouTube-ID filtering과 near-duplicate video filtering을 수행한다.
- YouTube ID가 benchmark video와 일치하는 131개 video를 제거한다.
- frame-level perceptual hashing과 windowed sequence matching으로 877개의 near-duplicate video를 제거한다.
- 이후 VideoKR-SFT-201K에서 800개 example을 random sample해 expert가 end-to-end quality를 평가한다.
- 이 sample에서 52개 question은 potentially non-visual solvable로 flag되고, reasoning trace에서는 32개 error가 발견된다.
완벽한 무오류 corpus는 아니지만, residual noise를 측정했다는 점은 긍정적이다. synthetic data paper에서 noise를 숨기지 않고 추정치를 제시하는 것은 실무적으로도 중요하다.
7) VideoKR-Eval construction
- 기존 benchmark인 VideoMMMU, MMVU, SciVideoBench를 대상으로 single-frame probing을 수행한다.
- probing model은 Qwen3-VL-235B-A22B, Claude-4.5-Sonnet, GPT-5.2다.
- model은 question, answer options, random single frame만 보고 답한다.
- 각 model이 3회 trial 모두에서 정답을 맞히면 single-frame-solvable로 본다.
- 세 model 모두가 continuous video understanding이 필요하다고 판단한 intersection만 retained original example로 남긴다.
- 이 과정을 거쳐 1,254개 original example을 유지한다.
- 나머지 filtered video에 대해서는 domain expert가 새 visually grounded QA를 만들고, 746개 example을 추가한다.
- 최종 VideoKR-Eval은 2,000개 example이다.
4. Training / Data / Recipe
4-1. Data
VideoKR training corpus는 SFT용과 RL용으로 나뉜다.
| Corpus | Examples | Multi-choice | Open-ended | Knowledge points | Videos | Avg length |
|---|---|---|---|---|---|---|
| VideoKR-SFT-201K | 201,156 | 99,843 | 101,313 | 20,372 | 85,934 | 339.0 sec |
| VideoKR-RL-114K | 114,381 | 54,461 | 59,920 | 12,446 | 59,625 | 351.6 sec |
SFT corpus는 CoT rationale을 포함한다. 표에 따르면 SFT subset의 average CoT rationale length는 196.9 token이다. RL corpus는 GRPO에 맞게 QA reward를 줄 수 있는 형태로 구성된다.
skill distribution도 중요하다.
| Corpus | VidR | KnowVid | KnowVidR |
|---|---|---|---|
| VideoKR-SFT-201K | 43.48 percent | 33.02 percent | 23.49 percent |
| VideoKR-RL-114K | 35.66 percent | 33.38 percent | 30.96 percent |
RL corpus에서 KnowVidR 비중이 더 높다. 이는 RL stage가 단순 perception보다 harder reasoning example에 더 많이 노출되도록 설계된 것으로 읽을 수 있다.
4-2. Training strategy
- base model은 Qwen2.5-VL-7B-Instruct와 Qwen3-VL-8B-Instruct다.
- SFT는 VideoKR-SFT-201K로 1 epoch 수행한다.
- GRPO는 SFT checkpoint에서 시작해 VideoKR-RL-114K로 1 epoch 수행한다.
- Qwen3-VL-8B-Instruct에 대해서는 SFT 없이 바로 GRPO를 적용하는 zero RL variant도 실험한다.
- batch size는 SFT와 GRPO 모두 32로 둔다.
- GRPO reward는 open-ended QA에는 ROUGE, multiple-choice QA에는 Exact Match를 사용한다.
- maximum video token number는 4,096이고, maximum number of frames는 128이다.
여기서 중요한 점은 algorithmic novelty를 줄였다는 것이다. 저자들은 복잡한 RL algorithm을 새로 제안하기보다, 표준 SFT -> GRPO scaffold를 사용한다. 이렇게 해야 성능 차이를 data design 쪽에 더 깨끗하게 귀속시킬 수 있다.
4-3. Engineering notes
- GitHub repository는 SFT, RL, evaluation stack을 분리해 제공한다.
- SFT는 LLaMA-Factory 기반이다.
- RL은 verl 기반 GRPO training flow를 사용한다.
- evaluation은 lmms-eval과 vLLM 기반으로 구성된다.
- training data, eval data, SFT checkpoint, GRPO checkpoint가 Hugging Face resource로 연결되어 있다.
실무 관점에서는 이 점이 꽤 중요하다. 단순히 paper number만 보고 끝나는 것이 아니라, corpus와 checkpoint를 실제로 받아서 post-training과 evaluation을 재현해 볼 수 있는 형태에 가깝다.
5. Evaluation
5-1. Main results
논문의 main result는 general video reasoning과 knowledge-intensive video reasoning을 분리해 봐야 한다.
| Base setting | Method | Frames | General avg | Knowledge avg | VideoKR-Eval |
|---|---|---|---|---|---|
| Qwen2.5-VL-7B | Base | 16 | 59.1 | 38.8 | 31.3 |
| Qwen2.5-VL-7B | Video-R1 | 16 | 60.2 | 40.0 | 28.9 |
| Qwen2.5-VL-7B | VideoRFT | 16 | 57.6 | 40.2 | 29.8 |
| Qwen2.5-VL-7B | VideoKR SFT+RL | 16 | 60.1 | 44.2 | 37.7 |
| Qwen2.5-VL-7B | Base | 128 | 64.1 | 41.9 | 32.7 |
| Qwen2.5-VL-7B | VideoAuto-R1 | 128 | 65.6 | 44.3 | 36.5 |
| Qwen2.5-VL-7B | VideoKR SFT+RL | 128 | 65.5 | 46.6 | 41.2 |
| Qwen3-VL-8B | Base | 128 | 65.9 | 48.5 | 39.0 |
| Qwen3-VL-8B | VideoAuto-R1 | 128 | 65.4 | 49.8 | 43.8 |
| Qwen3-VL-8B | Qwen3-VL-8B-Thinking | 128 | 65.2 | 50.0 | 41.5 |
| Qwen3-VL-8B | VideoKR SFT+RL | 128 | 65.4 | 51.5 | 45.3 |
이 표에서 핵심은 VideoKR이 general video reasoning을 무조건 크게 올리는 방식은 아니라는 점이다. 예를 들어 Qwen3-VL-8B 128-frame setting에서는 general average가 base 65.9에서 VideoKR SFT+RL 65.4로 조금 내려간다. 대신 knowledge-intensive average는 48.5에서 51.5로 오른다.
즉 VideoKR의 메시지는 “모든 video benchmark를 다 올린다”가 아니라, data design을 knowledge-intensive video reasoning 쪽으로 정렬하면 해당 능력에서 더 뚜렷한 이득이 나온다는 것이다. 이 해석이 과장 없이 가장 정확하다.
5-2. What really matters in the experiments
1) VideoKR-Eval은 shortcut을 줄이려는 benchmark다
기존 benchmark의 single-frame answerability가 생각보다 높게 나온다.
| Model | VideoMMMU | MMVU | SciVideoBench | VideoKR-Eval |
|---|---|---|---|---|
| Claude-4.5-Sonnet | 35.3 | 41.3 | 21.8 | 9.5 |
| Qwen3-VL-235B-A22B | 39.3 | 45.2 | 13.2 | 10.1 |
| GPT-5.2 | 38.3 | 49.7 | 23.0 | 10.7 |
이 수치가 중요한 이유는 benchmark design 자체를 다시 보게 만들기 때문이다. video reasoning benchmark라고 부르더라도, single frame만으로 꽤 많이 풀리면 모델이 실제 temporal evidence를 사용했는지 확인하기 어렵다.
VideoKR-Eval은 같은 probing에서 10 percent 안팎의 single-frame answerability를 보인다. 완전히 shortcut이 사라졌다는 뜻은 아니지만, 기존 benchmark보다 continuous video understanding을 더 강하게 요구하도록 설계된 것은 분명하다.
2) Skill composition은 단순 장식이 아니다
Skill-oriented ablation도 논문 전체의 설계를 잘 설명한다.
| SFT data | General avg | VideoKR-Eval | Knowledge avg |
|---|---|---|---|
| Qwen2.5-VL-7B base | 64.1 | 32.7 | 41.9 |
| VidR | 58.0 | 35.3 | 41.4 |
| VidR + KnowVid | 58.4 | 35.9 | 41.3 |
| VidR + KnowVid + KnowVidR | 58.3 | 36.8 | 42.4 |
VideoKR-Eval에서는 VidR에서 VidR + KnowVid, 그리고 VidR + KnowVid + KnowVidR로 갈수록 점수가 오른다. general average는 오히려 base보다 낮아질 수 있다. 이 trade-off는 중요하다. knowledge-intensive data를 넣는다고 모든 general benchmark가 자동으로 좋아지는 것은 아니다.
3) CoT supervision은 knowledge reasoning에는 도움이 되지만 trade-off가 있다
CoT vs direct output ablation도 깔끔하다.
| SFT format | General avg | VideoKR-Eval | Knowledge avg |
|---|---|---|---|
| Direct Output | 61.4 | 35.9 | 39.4 |
| Chain-of-Thought | 58.3 | 36.8 | 42.4 |
CoT는 knowledge average를 39.4에서 42.4로 올린다. 반면 general average는 61.4에서 58.3으로 내려간다. 이 결과는 CoT를 무조건 좋은 supervision으로 보지 말고, 어떤 능력을 위해 쓰는지 분리해서 봐야 한다는 신호다.
4) SFT와 RL의 역할이 분리된다
Qwen3-VL-8B setting을 보면 SFT, zero RL, SFT+RL의 차이가 보인다.
| Method | General avg | Knowledge avg | VideoKR-Eval |
|---|---|---|---|
| Qwen3-VL-8B base | 65.9 | 48.5 | 39.0 |
| VideoKR SFT | 62.3 | 49.2 | 43.6 |
| VideoKR zero RL | 64.3 | 50.6 | 44.6 |
| VideoKR SFT+RL | 65.4 | 51.5 | 45.3 |
SFT만으로도 VideoKR-Eval은 오르지만 general average는 내려간다. zero RL은 general drop을 일부 회복하면서 knowledge score를 더 올린다. SFT+RL은 이 둘을 가장 안정적으로 결합한다.
이 부분이 논문에서 가장 실용적인 메시지다. data-centric post-training에서도 SFT와 RL은 같은 역할을 하지 않는다. SFT는 reasoning style과 domain grounding을 주고, RL은 verifiable answer format 안에서 더 강한 task performance를 끌어내는 쪽에 가깝다.
5) Closed-source frontier와의 간격은 여전히 크다
Table 3에는 closed-source model도 같이 나온다. GPT-5.4, Gemini 3 Pro, Claude Opus 4.5 같은 model은 knowledge-intensive average에서 66.7에서 71.3 범위에 있다. VideoKR로 post-trained된 Qwen3-VL-8B는 51.5다.
따라서 VideoKR을 “frontier-level video reasoning을 해결했다”로 읽으면 안 된다. 더 정확한 해석은 open 7B to 8B class model에서 knowledge-intensive video post-training data의 효과를 강하게 보여준다는 쪽이다.
6. Limitations
- Synthetic generation artifact가 완전히 사라지는 것은 아니다.
- VideoKR은 human-in-the-loop validation을 강하게 넣지만, example generation과 CoT rationale generation에는 여전히 frontier MLLM이 깊게 관여한다.
- model-specific artifact, style bias, reasoning trace bias가 남을 수 있다.
- Manual quality assessment에서도 residual noise가 보인다.
- 800개 sampled example 중 52개 question이 potentially non-visual solvable로 flag되었다.
- reasoning trace에서도 32개 error가 발견되었다.
- 이 수치가 크다고 단정할 필요는 없지만, corpus가 완전히 깨끗하다고 봐도 안 된다.
- VideoKR-Eval도 기존 benchmark에서 출발한다.
- VideoKR-Eval은 VideoMMMU, MMVU, SciVideoBench를 기반으로 filtering과 reannotation을 수행한다.
- 따라서 완전히 독립적인 fresh benchmark라기보다, 기존 benchmark의 weakness를 보정한 benchmark로 읽는 편이 맞다.
- ROUGE reward의 한계가 있다.
- GRPO에서 open-ended QA reward로 ROUGE를 사용한다.
- domain reasoning의 semantic correctness를 ROUGE가 충분히 잡는지는 별도 논의가 필요하다.
- multiple-choice와 달리 open-ended expert reasoning은 surface overlap만으로 평가하기 어렵다.
- General video reasoning과 knowledge-intensive reasoning 사이에 trade-off가 있다.
- 일부 setting에서 general average는 base보다 내려간다.
- 이는 나쁜 결과라기보다, data mixture와 objective가 어떤 capability를 강화하는지 분명히 보여주는 결과다.
- 실서비스에서는 target task가 general video QA인지, expert-domain reasoning인지 먼저 정해야 한다.
- Long-horizon reasoning 자체와 expert-domain reasoning은 구분해야 한다.
- VideoKR은 긴 expert-domain video를 다루지만, 모든 long video task를 해결하는 방법은 아니다.
- temporal memory, event tracking, streaming inference 같은 문제는 별도 축으로 남는다.
7. My Take
7-1. Why this matters for my work
이 논문은 video VLM paper지만, 실제로는 multimodal data construction paper로 읽는 편이 더 생산적이다.
특히 OCR, Document AI, UI agent, multimodal retrieval에서도 같은 문제가 반복된다.
- question이 실제 image나 document layout을 요구하는가.
- text-only shortcut으로 풀리는 example은 얼마나 되는가.
- reasoning trace가 visual evidence에 grounded되어 있는가.
- eval set에 training corpus와 중복되거나 near-duplicate인 sample이 섞여 있지 않은가.
- task taxonomy가 data generation, filtering, ablation까지 연결되어 있는가.
VideoKR은 이 질문들에 대해 꽤 재사용 가능한 template을 준다. video가 아니더라도, knowledge bank -> scenario generation -> skill-based QA -> shortcut filtering -> expert reannotation이라는 흐름은 그대로 가져올 수 있다.
7-2. Reuse potential
재사용하고 싶은 포인트는 아래 5가지다.
- Single-frame probing의 일반화
- video에서는 single frame shortcut을 본다.
- document AI에서는 text-only, first-page-only, OCR-only, layout-free probing으로 바꿔 쓸 수 있다.
- agent benchmark에서는 tool-free, single-observation, retrieval-free probing으로 바꿀 수 있다.
- Skill taxonomy를 data mixture control에 직접 연결
- VidR, KnowVid, KnowVidR처럼 capability를 나누면 data ablation이 가능해진다.
- 단순 category label이 아니라 training recipe의 control knob가 된다.
- Expert-validated model selection
- synthetic data generator를 하나로 고정하지 않고, pipeline stage별로 eligible model을 고르는 방식은 실무적으로 유용하다.
- metadata filtering, visual relevance judgment, QA generation, rationale verification은 요구 능력이 다르기 때문이다.
- CoT를 무조건 넣지 않고 역할을 분리
- CoT는 knowledge-intensive reasoning에는 도움이 되지만 general benchmark에는 손해를 줄 수 있다.
- 따라서 CoT는 모든 data에 넣을 default가 아니라 target capability에 맞춘 supervision choice로 봐야 한다.
- SFT와 RL corpus를 분리 설계
- SFT corpus는 reasoning style과 domain grounding을 가르친다.
- RL corpus는 answer verifiability와 harder reasoning을 강화한다.
- 이 분리는 multimodal post-training recipe를 짤 때 꽤 중요하다.
7-3. Follow-up papers
- Video-R1
- VideoRFT
- OneThinker
- VideoAuto-R1
- VideoMMMU
- MMVU
- SciVideoBench
- Qwen2.5-VL technical report
- Qwen3-VL technical report
8. Summary
- VideoKR은 새 video VLM architecture가 아니라 knowledge-intensive video reasoning을 위한 data-centric post-training paper다.
- 145K개의 새 CC-licensed expert-domain video와 315K개의 reasoning example을 기반으로 VideoKR-SFT-201K와 VideoKR-RL-114K를 구성한다.
- 핵심 설계는 VidR, KnowVid, KnowVidR 세 skill로 example을 만들고, shortcut과 unsupported reasoning trace를 filtering하는 것이다.
- VideoKR-Eval은 multi-model single-frame probing과 expert reannotation을 통해 continuous video understanding을 더 강하게 요구하도록 만든 benchmark다.
- 가장 중요한 해석은 VideoKR이 general video understanding을 전부 올린다기보다, data design을 knowledge-intensive reasoning 쪽으로 맞추면 그 능력이 명확히 강화된다는 점이다.
댓글남기기