10 분 소요

0. Introduction

Paper link

Project page

DataClaw0는 multimodal data curation을 “annotation”이 아니라 agentic data tailoring capability로 재정의하는 논문이다. 여기서 tailoring은 raw multimodal stream에서 downstream task에 필요한 evidence를 고르고, 정렬하고, 재구성하고, schema에 맞는 training sample로 materialize하는 과정이다.

논문이 겨냥하는 raw data는 image-text pair처럼 깔끔하지 않다. Hours-long tutorial video, robot trajectory, GUI operation log, daily-life egocentric video, educational visual-text material처럼 noisy하고 redundant하며 weakly structured한 multimodal streams다. 이런 stream에는 procedural knowledge, physical dynamics, implicit decision logic이 들어 있지만, 바로 SFT나 RL data로 쓰기 어렵다. 논문은 이를 high data entropy problem이라고 부른다.

DataClaw0의 핵심은 deterministic Factual Anchors와 generative semantic synthesis를 분리하는 것이다. 먼저 raw stream에서 frame range, action fragments, OCR, GUI events, object states, temporal transitions 같은 factual anchors를 뽑는다. 그 다음 strong VLM이 user intent와 target schema에 맞춰 structured training sample을 생성한다. 이후 DataClaw0-9B model은 SFT와 GRPO로 이 tailoring capability를 학습한다.

한 줄 요약: DataClaw0는 high-entropy multimodal streams를 downstream intent에 맞는 structured training data로 바꾸기 위해 factual-anchor-based construction pipeline, DataClaw0-val benchmark, SFT와 GRPO training, expert/omni deployment paradigms를 제안한 agentic multimodal data tailoring framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같다.

  • Multimodal raw stream을 captioning 대상이 아니라 data-construction resource로 본다.
  • Data curation을 static heuristic이 아니라 learnable agent capability로 정의한다.
  • GUI, Embodied AI, AIGC/World, Daily Life, Education의 다섯 domain을 같은 tailoring schema로 다룬다.
  • DataClaw0-val과 DataClaw0-Intent를 통해 schema validity, semantic alignment, sequence consistency를 평가한다.
  • Downstream validation을 video generation, real-world VQA, GUI navigation post-training으로 연결한다.
  • Training JSONL과 media artifacts를 분리하는 artifact management design이 실제 데이터 파이프라인에 재사용 가능하다.

이 글에서는 DataClaw0를 “multimodal synthetic data model”보다, raw stream을 task-specific, schema-valid, downstream-useful training sample로 변환하는 data-engineering agent paper로 읽는다.

1. Problem Setting

1-1. Problem definition

DataClaw0가 다루는 문제는 raw multimodal stream $X$와 user/downstream intent $I$가 주어졌을 때, 이를 schema-valid structured knowledge asset $Y$로 바꾸는 것이다.

\[Y \sim \pi_{\theta}(Y \mid X,I,\mathcal{S})\]

여기서 $\mathcal{S}$는 target schema다. 예를 들면 GUI action JSON, embodied trajectory reasoning, video generation prompt와 motion plan, spatio-temporal VQA item, lecture summary format 같은 구조다.

중요한 점은 $Y$가 단순 caption이 아니라는 것이다. Tailoring output은 다음 조건을 동시에 만족해야 한다.

  • raw stream에서 task-relevant evidence를 고른다.
  • redundant하거나 distracting한 segment를 버린다.
  • temporal order와 spatial relation을 보존한다.
  • target schema를 지킨다.
  • downstream model post-training에 실제로 쓸 수 있어야 한다.

DataClaw0는 이 문제를 high data entropy reduction으로 본다. Raw video, GUI logs, robot trajectories, daily-life videos, education materials는 정보량은 많지만, supervision signal은 흩어져 있다. 따라서 핵심은 more annotation이 아니라 intent-conditioned entropy reduction이다.

1-2. Why previous approaches are insufficient

1) Heuristic sampling

Uniform frame sampling이나 rule-based clipping은 long stream 안의 task-critical moment를 놓치기 쉽다. Raw stream의 대부분은 downstream task에 직접 필요하지 않은 background일 수 있다.

2) Coarse captioning

Captioning은 scene을 설명할 수 있지만, training sample로 바로 쓸 수 있는 structured output을 보장하지 않는다. 특히 temporal transition, action sequence, GUI coordinate, object state change 같은 요소는 free-form caption에서 쉽게 빠진다.

3) Direct VLM annotation

General VLM에게 raw stream을 그대로 넣고 QA나 caption을 만들게 하면 hallucination, fragmented output, low-density supervision 문제가 생긴다. 긴 multimodal stream에서는 grounding이 약해지고 schema validity도 흔들린다.

4) Static data curation

기존 data curation은 대개 pipeline 또는 heuristic이다. DataClaw0는 이를 learnable capability로 바꾼다. 즉 model이 user intent에 맞춰 어떤 evidence를 살리고 어떤 구조로 재조립할지 학습한다.

2. Core Idea

2-1. Main contribution

DataClaw0의 contribution은 네 가지다.

  1. Agentic Data Tailoring formulation
    • Raw stream을 captioning 대상이 아니라 downstream-intent-conditioned structured supervision source로 본다.
    • Task-critical evidence selection과 schema-constrained generation을 핵심 능력으로 둔다.
  2. Two-stage data construction
    • Bottom-up factual anchor extraction.
    • Top-down semantic synthesis by strong VLM.
    • Five domains: GUI Agents, Embodied AI, AIGC/World, Daily Life, Education.
  3. DataClaw0-9B training
    • Qwen3.5-9B 기반.
    • 34K cleaned instruction refinement data로 SFT.
    • Rule-driven GRPO로 format, anchor grounding, reasoning efficiency를 최적화한다.
  4. Validation through downstream post-training
    • DataClaw0-val과 DataClaw0-Intent benchmark를 만든다.
    • Video generation, real-world VQA, GUI navigation post-training으로 data utility를 검증한다.

2-2. Design intuition

핵심 설계는 다음 분리다.

Factual Anchor는 deterministic하다.
Semantic synthesis는 generative하다.

Factual Anchor는 frame range, object state, OCR, GUI event, action fragment, trajectory state, temporal boundary처럼 raw stream에서 직접 검증 가능한 low-level grounding이다.

Generative synthesis는 이 anchor를 바탕으로 user intent와 target schema에 맞는 structured output을 만든다. 이 분리가 중요한 이유는 strong VLM의 생성 능력은 쓰되, grounding을 완전히 VLM hallucination에 맡기지 않기 위해서다.

또 하나의 설계 직관은 deployment를 두 방식으로 나눈다는 점이다.

Paradigm 의미
DataClaw0-O 여러 domain을 함께 학습한 omni model
DataClaw0-E Domain-specific tailoring agent를 가진 expert-style system

논문 결과는 heterogeneous multimodal extraction에서는 expert routing이 sequence-sensitive tasks에서 특히 중요하다는 쪽을 보여준다.

3. Architecture / Method

3-1. Overview

항목 내용
Goal Raw multimodal stream을 structured training data로 변환
Core concept Agentic Data Tailoring
Construction Factual anchor와 VLM semantic synthesis
Domains GUI, Embodied AI, AIGC/World, Daily Life, Education
Base model Qwen3.5-9B
Training SFT와 rule-driven GRPO
Deployment Omni model과 domain expert model
Benchmark DataClaw0-val과 DataClaw0-Intent
Downstream validation GUI navigation, action video generation, spatio-temporal VQA

3-2. Problem formulation

기존 multimodal task는 video captioning이나 VQA처럼 passive description에 가깝다. DataClaw0는 model을 data-tailoring agent로 본다.

Input:

raw multimodal stream + intent instruction + target schema

Output:

customized structured knowledge asset

Output은 free-form text가 아니라 JSON, Markdown, action-code logic, ordered trajectory annotation처럼 task-specific schema를 지켜야 한다.

3-3. Data construction pipeline

1) Bottom-up factual anchor extraction

Lightweight expert module, metadata parser, heuristic rule이 factual anchor를 추출한다.

예시는 다음과 같다.

  • key frames
  • OCR text
  • GUI events
  • object states
  • action fragments
  • trajectories
  • scenes
  • temporal boundaries

이 anchor들은 hallucination을 줄이고, 뒤의 VLM synthesis 단계가 참고할 수 있는 concrete evidence를 제공한다.

2) Top-down semantic synthesis

Strong VLM은 raw input, extracted anchor, domain-specific intent를 함께 받아 required schema에 맞는 structured supervision을 생성한다.

이 단계는 long-range logical chaining을 수행하고, anchor를 reasoning/action description, question, answer, generation prompt 같은 training example로 바꾼다.

3) Unified output과 artifact

논문은 artifact management를 강조한다. Training JSONL과 media artifact를 분리하며, multimodal example은 모든 media를 text 안에 직접 넣기보다 image/video clip, frame range, GUI screenshot을 reference하는 경우가 많기 때문이다.

4) Validation과 quality control

Validation check는 다음 항목을 포함한다.

  • schema validity
  • temporal validity와 artifact validity
  • task-structure validity
  • train source와 validation source 사이의 leakage control
  • construction의 resumability와 auditability

3-4. Rule-driven GRPO

SFT 이후 DataClaw0는 rule-driven GRPO를 적용한다. 별도의 neural reward model을 학습하는 대신, structured multimodal data에 맞춘 deterministic reward를 사용한다.

Reward는 다음 신호를 결합한다.

Reward signal 목적
Format/schema reward Valid structured output 보장
Physical/factual anchor reward Output이 extracted anchor에 grounded되도록 유지
Reasoning efficiency penalty 지나치게 verbose하거나 unfocused한 reasoning 억제

GRPO는 group 안에서 sampled output을 normalize하고, clipped objective와 reference model 대비 KL regularization을 사용해 policy를 업데이트한다.

3-5. Inference and deployment

Inference는 세 단계로 진행된다.

  1. Multimodal ingestion과 intent parsing.
  2. Schema-constrained policy inference.
  3. Factual anchor를 사용한 post-hoc grounding verification.

Deployment paradigm은 두 가지다.

Paradigm Trade-off
DataClaw0-O 더 단순한 unified omni model, 더 큰 cross-domain flexibility
DataClaw0-E Domain-specific expert, 더 강한 specialization과 modular scalability

3-6. Benchmark construction

DataClaw0-val은 multiple domain, multimodal input type, target schema, long-tail case를 포괄하는 200개 diversity-aware example로 구성된다.

DataClaw0-Intent는 fuzzy-intent stress test다. Colloquial, ambiguous, incomplete request에서 model이 underspecified user intent를 추론할 수 있는지 평가한다.

Metric은 계층적으로 구성된다.

  • JSON validity
  • field/schema correctness
  • textual semantic alignment
  • trajectory/sequence consistency

4. Training / Data / Recipe

4-1. Data

Dataset은 다섯 개의 대표적인 high-entropy multimodal domain을 포함한다.

Domain Typical stream Typical output
GUI Agents GUI operation log와 screenshot coordinate를 포함한 ordered action JSON
Embodied AI robot trajectory와 object state action reasoning, fault diagnosis, corrective trajectory
AIGC / World Models visual generation 또는 world-model stream prompt, motion plan, key evidence frame
Daily Life egocentric 또는 procedural video step-by-step reasoning과 QA
Education lecture 또는 visual-text material key concept와 interlaced text-image summary

SFT에는 엄격하게 정제한 34K instruction refinement example을 사용한다. 식별 가능한 stream 또는 task ID가 있는 경우 DataClaw0-val source는 training pool에서 제외하고, 반복되는 GUI/embodied task template도 제거한다.

4-2. Training recipe

보고된 recipe는 다음과 같다.

Stage Setting
Base Qwen3.5-9B
SFT data 34K cleaned instruction refinement examples
SFT epochs 1
RL method GRPO
Reward type deterministic rule rewards
Training hardware A100 GPUs

논문은 DataClaw0-O와 DataClaw0-E를 모두 평가한다. DataClaw0-E는 sample을 domain-specific expert로 route한다.

4-3. Engineering notes

  1. Anchor와 synthesis를 분리한다
    • VLM synthesis 전에 deterministic extraction이 grounding을 제공하도록 한다.
  2. Semantic quality 전에 schema를 검증한다
    • Text가 그럴듯해 보여도 invalid JSON이나 missing field가 있으면 training에 사용할 수 없다.
  3. Media artifact를 별도로 추적한다
    • JSONL은 stable artifact ID를 통해 frame range, image, video를 참조해야 한다.
  4. Source-disjoint validation을 사용한다
    • Raw video, GUI session, robot trajectory에 반복 template이 있으면 leakage가 쉽게 발생한다.
  5. Omni와 expert deployment를 의도적으로 선택한다
    • Mixed-domain training은 interference를 만들 수 있으므로, expert routing으로 specialization을 높인다.

5. Evaluation

5-1. DataClaw0-val results

Benchmark는 GUI, Embodied, AIGC, Daily Life, Education, Fuzzy intent subset에서 Field, Semantic, Sequence quality를 평가한다.

주요 해석은 다음과 같다.

  • DataClaw0-E는 strong schema following과 competitive semantic performance를 보인다.
  • Expert routing은 overall Field, Semantic, Sequence metric에서 DataClaw0-O보다 낫다.
  • Sequence-sensitive domain, 특히 GUI와 embodied setting은 specialization의 이득을 크게 받는다.
  • Proprietary MLLM은 일부 semantic-heavy case에서 여전히 강하지만, DataClaw0-E는 structured data synthesis의 controllability가 더 좋다.

5-2. Downstream application

논문은 세 가지 downstream task의 SFT를 통해 data utility를 검증한다.

Task Base model Metrics
GUI navigation Qwen3.5-4B SSR, TSR
Action video generation Wan2.2-I2V-5B FVD, temporal consistency, Contact mAP
Spatio-temporal VQA Qwen3.5-4B Partial Accuracy, Overall Accuracy

비교는 같은 raw stream에서 Qwen3.5-9B, Gemini-3.1-Pro, DataClaw0가 생성한 SFT data를 사용한다. Strict data-volume alignment 조건에서 DataClaw0는 전반적으로 Gemini와 비슷하며, 여러 end-to-end metric에서는 더 좋은 결과를 보인다.

보고된 예시는 다음과 같다.

  • GUI TSR: Gemini-generated data 14.2, DataClaw0-generated data 15.6.
  • Action video FVD: Gemini 295.4, DataClaw0 288.6.
  • Contact mAP: Gemini 48.5, DataClaw0 51.2.
  • Spatio-temporal VQA overall accuracy: Gemini 31.5, DataClaw0 33.2.

5-3. Scaling과 diversity

논문은 mixed-domain training에서 DataClaw0-O의 scaling이 불안정할 수 있고, DataClaw0-E는 expert routing으로 task interference를 줄인다고 보고한다.

Feature-space와 fuzzy-intent analysis는 DataClaw0가 training pattern을 단순 암기하기보다 semantic diversity를 높인다는 점을 시사한다.

5-4. Ablation

Ablation이 보여주는 내용은 다음과 같다.

  • SFT는 기본적인 instruction following과 structured generation을 만든다.
  • Format/text-oriented reward만 쓴 GRPO는 semantic을 개선할 수 있지만 sequence fidelity를 해칠 수 있다.
  • Physical/factual anchor reward를 추가하면 sequence consistency가 좋아진다.
  • Expert routing은 중요하다. GUI expert를 embodied task에 쓰거나 embodied expert를 GUI task에 쓰면 성능이 크게 떨어진다.

5-5. What really matters in the experiments

1) Downstream utility가 실제 test다

논문은 annotation score에서 멈추지 않고, tailored data가 GUI navigation, video generation, spatio-temporal VQA를 실제로 개선하는지 확인한다.

2) Schema validity는 필요하지만 충분하지 않다

Valid field만으로는 충분하지 않다. Output은 semantic alignment와 sequence consistency도 만족해야 한다.

3) High-entropy stream에서는 expert routing이 중요하다

Mixed-domain multimodal tailoring은 interference를 만들 수 있다. Domain expert는 이 interference를 줄인다.

4) Data quantity가 핵심 claim은 아니다

핵심 주장은 high-information-density data다. 같은 data budget에서는 더 나은 tailoring이 약한 annotation source보다 좋은 결과를 만들 수 있다.

6. Limitations

  1. Synthetic construction dependence가 있다
    • Large training corpus는 expert module과 strong VLM synthesis가 포함된 pipeline으로 만들어진다.
  2. Strong VLM dependency가 있다
    • Top-down semantic synthesis는 data construction 과정에서 더 강한 model을 사용한다.
  3. Domain coverage가 제한적이다
    • 다섯 domain은 넓은 편이지만 exhaustive하지는 않다.
  4. Expert routing overhead가 있다
    • DataClaw0-E는 specialization을 개선하지만, routing과 multiple expert 유지 비용이 필요하다.
  5. Evaluation metric coverage가 제한적이다
    • Field, Semantic, Sequence metric은 유용하지만 모든 downstream failure mode를 포착하지는 못한다.
  6. Raw stream ambiguity가 있다
    • 일부 user intent는 여러 valid tailoring output을 허용할 수 있다.
  7. Artifact management complexity가 있다
    • Multimodal JSONL과 external media reference를 함께 관리하려면 세심한 versioning과 validation이 필요하다.
  8. Downstream task는 representative일 뿐 complete하지 않다
    • GUI navigation, video generation, VQA가 모든 post-training use case를 대표하지는 않는다.
  9. Reward design은 task-specific하다
    • 새 schema와 domain에는 rule reward를 다시 설계해야 한다.
  10. Human audit은 여전히 필요하다
    • High-stakes data construction에는 여전히 human validation과 provenance check가 필요하다.

7. My Take

7-1. Why this matters for my work

DataClaw0의 핵심은 “multimodal data를 많이 만든다”가 아니다. 더 중요한 점은 raw stream을 downstream training objective에 맞게 압축하고 재구성하는 능력을 model capability로 본 것이다.

이 관점은 데이터 엔지니어링과 post-training을 분리하지 않는다. 좋은 data agent는 raw evidence를 보고, intent를 해석하고, schema를 지키며, downstream task에 바로 쓰일 수 있는 example을 만든다.

7-2. Reuse potential

Multimodal post-training data

Robot trajectory, GUI log, lecture, egocentric video, generation trace를 task-specific SFT/RL data로 변환할 수 있다.

Data pipeline design

Raw stream이 길고 hallucination에 민감한 경우 factual-anchor-first construction을 재사용할 수 있다.

Agentic data curation

Model은 준비된 data의 consumer에 머무르지 않고 data pipeline의 일부가 될 수 있다.

Downstream validation

Data quality는 annotation의 겉보기 품질뿐 아니라 downstream post-training이 실제로 개선되는지로 판단해야 한다.

7-3. Production considerations

  • Factual anchor와 generated sample을 분리해 저장한다.
  • Media artifact와 JSONL reference를 함께 versioning한다.
  • Semantic scoring 전에 schema를 검증한다.
  • Video, GUI session, trajectory에는 source-disjoint split을 사용한다.
  • 새 domain이나 high-stakes data에는 human review를 추가한다.
  • 단순성이 중요하면 omni model을, domain-specific quality가 중요하면 expert routing을 선택한다.

7-4. Follow-up papers

  • Autodata
  • Self-Instruct and CoT Self-Instruct
  • DataComp and DataPerf
  • ShareGPT4V and LLaVA data papers
  • Ego4D
  • Android in the Wild and AndroidWorld
  • OpenCUA / AgentNet
  • VLM data curation and hallucination benchmark papers

8. Summary

  • DataClaw0는 multimodal data curation을 agentic data tailoring으로 재정의한다.
  • High-entropy raw stream을 intent-aligned structured training data로 변환한다.
  • Construction pipeline은 deterministic factual anchor와 generative semantic synthesis를 분리한다.
  • DataClaw0-9B는 SFT와 rule-driven GRPO로 학습되며, omni model 또는 expert model로 배포된다.
  • 핵심 교훈은 data quality를 annotation form만이 아니라 downstream post-training utility로 검증해야 한다는 점이다.

댓글남기기

참고