Autodata: An agentic data scientist to create high quality synthetic data Review
0. Introduction
Autodata는 synthetic data generation을 “LLM에게 example을 많이 만들게 하자”에서 한 단계 더 밀어붙이는 논문이다. 이 논문이 묻는 질문은 단순하다. AI agent가 data scientist처럼 data를 만들고, 평가하고, 실패를 분석하고, generation recipe를 고치고, 심지어 그 data scientist agent 자체를 meta-optimize할 수 있는가다.
최근 synthetic data는 LLM post-training에서 매우 중요해졌다. Self-Instruct, CoT Self-Instruct, Grounded Self-Instruct, self-play, challenger-solver data generation은 모두 강한 model이 약한 model을 위한 data를 만들 수 있다는 가정을 쓴다. 하지만 대부분의 방법은 data generation prompt를 고정하거나, 생성 후 filtering을 한다. 이 경우 생성된 data가 너무 쉽거나, 너무 어렵거나, rubric이 약하거나, weak solver가 전부 0점만 받아 RL signal이 사라지는 문제가 생긴다.
Autodata는 이를 data scientist loop로 바꾼다. Agent는 data를 만든 뒤 “이 data가 target model에게 useful learning signal을 주는가”를 직접 평가한다. Weak solver와 strong solver를 굴려보고, judge가 quality와 learning suitability를 판단하고, agent가 실패 이유를 분석해 challenger prompt를 고친다. 최종적으로는 data scientist agent 자체의 prompt와 scaffold도 outer loop에서 meta-optimize한다.
한 줄 요약: Autodata는 synthetic data creation을 data generation, data analysis, recipe revision, meta-optimization으로 구성된 agentic data-science loop로 정의하고, Agentic Self-Instruct 구현을 통해 CS research, legal reasoning, scientific reasoning에서 standard CoT Self-Instruct보다 learning signal이 좋은 data를 만드는 방법을 제시한다.
이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.
- Synthetic data를 static generation과 filtering이 아니라 iterative data-scientist agent workflow로 재정의한다.
- Weak solver, strong solver, judge, challenger를 사용해 data가 target model에게 too easy 또는 too hard하지 않은지 직접 본다.
- Data quality를 correctness만이 아니라 GRPO-suitability, weak/strong separation, reward variance로 평가한다.
- CS research QA, legal reasoning, scientific reasoning이라는 서로 다른 failure regime에서 method가 어떻게 바뀌는지 보여준다.
- Meta-optimization으로 data scientist prompt itself를 개선해 validation pass rate를 62.1%에서 79.6%로 높였다고 보고한다.
- “더 많은 inference compute를 더 좋은 training data로 바꾸는 방법”이라는 큰 방향을 제시한다.
이 글에서는 Autodata를 “synthetic data paper”보다, data creation agent itself를 optimize하는 agentic data curation framework로 읽는다.
1. Problem Setting
1-1. Problem definition
Synthetic data generation은 보통 generator $G$가 source context $c$에서 example $x$를 생성하는 문제로 볼 수 있다.
\[x \sim G(\cdot \mid c,p)\]여기서 $p$는 data generation prompt 또는 recipe다. 문제는 생성된 example이 target model training에 실제로 도움이 되는지 알기 어렵다는 것이다.
Training data는 단순히 correct해야 하는 것이 아니라 useful해야 한다.
Useful example은 다음을 만족해야 한다.
- Strong solver가 풀 수 있거나 judge가 검증할 수 있어야 한다.
- Weak solver가 어려워하되 degenerate한 방식으로 실패해서는 안 된다.
- RL에 필요한 reward signal variance가 있어야 한다.
- Rubric 또는 reference answer가 실제로 사용 가능해야 한다.
- Data가 leaked, malformed, trivial하면 안 된다.
- Surface recall이 아니라 reasoning capability를 겨냥해야 한다.
Autodata는 이를 data scientist agent의 objective로 둔다. Agent는 example을 만들고, weak/strong solver rollouts를 관찰하고, judge feedback을 보고, prompt recipe를 수정한다.
1-2. Why previous approaches are insufficient
1) Self-Instruct
Self-Instruct는 많은 instruction을 저렴하게 생성할 수 있지만, generation prompt가 static하고 quality control은 대부분 post-hoc이다.
2) CoT Self-Instruct
CoT Self-Instruct는 더 complex한 example을 생성하지만, complexity만으로는 충분하지 않다. CS task에서는 example이 여전히 너무 쉬울 수 있다. Legal task에서는 example이 너무 어려워 weak rollout이 전부 0점으로 수렴할 수 있다.
3) Filtering after generation
Filtering은 나쁜 example을 제거할 수 있지만, generator에게 example이 왜 실패했는지는 가르치지 못한다. Autodata는 judge analysis를 generation loop에 다시 투입한다.
4) Difficulty-only objective
어려운 example이 항상 유용한 것은 아니다. Weak solver가 항상 실패하고 strong solver도 실패하거나 rubric이 약하면 RL signal은 빈약해진다. Autodata는 단순한 difficulty가 아니라 learning signal을 목표로 한다.
2. Core Idea
2-1. Main contribution
Autodata는 두 수준으로 구성된다.
- General Autodata loop
- Data Creation
- Data Analysis
- Learning과 recipe revision
- Quality target까지 반복
- Data scientist agent의 optional meta-optimization
- Agentic Self-Instruct
- Main orchestrator agent
- Challenger
- Weak solver
- Strong solver
- Verifier/judge
- Iterative prompt refinement
2-2. Design intuition
핵심 intuition은 다음과 같다.
Data generator는 data가 그럴듯해 보이는지만 볼 것이 아니라, 그 data가 model을 실제로 학습시켰는지를 봐야 한다.
Weak/strong setup은 이 intuition을 실제 평가 절차로 만든다.
| Component | Role |
|---|---|
| Challenger | Candidate example을 생성 |
| Weak solver | Target model에게 어느 정도 어려운지 나타냄 |
| Strong solver | Capability의 상한 기준을 제공 |
| Judge/verifier | Output과 example quality를 평가 |
| Orchestrator | Failure를 분석하고 recipe를 update |
목표는 useful gap이다. Example은 strong solver가 풀 수 있고 weak solver에게는 어렵되, weak solver가 learning signal을 전혀 받지 못할 정도로 어렵지는 않아야 한다.
3. Architecture / Method
3-1. Overview
| Item | Description |
|---|---|
| Goal | Create high-quality synthetic training/evaluation data |
| Framework | Autodata |
| Practical implementation | Agentic Self-Instruct |
| Inner loop | Generate, evaluate, analyze, revise data recipe |
| Outer loop | Meta-optimize data scientist agent prompt/scaffold |
| Core actors | Orchestrator, challenger, weak solver, strong solver, judge |
| Domains | CS research QA, legal reasoning, scientific reasoning |
| Training use | GRPO training of Qwen3.5-4B |
| Main idea | Convert inference-time compute into better training data |
3-2. Module breakdown
1) Data creation
Challenger는 domain에 따라 context, question, reference answer, evaluation rubric을 생성한다.
CS research task의 source는 academic CS paper다. Legal reasoning의 source는 public legal document다. Scientific reasoning에서는 mathematical object와 관련된 task를 source로 사용한다.
2) Solver rollout
Weak solver와 strong solver가 생성된 example을 시도한다.
\[y_w \sim S_w(x)\] \[y_s \sim S_s(x)\]Weak solver는 어려워해야 하고 strong solver는 성공해야 한다. 정확한 threshold는 domain에 따라 달라진다.
3) Judge evaluation
Judge는 solver output을 평가하고 example quality도 함께 점검한다. Judge는 다음을 식별할 수 있다.
- context leakage
- malformed rubric
- trivial question
- too-hard question
- weak/strong gap issue
- low reward variance
- poor GRPO suitability
4) Analysis and recipe revision
Orchestrator는 judge report와 solver failure를 읽은 뒤 challenger prompt를 update하거나 targeted feedback을 준다. 이를 통해 iterative improvement loop가 만들어진다.
5) Meta-optimization
Autodata는 agent 자체도 개선할 수 있다. 논문은 prompt/scaffold modification을 제안하고 held-out paper에서 평가한 뒤 validation score가 개선될 때만 accept하는 evolution-style optimization framework를 사용한다.
이는 data scientist에 대한 outer-loop optimization이다.
4. Training / Data / Recipe
4-1. CS research tasks
Setup:
| Item | Value |
|---|---|
| Source | 10k+ CS papers from S2ORC, 2022+ |
| Orchestrator/challenger/judge | Kimi-K2.6 |
| Strong solver | Qwen3.5-397B-A17B |
| Weak solver | Qwen3.5-4B |
| Accepted examples | 2.8k |
| Final filtered agentic examples | 1.3k |
| CoT baseline data | 1.3k filtered examples |
| RL model | Qwen3.5-4B |
| RL method | GRPO |
| Test | 200-prompt held-out set |
Quality statistics:
| Metric | CoT Self-Instruct | Agentic Self-Instruct |
|---|---|---|
| Weak solver avg | 0.677 | 0.458 |
| Strong solver avg | 0.696 | 0.772 |
| Gap | 0.019 | 0.314 |
| Agentic rounds | 1.00 | 6.59 |
RL results at step 200:
| Model | CoT test mean@3 | Agentic test mean@3 |
|---|---|---|
| Base Qwen3.5-4B | 0.630 | 0.366 |
| RL on CoT data | 0.727 | 0.500 |
| RL on Agentic data | 0.774 | 0.632 |
4-2. Legal reasoning tasks
Legal data는 반대의 failure mode를 가진다. CoT example이 너무 어려워 weak solver score가 0 근처로 몰리고 GRPO usefulness가 줄어든다.
Setup:
| Item | Value |
|---|---|
| Source | Pile of Law public legal documents |
| Documents processed | 7.8k |
| CoT usable examples | 5.7k |
| Agentic accepted examples | 2.8k |
| Evaluation | PRBench-Legal과 PRBench-Legal-Hard |
| Graders | GPT-5와 Kimi-K2.6 |
Quality statistics:
| Metric | CoT Self-Instruct | Agentic Self-Instruct |
|---|---|---|
| Weak solver avg | 0.159 | 0.283 |
| Strong solver avg | 0.717 | 0.698 |
| Gap | 0.558 | 0.415 |
| Weak rollout std | 7.93 | 12.63 |
핵심은 task를 더 어렵게 만드는 것이 아니다. Reward signal을 더 usable하게 만드는 것이다.
RL result는 Agentic data가 두 grader 기준의 두 PRBench split 모두에서 CoT data와 397B no-RL baseline을 능가함을 보여준다.
4-3. Scientific reasoning
Scientific reasoning은 Principia-style mathematical-object task를 사용한다.
| Item | Value |
|---|---|
| Weak solver | Qwen3.5-4B |
| Strong solver | Qwen3.5-397B-A17B |
| Orchestrator/challenger | Kimi-K2.6 |
| Per-source training data | 9k |
| Combined training data | 18k |
| RL method | GRPO |
| Group size | 8 |
| Batch size | 64 |
Agentic Self-Instruct는 가장 큰 avg@8 improvement를 낸다.
| Setting | Overall avg@8 |
|---|---|
| Base | 68.66% |
| CoT Self-Instruct | 71.08% |
| Agentic Self-Instruct | 71.86% |
| Combined | 71.36% |
OOD Principia benchmark에서도 Agentic data는 +1.04로 가장 좋은 overall avg@8 improvement를 보인다.
4-4. Meta-optimization
논문은 CS research task에서 data scientist prompt/scaffold를 meta-optimize한다.
| Item | Value |
|---|---|
| Training papers | 50 |
| Validation papers | 25 |
| Total iterations | 233 |
| Accepted iterations | 126 |
| Validation pass rate | 62.1% -> 79.6% |
Meta-optimizer는 prompt/scaffold를 code diff처럼 다루고, failure trajectory를 분석하며, modification을 제안한 뒤 validation score가 개선될 때만 change를 accept한다.
4-5. Engineering notes
- Difficulty만이 아니라 useful learning signal에 맞춘다
- CS task에는 더 어려운 example이 필요했다.
- Legal task에는 덜 degenerate한 example이 필요했다.
- Weak solver와 strong solver를 calibration에 사용한다
- 두 solver의 gap은 example이 capability를 구분하는지 보여준다.
- Reward variance를 확인한다
- GRPO에는 group 내부 variation이 필요하다.
- Judge feedback이 generation을 바꾸게 한다
- Static pool을 filtering하는 데서 끝내지 않는다.
- Data scientist를 meta-optimize한다
- Prompt와 scaffold도 data pipeline의 일부다.
5. Evaluation
5-1. Main evidence
가장 강한 evidence는 cross-domain consistency다.
| Domain | Main result |
|---|---|
| CS research | Agentic data가 CoT data보다 CoT 및 Agentic held-out test를 더 개선 |
| Legal reasoning | Agentic data가 더 GRPO-suitable한 weak rollout distribution을 만들고 PRBench를 개선 |
| Scientific reasoning | Combined보다 data가 적어도 Agentic data가 avg@8에서 CoT와 Combined를 능가 |
| Meta-optimization | Data scientist validation pass rate가 62.1%에서 79.6%로 개선 |
5-2. What really matters in the experiments
1) “High-quality data”는 target-model learning signal을 뜻한다
같은 method가 CS example은 더 어렵게, legal example은 더 쉽고 variable하게 이동시킨다. 이는 quality가 task와 model에 의존한다는 점을 보여준다.
2) Judge feedback을 적극적으로 사용한다
Autodata는 judge feedback이 future generation을 바꾼다는 점에서 filtering과 다르다.
3) Agentic data는 더 많은 data보다 나을 수 있다
Scientific reasoning에서 Combined가 18k example을 갖고 있음에도 Agentic data가 avg@8에서 Combined를 이긴다. 이는 raw quantity보다 data quality가 중요하다는 점을 뒷받침한다.
4) Meta-optimization은 장기적으로 중요한 방향이다
Data scientist agent를 optimize할 수 있다면 data creation은 hand-written prompt가 아니라 learning system이 된다.
6. Limitations
- Agent가 cheat를 시도할 수 있다
- 논문은 agent가 weak solver prompt를 더 약하게 바꾸는 등 일을 올바르게 수행하지 않으려는 시도를 보고한다.
- Strong judge와 solver가 필요하다
- Loop는 Kimi, Qwen strong solver, judge quality에 의존한다.
- Cost가 높다
- 여러 solver rollout을 포함한 multi-agent iterative generation은 비싸다.
- Data가 overly specific해질 수 있다
- CS example은 general reasoning보다 paper-specific experimental number에 과도하게 집중할 수 있다.
- Human-free loop는 risky하다
- 저자들은 현재 full training pipeline에서 human을 완전히 제거하는 것은 바람직하지 않을 가능성이 높다고 명시한다.
- Domain coverage가 제한적이다
- 실험은 CS, legal, scientific reasoning을 다루지만 general instruction following, safety, multi-turn agent, multimodal data는 다루지 않는다.
- Judge hacking risk가 있다
- Agent가 true data quality가 아니라 judge artifact에 맞춰 optimize할 수 있다.
- Meta-optimization scope가 제한적이다
- Outer loop은 CS task에서 보여졌으며, 더 넓은 일반성에는 추가 evidence가 필요하다.
- Reproducibility가 어렵다
- Strong frontier model version과 prompt detail이 중요하다.
- Safety와 legal issue가 있다
- Legal 또는 scientific corpora에서 만든 synthetic data에는 provenance, licensing, contamination check가 필요하다.
7. My Take
7-1. Why this matters for my work
Autodata의 핵심은 “synthetic data를 agent로 만든다”가 아니다. 더 중요한 점은 data generation 자체가 optimization target이 된다는 것이다.
LLM training recipe에서 data는 흔히 static input처럼 취급된다. Autodata는 data creation을 iterative하고 measurable하며 improvable한 process로 다룬다.
이는 큰 전환이다.
7-2. Reuse potential
Internal SFT/RL data creation
Domain-specific post-training에서는 한 model에게 한 번 example을 생성하게 하기보다 weak/strong/judge loop를 구축하는 편이 낫다.
Benchmark construction
Autodata는 target model은 실패하지만 stronger model은 성공하는 eval data를 생성해 benchmark saturation을 줄일 수 있다.
Agentic data curation
Data scientist loop는 coding task, tool-use task, RAG evaluation, safety red-teaming에 맞게 조정할 수 있다.
Data pipeline optimization
Prompt와 scaffold를 meta-optimize하면 사람이 prompt를 직접 다시 쓰지 않고도 data creation을 개선할 수 있다.
7-3. Production considerations
- 모든 data-generation trajectory를 log로 남겨야 한다.
- Anti-cheating constraint와 audit을 추가해야 한다.
- Weak solver distribution과 reward variance를 추적해야 한다.
- 매 iteration에서 sample을 human review해야 한다.
- Provenance와 license metadata를 유지해야 한다.
- Internal judge score만 보지 말고 held-out task가 실제로 개선되는지 평가해야 한다.
- Data scientist prompt/scaffold를 versioning해야 한다.
7-4. Follow-up papers
- Self-Instruct
- CoT Self-Instruct
- Grounded Self-Instruct
- UltraFeedback
- Absolute Zero
- Self-Challenging Language Model Agents
- SPICE
- Promptbreeder
- GEPA
- AI Scientist and autoresearch papers
8. Summary
- Autodata는 synthetic data creation을 agentic data-science loop로 정의한다.
- Agentic Self-Instruct는 challenger, weak solver, strong solver, judge를 사용한다.
- 목표는 단순히 어려운 data가 아니라 target model을 위한 useful learning signal이다.
- CS, legal, scientific reasoning task에서 CoT Self-Instruct보다 개선을 보인다.
- Data scientist agent 자체를 meta-optimize하면 validation pass rate가 추가로 개선된다.
댓글남기기