Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs Review

0. Introduction

Paper link

Code and benchmark

Crafter는 scientific figure generation을 단순한 image generation 문제가 아니라, structured output을 만드는 agentic harness 문제로 다시 정의하는 논문이다. 이 논문의 흥미로운 지점은 더 강한 image backbone을 제안하는 데 있지 않다. 오히려 이미 있는 generator를 감싸는 orchestration layer, structured memory, directive critic, iterative refinement가 scientific figure 같은 구조적 산출물에서 얼마나 중요한지를 보여준다.

과학 논문 그림은 자연 이미지와 다르다. 박스, 화살표, label, icon, panel, caption, local annotation이 각각 의미를 갖고, 한두 개만 틀려도 전체 설명이 깨진다. 따라서 예쁜 그림을 한 번 생성하는 것보다, intent를 보존하고, 국소 오류를 찾고, 수정 가능한 상태를 유지하는 쪽이 훨씬 중요하다.

한 줄 요약: Crafter는 scientific figure generation을 위해 multi-agent harness를 설계하고, CraftEditor로 raster output을 editable SVG로 바꾸며, CraftBench라는 cross-type, cross-condition benchmark로 이 설계가 단순 generator 호출보다 안정적인지 평가한 논문이다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• LLM/VLM agent가 image generator를 어떻게 안정적으로 감싸야 하는지에 대한 concrete system design을 보여준다.
• scientific figure, poster, infographic처럼 구조적이고 수정 가능한 multimodal output을 다룬다.
• text-only generation이 아니라 mask completion, key-element composition, sketch-conditioned generation까지 포함한다.
• benchmark와 evaluation protocol을 같이 제안해서, 단순 demo가 아니라 비교 가능한 task로 문제를 끌어낸다.
• closed-source generator의 성능을 그대로 믿기보다, orchestration과 verification이 실제로 얼마나 기여하는지 ablation으로 분리한다.

이 논문은 figure generation paper이지만, 더 넓게 보면 structured multimodal artifact generation paper로 읽는 편이 맞다. 과학 그림뿐 아니라 slide, document layout, UI mockup, report figure, diagram editing 같은 작업에서도 거의 같은 문제가 반복되기 때문이다.

1. Problem Setting

1-1. Problem definition

이 논문이 겨냥하는 문제는 publication-quality scientific figure를 다양한 입력 조건에서 만들고, 그 결과를 다시 사람이 수정할 수 있게 만드는 것이다.

Scientific figure에는 몇 가지 특성이 있다.

• 각 구성 요소가 의미를 가진다.
• label과 arrow가 논리 관계를 표현한다.
• 작은 오류도 논문 내용의 오해로 이어진다.
• 연구자는 첫 결과물을 그대로 쓰기보다, label, 색상, 위치, icon, arrow를 계속 수정한다.
• 실제 작업은 text prompt만으로 시작하지 않고, rough sketch, partial layout, reference icons, masked figure 같은 입력에서 출발할 때가 많다.

따라서 목표는 다음처럼 정리할 수 있다.

Item	Description
Input	paper text, instruction, sketch, mask, reference elements 등 다양한 조건
Output	readable and faithful raster figure
Extra requirement	local editing이 가능한 SVG 변환
Main difficulty	global style보다 local semantic correctness가 중요함
System requirement	generation, verification, revision을 닫힌 loop로 운영해야 함

1-2. Why previous approaches are insufficient

기존 접근은 크게 세 가지 한계를 가진다.

첫째, 많은 scientific figure generation system이 text-to-image academic diagram에 좁게 맞춰져 있다. 하지만 실제 연구자는 methodology figure만 만들지 않는다. poster도 만들고, infographic도 만들고, 이미 있는 sketch나 partial figure를 바탕으로 수정하기도 한다.

둘째, raster output은 실제 workflow에서 불편하다. PNG로 나온 그림은 예뻐 보여도 label 하나를 고치거나 arrow endpoint를 옮기기 어렵다. 연구자가 마지막 10 percent를 손으로 다듬어야 하는 상황에서는 editability가 품질의 일부가 된다.

셋째, naive retry나 free-text correction은 구조적 그림에서 쉽게 망가진다. 예를 들어 첫 round에서 “title을 키워라”라는 수정이 들어가고, 다음 round에서 “white space를 줄여라”라는 수정이 쌓이면 prompt 안에 서로 충돌하는 요구가 누적된다. 이미지 generator는 이런 충돌을 조용히 흡수하고, 결과물은 조금씩 faithfulness를 잃는다.

이 논문의 문제의식은 여기서 출발한다. 필요한 것은 더 큰 generator가 아니라, generator 주변에서 intent, plan, error, revision history를 구조화해서 관리하는 harness다.

2. Core Idea

2-1. Main contribution

Crafter의 핵심 기여는 세 가지로 볼 수 있다.

1. Crafter

   Scientific figure generation을 위한 multi-agent harness다. Intent reasoner, plan generator, image-generation backend, critic, specification refiner, convergence judge가 shared figure specification을 중심으로 협력한다.

2. CraftEditor

   Crafter나 외부 generator가 만든 raster figure를 editable SVG로 변환하는 harness다. Extraction, processing, composition 단계로 나누고, VLM critic과 programmatic checker를 함께 사용한다.

3. CraftBench

   3개 figure type과 4개 input condition을 포함하는 279-sample benchmark다. Text-to-image만 보지 않고, mask completion, key-element composition, sketch-conditioned generation까지 평가한다.

2-2. Design intuition

이 논문의 설계 직관은 단순하지만 중요하다.

Scientific figure는 자연 이미지처럼 “그럴듯함”만으로 평가할 수 없다. 특정 component가 빠졌는지, arrow가 잘못 연결됐는지, label이 가짜 텍스트인지, sketch의 spatial structure를 지켰는지 같은 요소가 직접 품질을 결정한다.

그래서 Crafter는 generator를 한번 호출하고 끝내지 않는다. 대신 다음 세 가지 메커니즘을 둔다.

• diversity-driven plan exploration: 여러 candidate plan을 먼저 만들고, 구조적으로 나은 출발점을 고른다.
• structured corrective layer: free-text 수정 지시를 계속 붙이지 않고, typed edit를 shared specification에 반영한다.
• verify-then-refine: scalar score가 아니라 actionable diagnostic을 내는 critic으로 오류를 찾고 다시 고친다.

이 설계의 장점은 task-specific behavior가 대부분 prompt와 specification에 머문다는 점이다. 즉 image-generation backend를 바꿔도 harness 구조는 그대로 둘 수 있다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	다양한 scientific figure input condition에서 faithful and editable output 생성
Main system	Crafter for raster figure generation
Editing system	CraftEditor for raster-to-SVG conversion
Shared abstraction	designer, executor, verifier, reviser loop over shared specification
Key memory	evolving figure specification
Key feedback	directive diagnostic and typed edits
Main evaluation	PaperBanana-Bench and CraftBench

논문은 harness를 네 가지 role의 loop로 정의한다.

Role	Crafter	CraftEditor
Designer	plan generator	SVG skeleton generator
Executor	image-generation backend	element-injection code
Verifier	multi-dimensional critic	hybrid critic
Reviser	specification refiner	SVG editor

핵심은 shared specification이다. 이 specification은 현재 plan, revision history, previous diagnostics를 담는 structured memory 역할을 한다. 다음 round의 prompt는 free-text 수정 지시를 계속 이어 붙이는 것이 아니라, 이 structured record에서 다시 조립된다.

3-2. Module breakdown

1) Intent reasoner and initial specification

Intent reasoner는 paper context와 user instruction을 읽고, figure가 어떤 communicative role을 가져야 하는지 해석한다. 예를 들어 방법론 overview인지, 비교 그림인지, pipeline diagram인지, poster section인지에 따라 필요한 요소와 layout constraint가 달라진다.

이 단계에서 shared specification의 초기 상태가 만들어진다. 여기서 panel count나 핵심 component가 빠지면 뒤쪽 refinement loop가 복구하기 어렵다. 실제 failure case에서도 multi-panel caption이 단일 panel로 collapsed되는 사례가 나오는데, 이는 intent reasoning 단계의 오류로 분석된다.

2) Diversity-driven plan exploration

Plan generator는 하나의 layout만 만들지 않고, 여러 candidate visual plan을 만든다. Image generation은 같은 prompt에서도 구조적 variance가 크기 때문에, 첫 plan이 잘못 잡히면 이후 refinement가 그 local basin 안에 갇히기 쉽다.

Crafter는 이 variance를 문제로만 보지 않고 search space로 사용한다. 여러 visual framing을 병렬로 만들고, convergence judge가 더 나은 시작점을 고른다. 이 단계는 refinement round를 더 돌리는 것과 다르다. 잘못된 composition을 고친다기보다, 애초에 나쁜 composition으로 들어가지 않게 하는 장치다.

3) Structured corrective layer

기존 iterative prompting은 보통 이전 prompt 뒤에 수정 문장을 계속 붙인다. 하지만 scientific figure에서는 수정 내용이 서로 충돌하기 쉽다.

Crafter는 critic이 낸 diagnostic을 typed edit로 바꿔 specification에 반영한다. 예를 들면 다음과 같은 operation으로 볼 수 있다.

• 특정 component를 추가한다.
• 특정 layout constraint를 강화한다.
• 특정 artifact category를 금지한다.
• 특정 element의 크기나 위치를 조정한다.
• 잘못된 label이나 missing panel을 명시한다.

이 방식은 prompt를 길게 만드는 것보다 중요하다. 수정 지시가 structured state에 반영되기 때문에, 다음 round의 prompt는 더 일관된 상태에서 생성된다.

4) Directive critic and verify-then-refine

Critic은 단순히 5/10 같은 scalar score를 주지 않는다. Per-dimension score, identified defect, suggested correction, revised figure description을 같이 낸다.

그 뒤 specification refiner가 이 diagnostic을 typed edits로 바꾸고, 다음 generation round에 fix guidance로 넣는다. Convergence judge는 accept, refine, revert 중 하나를 결정한다. 이때 best-so-far checkpoint를 두는 이유는 iterative editing이 항상 단조롭게 좋아지지 않기 때문이다.

5) CraftEditor

CraftEditor는 raster figure를 editable SVG로 바꾸는 별도 harness다. 단계는 세 가지다.

1. Extraction

   VLM designer가 keep/delete plan을 만들고, image editor가 visual clutter와 text overlay를 정리한다. Poster처럼 25 to 50개의 visual asset이 겹쳐 있는 경우 off-the-shelf segmentation만으로는 boundary와 semantic relevance를 안정적으로 분리하기 어렵기 때문이다.

2. Processing

   각 element를 captioning, grounding, vector-or-raster classification으로 정리한다. blank, mismatched, text-only extraction을 걸러내는 hallucination filter도 들어간다.

3. Composition

   SVG skeleton 후보를 만들고, extracted asset을 placeholder에 주입한다. 이후 VLM 기반 global fidelity check와 programmatic checker를 함께 사용한다. Programmatic checker는 text overflow, arrow endpoint, element overlap, missing component 같은 구조적 오류를 점검한다.

이 구성은 raster-to-vector conversion을 one-shot code generation으로 보지 않고, 구조적 composition problem으로 다룬다는 점에서 의미가 있다.

4. Training / Data / Recipe

4-1. Data

이 논문은 새로운 backbone을 학습하는 논문이 아니다. 대신 benchmark와 agentic execution recipe가 중요하다.

CraftBench는 총 279개 sample로 구성되어 있고, 세 가지 figure type과 네 가지 input condition을 포함한다.

Axis	Coverage
Figure type	academic figures, posters, infographics
Input condition	text-to-image, mask completion, key-element composition, sketch-conditioned generation
Source	arXiv papers, award-tier conference posters, long-form research blogs
Annotation	human quality annotation and graduate-level review for conditioned tasks
Purpose	cross-type and cross-condition generalization 평가

이 benchmark가 중요한 이유는 기존 evaluation이 text-to-image methodology figure에 너무 치우쳐 있었기 때문이다. 실제 연구 workflow에서는 이미 있는 sketch를 다듬거나, 일부 영역을 채우거나, 주어진 icon collage를 반영해야 하는 일이 많다.

4-2. Training strategy

별도 model training보다는 harness orchestration이 핵심이다.

• Crafter는 closed-source and open-source image generator를 executor로 사용한다.
• Agentic methods의 controlled comparison에서는 같은 image-generation backbone과 같은 VLM을 쓰도록 맞춘다.
• 평가에서는 PaperBanana-Bench와 CraftBench를 사용한다.
• CraftBench는 referenced VLM-as-judge protocol을 사용해 generated image와 human-drawn target을 비교한다.
• CraftEditor 평가는 raster-to-editable conversion quality를 position, color, text, icon, arrow, style, overall 축으로 본다.

이 논문에서 중요한 control은 backbone과 harness의 기여를 분리하려고 했다는 점이다. 단순히 더 좋은 generator를 썼기 때문에 좋아졌는지, 아니면 orchestration layer가 실제로 기여했는지를 보려면 같은 executor 조건에서 agentic pipeline을 비교해야 한다.

4-3. Engineering notes

구현 관점에서 이 논문은 다음 포인트가 중요하다.

• Agent가 공유하는 specification을 명시적 state로 둔다.
• 모든 수정 요청을 free-text history가 아니라 typed edit로 누적한다.
• Plan exploration은 초기 layout mode를 고르는 search로 본다.
• Critic은 score보다 diagnostic을 내야 한다.
• SVG conversion에서는 VLM critic만 쓰지 말고 programmatic checker를 같이 둔다.
• Best-so-far reversion을 둬서 iterative loop의 regression을 막는다.

실무적으로는 이 설계가 꽤 재사용 가능하다. 예를 들어 document layout generator나 UI mockup generator에서도, component-level constraint와 checker가 있어야 사람이 수정할 수 있는 산출물에 가까워진다.

5. Evaluation

5-1. Main results

가장 먼저 볼 것은 PaperBanana-Bench와 CraftBench 결과다. 아래는 주요 row만 추린 것이다.

Method	PaperBanana Overall	CraftBench Overall	Comment
GPT-Image-2	1.37	15.80	CraftBench에서 일부 invalid output 발생
Nano Banana 2	11.13	19.90	standalone generator
Nano Banana Pro	22.43	22.40	standalone generator
AutoFigure with Nano Banana 2	1.37	2.20	agentic baseline이지만 broader condition에서 약함
PaperBanana with Nano Banana 2	33.73	28.00	strongest controlled agentic baseline
Crafter with Nano Banana 2	50.34	50.20	same backbone controlled comparison
Crafter with Nano Banana Pro	50.00	52.30	stronger generator로 executor 교체

이 표에서 중요한 비교는 세 가지다.

첫째, 같은 Nano Banana 2 backbone을 쓴 조건에서 Crafter는 PaperBanana보다 PaperBanana-Bench overall에서 16.61 point, CraftBench overall에서 22.20 point 높다. 즉 단순히 generator가 좋아서가 아니라, harness 설계가 성능을 만든다는 주장에 힘이 실린다.

둘째, Crafter는 standalone generator 대비 모든 quality dimension과 task column에서 개선을 보인다. Nano Banana 2 대비 overall gain은 PaperBanana-Bench에서 39.21 point, CraftBench에서 30.30 point로 보고된다.

셋째, Nano Banana 2에서 Nano Banana Pro로 executor를 바꿔도 Crafter 구조는 유지된다. 성능이 조금 이동하긴 하지만, 핵심은 harness가 executor-agnostic하게 작동한다는 점이다.

5-2. What really matters in the experiments

1) Benchmark 자체가 contribution이다

CraftBench는 단순히 sample을 더 모은 benchmark가 아니다. 세 가지 figure type과 네 가지 input condition을 같이 보는 benchmark다. 그래서 text-to-image academic figure에 최적화된 pipeline이 broader workflow로 옮겨갔을 때 무너지는지를 볼 수 있다.

PaperBanana는 PaperBanana-Bench에서는 강하지만, CraftBench에서는 gain이 줄어들고 sketch task에서는 backbone보다 약해지는 구간도 있다. 이 지점은 논문의 핵심 메시지와 맞물린다. 좋은 scientific figure generator는 한 종류의 figure만 잘 만드는 것이 아니라, 다양한 input condition을 보존해야 한다.

2) Plan exploration과 structured correction은 단순 trick이 아니다

Ablation 결과도 꽤 명확하다.

Configuration	Overall	Drop vs full
Crafter	50.34	0.00
w/o plan exploration	41.78	8.56
w/o corrective layer	41.44	8.90
w/o refinement loop	44.86	5.48
w/o directive critic	45.30	5.04

가장 큰 drop은 corrective layer 제거에서 나온다. 이는 free-text correction을 계속 붙이는 방식이 구조적 산출물에서는 약하다는 논문의 문제의식을 잘 뒷받침한다.

Plan exploration 제거도 8.56 point drop을 만든다. 이 결과는 scientific figure generation에서 초기 layout choice가 매우 중요하다는 뜻이다. 잘못된 시작점에서 refinement를 많이 돌리는 것보다, 초기에 여러 composition mode를 탐색하는 편이 더 낫다.

3) CraftEditor는 editability를 실제 metric으로 끌어올린다

Scientific figure workflow에서 editability는 부가 기능이 아니다. 논문을 제출하기 전 마지막 수정은 대부분 local edit다. 그래서 raster-to-editable conversion은 실용성 측면에서 중요하다.

CraftEditor 결과는 다음과 같다.

System	Overall
Edit-Banana	3.69
AutoFigure-Edit	6.91
CraftEditor	8.04
w/o agentic cleaning	7.71
w/o iterative composition	5.89

특히 iterative composition을 제거하면 8.04에서 5.89로 떨어진다. 이는 SVG conversion이 단순 element extraction 문제가 아니라, structural composition과 iterative checking 문제라는 점을 보여준다.

4) 이 논문은 generator ceiling보다 robustness를 본다

Crafter가 generator의 visual ceiling을 새로 올린다고 보는 것은 조금 과장이다. 더 정확히는 generator가 가진 variance와 local failure를 harness가 줄여, 더 많은 조건에서 안정적으로 쓸 수 있게 만든다고 보는 편이 맞다.

이 관점은 agent system에서도 중요하다. Strong executor만 두는 것과 reliable system을 만드는 것은 다르다. Reliable system에는 state, verifier, correction format, fallback, reversion이 필요하다.

6. Limitations

1. Closed-source dependency가 크다.

   주요 image generator와 VLM judge가 closed-source model에 의존한다. 따라서 결과는 해당 proprietary model의 access, behavior, judge bias에 영향을 받는다.

2. Cost와 latency가 작지 않다.

   Crafter는 최대 4개의 parallel image generation과 최대 3번의 refinement round를 수행할 수 있다. CraftEditor도 여러 VLM round와 SVG composition step을 추가한다. 따라서 production scale에서 쓰려면 API cost와 wall-clock latency를 별도로 봐야 한다.

3. CraftBench는 아직 작다.

   279개 sample은 cross-type and cross-condition signal을 보기에 의미 있지만, training corpus나 real-world figure distribution에 비하면 작다. 논문도 infographic coverage가 상대적으로 작다고 언급한다.

4. Failure case가 여전히 구조적이다.

   논문은 dropped panels, mismatched infill, literal skeleton 같은 failure를 보여준다. 특히 intent reasoner가 panel count를 잘못 잡으면, missing panel이 shared specification에 들어가지 않기 때문에 뒤쪽 refinement loop가 복구하지 못한다.

5. evaluation judge의 역할을 더 보수적으로 읽어야 한다.

   VLM-as-judge는 scalable하지만, text legibility, arrow correctness, input fidelity를 항상 사람처럼 안정적으로 판단한다고 보기는 어렵다. 이 논문은 human evaluation으로 proxy를 검증하려 하지만, 실제 논문 제출용 figure 품질은 마지막 human-in-the-loop 검수가 필요하다.

7. My Take

7-1. Why this matters for my work

이 논문에서 가장 가져갈 만한 포인트는 figure generation 자체보다 harness abstraction이다.

LLM/VLM agent를 만들 때 자주 하는 실수는 executor를 너무 믿는 것이다. 더 좋은 generator, 더 큰 LLM, 더 긴 prompt를 쓰면 해결될 것처럼 보이지만, structured output에서는 그렇지 않은 경우가 많다. 중요한 것은 다음 네 가지다.

• state를 외부화해야 한다.
• correction을 typed operation으로 만들어야 한다.
• verifier는 scalar score가 아니라 actionable diagnostic을 줘야 한다.
• iterative loop에는 regression을 막는 checkpoint가 있어야 한다.

이 네 가지는 scientific figure뿐 아니라 document AI, OCR post-correction, layout generation, report automation, UI agent에도 그대로 이어진다.

7-2. Reuse potential

재사용하고 싶은 포인트는 아래와 같다.

1. Shared specification as memory

   Agent가 긴 자연어 history에 의존하지 않고, structured state를 계속 갱신하도록 만드는 방식은 여러 production workflow에 유용하다.

2. Typed edit instead of prompt append

   수정 지시를 prompt 뒤에 계속 붙이는 대신, add, remove, resize, constrain, ban 같은 operation으로 관리하면 contradiction을 줄일 수 있다.

3. VLM critic plus programmatic checker

   VLM은 semantic and visual assessment에 강하지만, text overflow, bbox overlap, arrow endpoint 같은 것은 programmatic checker가 더 안정적이다. 두 평가 채널을 섞는 방식이 현실적이다.

4. Best-so-far reversion

   Iterative generation은 항상 좋아지지 않는다. Production pipeline에서는 revert policy가 거의 필수다.

5. Benchmark design

   Text-only task만으로는 실제 workflow를 평가하기 어렵다. Conditioned editing task를 넣어야 input fidelity를 볼 수 있다.

7-3. Follow-up papers

• PaperBanana: Automating Academic Illustration for AI Scientists
• AutoFigure: Generating and Refining Publication-Ready Scientific Illustrations
• SciFlow-Bench
• IGenBench
• AutomaTikZ
• Recent work on VLM-as-judge reliability for visual generation evaluation

8. Summary

• Crafter는 scientific figure generation을 image backbone 문제가 아니라 harness 문제로 다시 정의한다.
• 핵심 설계는 shared specification, plan exploration, structured corrective layer, directive critic, verify-then-refine loop다.
• CraftEditor는 raster output을 editable SVG로 바꾸며, VLM critic과 programmatic checker를 함께 사용한다.
• CraftBench는 279개 sample로 3개 figure type과 4개 input condition을 평가한다.
• 이 논문은 scientific figure generation 논문이면서, 동시에 structured multimodal artifact를 안정적으로 생성하는 agent system design 사례로 읽을 가치가 있다.