22 분 소요

0. Introduction

Paper link

Project page

Code link

Data Journalist Agent를 “dataset을 넣으면 chart와 article을 만들어주는 agent” 정도로 읽으면 핵심을 놓치기 쉽다. 이 논문이 실제로 겨냥하는 것은 visualization automation 하나가 아니라, raw data에서 public-facing story까지 이어지는 newsroom workflow 전체를 evidence-traceable artifact pipeline으로 바꾸는 것이다.

좋은 data journalism에는 서로 다른 종류의 일이 한꺼번에 필요하다. Dataset 밖의 배경을 조사해야 하고, 실행 가능한 code로 통계를 계산해야 하며, 여러 finding 중 어떤 것이 story의 중심인지 골라야 한다. 그 다음에는 chart, image, audio, video, map, interaction을 적절히 조합하고, 마지막 HTML이 실제로 읽히는지 확인해야 한다. 무엇보다 독자는 숫자와 문장이 어디서 나왔는지 추적할 수 있어야 한다.

Data2Story는 이 과정을 seven-role virtual newsroom으로 나눈다.

  1. Detective가 external context와 source를 모은다.
  2. Analyst가 data를 분석하고 runnable code를 남긴다.
  3. Editor가 finding을 고르고 narrative angle을 만든다.
  4. Designer가 각 section에 맞는 media를 선택한다.
  5. Programmer가 final HTML을 구현한다.
  6. Auditor가 layout과 interaction defect를 고친다.
  7. Inspector가 final sentence와 asset을 upstream evidence에 연결한다.

이 논문의 가장 중요한 설계는 마지막 Inspector다. Final article의 sentence, chart, interactive element를 code line, data-derived finding, external URL, editorial plan, design specification과 연결한다. 따라서 output은 article 하나가 아니라, 독자가 claim을 클릭해 evidence chain을 볼 수 있는 index.html plus viewer.html package가 된다.

다만 여기서 구분해야 할 것이 있다.

Traceability는 claim이 어디서 왔는지를 보여주지만, claim이 반드시 참이라는 것을 보장하지는 않는다.

Wrong code도 provenance를 가질 수 있고, weak source도 citation을 가질 수 있다. Data2Story의 핵심 contribution은 automatic factuality guarantee가 아니라 machine-checkable auditability를 publication artifact의 기본 contract로 만든 것이다.

한 줄 요약: Data2Story는 Detective, Analyst, Editor, Designer, Programmer, Auditor, Inspector의 fixed newsroom pipeline으로 raw dataset을 multimedia HTML story로 바꾸고, final claim과 visual을 code, data, source URL에 연결해 article과 evidence viewer를 함께 생성하는 end-to-end data journalism agent다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Data science agent와 design agent를 end-to-end publication workflow로 연결한다.
  • Claim provenance를 post-hoc citation이 아니라 artifact ID와 code-line linkage로 설계한다.
  • Plain text report가 아니라 interactive HTML, map, audio, video까지 output space에 포함한다.
  • Human article과 agent article을 angle, reader rubric, computer-use judge, auditability로 다층 평가한다.
  • Human journalist의 strength를 editorial angle, creative design, informative presentation으로 명확하게 남긴다.
  • Public repository가 model demo보다 role-specific SKILL.md, JSON artifact, Python verifier로 구성되어 있어 재사용 가능성이 높다.

이 글에서는 Data2Story를 “AI가 기자를 대체하는가”보다, data-to-publication pipeline에서 provenance, editorial judgment, multimodal rendering을 어떤 interface로 분리할 것인가라는 systems paper로 읽는다.

1. Problem Setting

1-1. Problem definition

Data journalism의 input은 보통 dataset이지만 output은 table summary가 아니다. 최종 독자가 보는 것은 narrative, visual hierarchy, interaction, caveat, source attribution이 결합된 composite artifact다.

이를 간단히 쓰면 다음과 같다.

\[D \rightarrow \text{context} \rightarrow \text{analysis} \rightarrow \text{angle} \rightarrow \text{media} \rightarrow \text{article} \rightarrow \text{audit}\]

여기서 $D$는 raw dataset이다. 각 transition은 서로 다른 failure mode를 갖는다.

  • Context failure: dataset에 없는 historical or domain context를 model이 추정한다.
  • Analysis failure: statistic을 code 없이 language model이 계산한다.
  • Editorial failure: finding은 많지만 article이 무엇을 주장하는지 불분명하다.
  • Design failure: chart type과 claim이 맞지 않거나 decorative media가 핵심을 가린다.
  • Implementation failure: broken asset, overlap, non-responsive interaction이 생긴다.
  • Verification failure: final sentence가 어떤 data, code, source에서 왔는지 알 수 없다.

따라서 end-to-end agent는 좋은 prose만 생성해서는 안 된다. 각 단계가 다음 단계에 전달할 structured artifact와 evidence pointer를 남겨야 한다.

논문이 설정한 목표는 세 가지를 동시에 만족하는 article을 만드는 것이다.

  1. Narratively compelling
  2. Visually appealing
  3. Verifiable in its content

이 세 목표는 서로 tension이 있다.

  • Exhaustive analysis는 transparency를 높이지만 narrative를 산만하게 만들 수 있다.
  • Creative design은 engagement를 높이지만 claim-data relation을 흐릴 수 있다.
  • Dense provenance는 auditability를 높이지만 reading experience를 무겁게 만들 수 있다.
  • Strong editorial angle은 story를 선명하게 만들지만 data가 직접 말하지 않는 causal framing을 요구할 수 있다.

Data2Story의 문제는 agent 수를 늘리는 것이 아니라, 이 trade-off를 role boundary와 artifact contract로 관리하는 것이다.

1-2. Why previous approaches are insufficient

1) Deep research agent는 source-centric text에 머무르기 쉽다

Search agent는 query를 분해하고 source를 모아 long-form report를 만들 수 있다. 하지만 output의 중심은 보통 source synthesis다.

  • Dataset을 exhaustive하게 profile하지 않을 수 있다.
  • Story angle을 editorial decision으로 분리하지 않을 수 있다.
  • Multimedia choice가 article logic과 연결되지 않을 수 있다.
  • Final chart와 sentence를 code line까지 추적하기 어렵다.

Data journalism에서는 “무엇을 찾았는가”뿐 아니라 “왜 이 finding을 lead로 선택했는가”와 “어떤 visual encoding이 이를 가장 잘 보여주는가”가 중요하다.

2) Data visualization agent는 input dataset 밖의 context가 약하다

LIDA, MatplotAgent, CoDA류 system은 chart generation과 visual report에 강하다. 그러나 많은 system은 fixed input data를 전제로 한다.

  • External context를 적극적으로 찾지 않는다.
  • Finding과 source URL 사이 provenance graph가 약할 수 있다.
  • Static chart나 infographic에 output format이 제한될 수 있다.
  • Narrative angle과 multimodal interaction을 별도 editorial layer로 다루지 않을 수 있다.

3) Data science agent는 publishable reader experience가 목표가 아니다

Data Interpreter, DeepAnalyze, DSGym류 system은 code execution과 analysis loop를 잘 다룬다. 그러나 deliverable은 numeric answer, report, CSV, notebook, static document인 경우가 많다.

Data2Story는 분석 자체보다 다음 단계까지 본다.

  • Non-expert reader가 끝까지 읽을 수 있는가.
  • One finding per section이 coherent story arc를 만드는가.
  • Geography에는 map, music에는 audio처럼 modality가 topic과 맞는가.
  • Interactive page가 실제 browser에서 동작하는가.
  • Final claim을 data and code에 다시 연결할 수 있는가.

4) One-shot article generation은 error localization이 어렵다

LLM 하나에게 dataset과 prompt를 주고 complete webpage를 생성하게 하면 빠르다. 하지만 failure가 생겼을 때 어디서 고칠지 불명확하다.

  • Wrong number가 analysis error인지 prose hallucination인지 알기 어렵다.
  • Weak angle이 analysis 부족인지 editorial selection 실패인지 구분하기 어렵다.
  • Broken chart가 data issue인지 frontend implementation issue인지 모호하다.
  • Final sentence가 upstream artifact에 없는 새 claim인지 확인하기 어렵다.

Role-separated pipeline은 latency와 complexity를 늘리지만, artifact boundary 덕분에 debugging surface를 만든다.

5) Citation만으로는 reproducibility가 부족하다

External URL을 붙이는 것은 useful하지만 quantitative claim에는 충분하지 않다. “42.5 percent”라는 숫자가 dataset의 어느 filter, aggregation, script line에서 나왔는지 알 수 없으면 audit는 여전히 어렵다.

Data2Story는 evidence를 두 종류로 나눈다.

  • Code evidence: source file and line that produced a data-derived claim
  • Reference evidence: external URL that grounds a contextual claim

이 구분이 논문의 핵심이다. 모든 claim을 같은 citation mechanism으로 처리하지 않고, computation과 external reporting을 다른 evidence type으로 본다.

2. Core Idea

2-1. Main contribution

Data2Story의 핵심 기여는 크게 네 가지로 정리할 수 있다.

  1. Seven-role virtual newsroom
    • Research, analysis, editorial selection, design, implementation, visual QA, provenance verification을 분리한다.
    • 각 role은 다음 role이 읽을 structured artifact를 남긴다.
  2. Claim-level evidence binding
    • Final HTML fragment를 det, ana, edt, des artifact에 연결한다.
    • Quantitative claim은 code and data로, contextual claim은 URL로 trace한다.
  3. Multimodally generative article
    • Text plus chart를 default로 고정하지 않는다.
    • Dataset topic과 reader need에 따라 image, video, audio, map, interactive element를 선택한다.
  4. Composite artifact evaluation
    • Human article의 angle을 얼마나 cover하는지 양방향으로 측정한다.
    • 53명의 participant가 visual, narrative, transparency, claim-data alignment, insight를 평가한다.
    • Computer-use agent가 실제로 scroll, click, inspect하며 cheaper ranking proxy 역할을 한다.
    • Cross-family coding verifier가 code를 다시 실행하고 source를 다시 가져와 provenance를 점검한다.

2-2. Design intuition

이 논문의 설계 직관은 journalism workflow를 chat-based collaboration보다 typed artifact assembly line으로 본다는 데 있다.

각 role이 자유롭게 대화하는 대신, predecessor의 artifact를 읽고 다음 artifact를 만든다.

\[D \rightarrow \widetilde{D} \rightarrow (R, C) \rightarrow F \rightarrow V \rightarrow U \rightarrow \widehat{U} \rightarrow I\]
  • $D$: raw data
  • $\widetilde{D}$: external context가 추가된 corpus
  • $R$: analysis results
  • $C$: runnable code
  • $F$: selected findings and editorial plan
  • $V$: visual and media specifications
  • $U$: generated HTML
  • $\widehat{U}$: audited HTML
  • $I$: sentence-to-evidence mapping and viewer

이 구조의 장점은 provenance가 마지막에 새로 발명되지 않는다는 점이다. Analyst가 code pointer를 남기고, Editor가 어떤 finding을 썼는지 기록하며, Designer가 어떤 analysis table을 visual source로 사용했는지 남긴다. Programmer는 final element에 ID를 붙인다. Inspector는 이 chain을 따라간다.

Final fragment $u_m$의 evidence mapping은 다음처럼 볼 수 있다.

\[\mathcal{E}(u_m) \subseteq \{d_i, r_j, c_j, f_k, v_l\}\]

여기서 중요한 것은 Inspector가 article의 truth를 새로 판정하는 oracle이 아니라는 점이다. Inspector는 final fragment가 upstream evidence에 연결되어 있는지를 본다.

따라서 system quality는 두 층으로 나뉜다.

  1. Provenance completeness
    • Final claim이 evidence chain을 갖는가.
  2. Evidence correctness
    • Code가 맞는가.
    • Dataset이 적절한가.
    • Source가 신뢰할 만한가.
    • Editorial inference가 evidence 범위를 넘지 않는가.

Data2Story는 첫 번째를 강하게 개선한다. 두 번째는 coding verifier, source check, human review가 함께 다뤄야 한다.

3. Architecture / Method

3-1. Overview

Item Description
Goal Raw dataset을 verifiable multimodal HTML story로 변환
Orchestration Fixed seven-stage linear pipeline
Core roles Detective, Analyst, Editor, Designer, Programmer, Auditor, Inspector
Main intermediate artifacts JSON, Markdown, runnable Python, media assets, HTML
Evidence types Code evidence and reference evidence
Final outputs index.html, viewer.html, role artifacts, code, assets
Main novelty Claim-level provenance plus multimodal newsroom workflow
Evaluation Angle coverage, human rubric, computer-use judge, auditability
Public implementation Agent skill with role-specific SKILL.md and Python verifier

3-2. Module breakdown

1) Detective

Detective는 dataset 밖의 context를 모은다.

Raw table만 보면 pattern은 찾을 수 있지만, why-it-matters는 dataset 밖에 있을 때가 많다.

  • Historical background
  • Policy change
  • Domain definition
  • Related event
  • External comparison
  • Image, map, clip candidate

각 context item은 source URL과 ID를 가져야 한다. 공개 skill implementation에서는 det_xx 형태의 ID를 부여하고 detective.json에 저장한다.

Detective의 설계 이유는 명확하다. Analyst가 data 안에서 correlation을 찾더라도, 그 pattern을 사회적 or historical context와 연결하려면 external research가 필요하다. 그러나 이 stage가 weak source를 가져오면 article 전체가 오염될 수 있으므로 source quality gate가 중요하다.

2) Analyst

Analyst는 dataset을 exhaustive하게 profile하고 code를 실행한다.

  • Column type and missingness
  • Distribution
  • Group comparison
  • Trend
  • Correlation
  • Outlier
  • Time pattern
  • Geospatial relation
  • Derived metric

핵심 rule은 number를 language model이 추정하지 않고 actual code로 계산한다는 것이다.

Public skill은 각 finding에 ana_xx ID를 부여하고 다음을 남긴다.

  • Calculation script path
  • Relevant line range
  • Execution output
  • Chart-ready data table
  • Upstream context pointer

이 artifact가 이후 provenance의 중심이 된다.

다만 exhaustive analysis는 multiple-comparison risk를 키울 수 있다. 많은 slice와 metric을 돌린 뒤 interesting result만 고르면 p-hacking과 유사한 selection bias가 생긴다. 논문은 auditability를 다루지만 statistical validity policy는 별도 설계가 필요하다.

3) Editor

Editor는 analysis report를 story로 바꾼다.

  • Lead finding을 고른다.
  • Supporting finding을 배치한다.
  • Weak or redundant finding을 버린다.
  • Section order를 정한다.
  • Prose outline을 작성한다.
  • 각 paragraph가 어떤 ana_xx, det_xx에 의존하는지 기록한다.

Data2Story에서 가장 human-like한 judgment가 필요한 stage다. Data가 제공하는 fact와 journalist가 외부 reporting으로 만드는 perspective는 다르다. 논문의 qualitative analysis에서 human article이 앞선 가장 큰 이유도 editorial angle이다.

Production에서는 Editor stage를 full automation보다 human approval checkpoint로 두는 것이 안전해 보인다.

4) Designer

Designer는 finding마다 어떤 medium이 적절한지 정한다.

  • Chart
  • Image
  • Video
  • Audio
  • Map
  • Interactive widget
  • Stat callout
  • Text-only presentation

Design choice는 fixed checklist가 아니라 data and audience에 따라 나와야 한다. Geography article에는 zoomable map이 유용할 수 있고, music article에는 audio가 claim의 일부가 될 수 있다.

Public repository의 current skill은 multimedia-rich by default policy를 사용하고, chart, image, video, audio, interactive or map의 five channels를 우선 검토한다. 사용하지 않은 channel에는 data-grounded reason을 기록하도록 한다.

이 policy는 capability demo에는 좋지만 production에서는 조심해야 한다. 모든 article에 모든 modality를 넣으면 decorative asset, accessibility issue, generation cost가 커질 수 있다. Medium selection은 richness보다 claim utility per asset을 기준으로 하는 편이 낫다.

5) Programmer

Programmer는 upstream artifact를 HTML로 조립한다.

논문과 공개 skill에서 중요한 constraint는 Programmer가 new fact를 만들지 않는다는 점이다.

  • Editor prose를 사용한다.
  • Designer specification을 구현한다.
  • Analyst table을 chart data로 사용한다.
  • Evidence ID를 HTML attribute에 붙인다.
  • Revision mode에서는 Auditor suggestion을 반영한다.

Public skill은 final element에 다음 attribute를 사용한다.

  • data-edt
  • data-ana
  • data-det
  • data-des

이 attribute가 final DOM과 upstream JSON 사이의 foreign key 역할을 한다.

6) Auditor

Auditor는 rendered page의 visual and structural defect를 찾는다.

  • Overlap
  • Spacing
  • Alignment
  • Missing asset
  • Broken chart
  • Unresponsive interaction
  • Mobile layout

중요한 rule은 content와 design intent를 바꾸지 않고 implementation defect만 수정하는 것이다.

이 role은 visual QA를 separate stage로 둔다는 점에서 실무적이다. Code generation model이 HTML을 만들었다고 해서 browser artifact가 정상이라는 보장은 없다. Screenshot or browser-use inspection이 필요하다.

7) Inspector

Inspector는 audited page를 atomic fragment로 나누고 upstream evidence에 bind한다.

Evidence는 크게 두 종류다.

Evidence type Typical claim Verification path
Code evidence Count, ratio, trend, ranking Script file, line, raw data, execution output
Reference evidence Historical context, quote, policy event Source URL and cited passage

Inspector output은 inspector.json과 viewer.html이다.

  • inspector.json: sentence-to-evidence mapping
  • viewer.html: article과 evidence panel을 함께 보여주는 self-contained viewer

Paper에서는 Inspector를 dedicated role로 설명한다. Current public skill에서는 sentence mapping verification과 viewer generation을 pure Python script로 실행한다. 이는 좋은 engineering choice다. Provenance graph가 이미 structured ID로 남아 있다면 final binding은 deterministic code로 처리할 수 있고, LLM judge에 다시 의존하지 않아도 된다.

3-3. Traceability contract

Public implementation의 ID flow는 다음과 같다.

det_01 -> ana_01 -> edt_01 -> des_01 -> HTML element -> inspector record

예를 들어 chart 하나는 다음 chain을 가질 수 있다.

  1. det_02가 external policy context를 제공한다.
  2. ana_04가 analysis.py line 80-112에서 statistic을 계산한다.
  3. edt_03이 해당 finding을 section thesis로 선택한다.
  4. des_05가 map plus line chart presentation을 지정한다.
  5. Programmer가 data-ana="ana_04"와 data-des="des_05"를 HTML에 붙인다.
  6. Inspector가 final chart and caption을 evidence record와 연결한다.

이 contract의 장점은 debug path가 짧다는 점이다.

  • Number가 틀리면 Analyst code를 본다.
  • Story가 약하면 Editor artifact를 본다.
  • Chart가 claim과 안 맞으면 Designer specification을 본다.
  • Page가 깨지면 Programmer and Auditor output을 본다.
  • Evidence panel이 비면 ID linkage를 본다.

4. Training / Data / Recipe

4-1. What is trained?

Data2Story는 new foundation model을 학습하는 논문이 아니다. Core contribution은 role orchestration, artifact schema, code execution, tool use, evaluation이다.

Paper experiment의 article generation은 Claude Code with Claude Opus 4.7을 사용했다고 설명한다. Public repository는 Claude Code뿐 아니라 Codex, Cursor, Gemini CLI 등 agent runtime에서 SKILL.md orchestration을 따르도록 구성되어 있다.

따라서 재현성은 두 층으로 봐야 한다.

  1. Workflow reproducibility
    • Role order, prompt, schema, verifier code는 공개되어 있다.
  2. Model-output reproducibility
    • Proprietary model version, web search result, media generation model, sampling behavior는 바뀔 수 있다.

같은 skill을 실행해도 exact article은 deterministic하지 않을 수 있다.

4-2. Evaluation data

논문은 18개의 paired article을 평가한다. 각 pair는 같은 underlying data를 사용한 human-written article과 Data2Story article로 구성된다.

Source Style Why it matters
The Economist Concise analytical briefing Standard metric and compact argument
The Pudding Bespoke interactive scrollytelling Creative design and committed editorial thesis
TidyTuesday Diverse community data story Varied topic, code, and source style

Evaluation set은 science, media, sports, politics, health, culture, music, food, tech, climate 등을 포함하고, 2018-2026 article을 사용한다.

Data modality도 time series, tabular, geospatial, text, panel data 등으로 섞는다.

저자들은 well-known Economist and Pudding article이 model pretraining data에 포함되었을 가능성을 배제할 수 없다고 인정한다. 이를 완화하기 위해 다음 평가를 사용한다.

  • Human angle을 따라 했는지만 보지 않고 agent-only claim도 측정한다.
  • Verifier가 raw data and code를 다시 실행한다.
  • Human article에 없는 provenance를 별도로 본다.

하지만 contamination risk가 사라지는 것은 아니다. Familiar article의 title, thesis, design pattern이 model generation에 영향을 줄 수 있다.

4-3. Role artifacts and versioning

Public skill은 run마다 versioned project folder를 만든다.

project/<data_name>/blog_<model>_<timestamp>/

주요 output은 다음과 같다.

Stage Main output
Detective detective.json
Analyst analyst.json, code/*.py
Editor editor.md, editor.json
Designer designer.json, assets/*
Programmer index.html
Auditor revised index.html, auditor.json
Inspector inspector.json, viewer.html

Run 시작 시 skill directory를 archival folder에 snapshot한다. 이는 exact instruction version을 output과 함께 보존하기 위한 장치다.

이 설계는 agent workflow에서 중요하다. Model checkpoint뿐 아니라 prompt, skill, schema, tool version도 result provenance의 일부이기 때문이다.

4-4. Progressive disclosure

각 role의 SKILL.md에는 핵심 instruction만 두고, bulky schema, field rule, lookup table은 references/에 분리한다. Role이 필요할 때만 load한다.

이 approach는 두 가지 이점이 있다.

  • Context window에 불필요한 specification을 계속 넣지 않는다.
  • Role-specific instruction과 machine-readable schema를 분리한다.

Agent skill이 길어질수록 prompt 하나에 모든 rule을 넣는 방식은 유지하기 어렵다. Data2Story repo는 skill, reference JSON, scripts를 분리해 workflow를 software package처럼 다룬다.

4-5. Media generation

Public implementation의 media generation은 OpenRouter를 통해 image, video, music 등 external model을 호출할 수 있다.

이 stage에는 다음 provenance가 필요하다.

  • Prompt
  • Model identifier
  • Parameters
  • Input asset
  • Output file hash
  • License and source
  • Generation timestamp

Paper and code는 tool call and parameter를 Designer artifact에 기록한다. Production에서는 model version과 content license까지 저장하는 편이 좋다.

4-6. Engineering notes

실무적으로 가져갈 만한 point는 다음과 같다.

  1. Artifact-first orchestration
    • Agent message보다 JSON and file contract를 중심으로 role을 연결한다.
  2. Analysis code is mandatory
    • Quantitative claim은 natural-language calculation로 끝내지 않고 runnable script를 남긴다.
  3. Editor before Designer
    • Visual을 먼저 만들지 않고 thesis and section priority를 정한 뒤 medium을 고른다.
  4. Programmer cannot invent facts
    • Frontend generation stage가 new number or claim을 만들지 못하게 한다.
  5. Visual audit is separate
    • Generated HTML은 browser rendering and interaction QA를 거친다.
  6. Provenance IDs survive to DOM
    • Upstream artifact ID를 final element attribute까지 보존한다.
  7. Skill version is archived
    • Output과 함께 exact workflow instruction을 snapshot한다.
  8. Verifier should be cross-family
    • Generation model과 다른 model or deterministic code를 verifier로 사용해 correlated error를 줄인다.
  9. Human checkpoint belongs at Editor stage
    • Angle, framing, public-interest judgment은 automation이 가장 약한 영역이다.
  10. Security boundary is required
    • Untrusted dataset, web content, generated Python, generated HTML, external media를 sandbox에서 처리해야 한다.

5. Evaluation

5-1. Evaluation design

논문은 composite article을 하나의 score로 줄이지 않고 네 관점으로 본다.

  1. Human-agent angle coverage
  2. Human rubric evaluation
  3. Computer-use agent as judge
  4. Verifiability and auditability

각 metric이 답하는 질문이 다르다.

Evaluation Main question
Angle coverage Human and agent가 같은 finding을 보았는가
Human rubric 실제 reader가 article quality를 어떻게 느끼는가
Computer-use judge Interactive page ranking을 cheaper하게 근사할 수 있는가
Verifiability Final claim을 data, code, source로 다시 추적할 수 있는가

5-2. Human-agent angle coverage

Human article의 claim set을 $H$, agent article의 claim set을 $A$, matched claim set을 $M$이라 하자.

\[C_{H \rightarrow A} = \frac{|M|}{|H|}\] \[C_{A \rightarrow H} = \frac{|M|}{|A|}\]
  • $C_{H \rightarrow A}$: human claim 중 agent가 cover한 비율
  • $C_{A \rightarrow H}$: agent claim 중 human article에도 있는 비율

Claim extraction and matching은 다음 pipeline을 사용한다.

  • gpt-4o-mini가 article에서 factual claim을 추린다.
  • text-embedding-3-small이 top-3 nearest candidate를 찾는다.
  • gpt-4o-mini가 relaxed semantic coverage를 판정한다.

Main result는 다음과 같다.

Direction Coverage
Human angle covered by agent 50.4%
Agent angle covered by human 35.1%

이 결과는 Data2Story가 human article angle의 약 절반을 재현하면서 human article에 없는 claim도 많이 만든다는 뜻이다.

하지만 35.1%를 “agent가 더 많은 insight를 발견했다”로 바로 읽으면 안 된다. Unique agent claim은 다음을 모두 포함할 수 있다.

  • Useful new analysis
  • Different but valid framing
  • Redundant slice
  • Weak editorial choice
  • Unsupported or low-value claim

Coverage는 overlap and divergence를 측정할 뿐, claim quality를 직접 평가하지 않는다.

Source별 pattern도 중요하다.

  • Economist의 narrow analytical angle은 agent가 비교적 잘 cover한다.
  • Pudding의 committed thesis and creative arc는 agent가 덜 재현한다.
  • TidyTuesday는 topic and source가 다양해 overlap이 낮아질 수 있다.

5-3. Article composition

18개 paired article에서 writing volume은 대략 비슷하다.

Metric Data2Story Human
Mean words per article 1305 1557
Sentence count ratio 1.45x human 1.00x
Words per sentence ratio 0.77x human 1.00x

Data2Story는 더 짧은 sentence를 더 많이 사용한다. 이는 web readability에는 유리할 수 있지만, narrative rhythm이 fragment처럼 느껴질 수도 있다.

5-4. Human study

53명의 Prolific participant가 blind and randomized pair를 평가한다. 각 participant는 Data2Story article과 corresponding human article을 보고 1-7 scale로 다섯 dimension을 평가한다.

  1. Visual Design
  2. Narrative and Pacing
  3. Data and Method Transparency
  4. Claim-Data Alignment
  5. Insight Value

Main result는 다음과 같다.

Metric Data2Story Human
Overall mean 4.21 3.38
Overall preference 39 13
Tie 1 1

Dimension별로 Data2Story가 모두 앞섰다고 보고된다.

  • Largest gap: Transparency, +1.49
  • Smallest gap: Visual, +0.51

Source별로 보면 차이가 더 선명하다.

  • Economist: Data2Story advantage +1.02, $p < .001$
  • TidyTuesday: Data2Story advantage +1.20, $p < .001$
  • Pudding: statistical tie

Pudding 결과가 중요하다. Hand-built scrollytelling, custom animation, strong single thesis에서는 agent가 human team을 넘지 못한다. Data2Story의 advantage는 analytical and auditable genre에서 더 크다.

다만 study size와 assignment design을 함께 봐야 한다. 53명이 18 article pair 전체를 모두 본 것이 아니라, participant별로 pair가 할당된다. Article-level variation과 participant-level variation을 더 크게 분리하려면 larger repeated-measures study가 필요하다.

5-5. Computer-use agent as judge

Static screenshot judge는 interactive article의 핵심 behavior를 놓칠 수 있다. 논문은 browser-use gpt-5.5-xhigh를 사용해 page를 scroll and click하게 하고 human rubric과 같은 dimension을 평가한다.

저자들은 이를 primary quality evidence가 아니라 cost-saving ranking proxy로 명시한다.

주요 결과는 다음과 같다.

Condition Mean score
Human reference 3.87
Data2Story, Inspector off 4.60
Data2Story, Inspector on 5.10

Inspector를 켰을 때 overall mean은 +0.50 증가한다. 변화는 주로 transparency에 집중된다.

  • Transparency: 4.28 -> 5.94, +1.67
  • Claim-Data Alignment: +0.67
  • Other three dimensions: change <= 0.11

Human and agent judge article ranking correlation은 다음과 같다.

\[\rho = 0.44, \quad p < .01\]

이는 moderate agreement다. Agent judge는 ranking proxy로 쓸 수 있지만 absolute score는 더 높게 주는 경향이 있다. 34개 point 중 29개가 agent score가 human score보다 높은 영역에 놓였다.

Production에서는 computer-use judge를 human replacement보다 regression test and triage tool로 사용하는 편이 적절하다.

5-6. Auditability

Data2Story article의 visible claim 중 93%가 upstream evidence binding에 연결된다. Human article은 raw data and text만으로 reproduction path를 추정했을 때 25%가 machine-checkable binding을 가진 것으로 보고된다.

Article type Traceable claim coverage
Data2Story 93%
Human reference, text-only audit 25%

이 결과는 strong하지만 comparison asymmetry가 크다.

  • Data2Story는 provenance를 만들도록 설계되고 code and trajectory를 verifier에게 제공한다.
  • Human article은 reader-facing text이며 complete analysis code를 보통 공개하지 않는다.
  • Human verifier는 raw data and article text로 likely calculation을 재구성해야 한다.

따라서 93% vs 25%는 article truthfulness comparison이 아니다. Machine-readable provenance infrastructure의 presence comparison이다.

논문도 auditability rather than factuality라는 표현을 사용한다.

Role별 evidence coverage는 다음과 같다.

Role Coverage
Editor 99.3%
Detective 95.1%
Analyst 74.1%
Designer 29.0%

이 수치는 role quality score가 아니다.

  • Editor and Detective는 거의 모든 sentence에 관여한다.
  • Analyst는 quantitative subset에 관여한다.
  • Designer는 selected asset에만 관여한다.

Inspector를 본 participant의 다수는 evaluation에 helpful하다고 답했지만, 일부는 evidence trace가 dense and distracting하다고 느꼈다. Provenance UI도 information architecture problem이다.

5-7. Qualitative human advantage

논문의 가장 좋은 부분은 numerical win을 과장하지 않고 human article이 더 잘한 case를 구체적으로 분석한다는 점이다.

1) Editorial angle

Repair Cafe case에서 human journalist는 repair failure를 manufacturer lock-in and accountability 문제로 연결한다. 이 claim은 table에서 계산되는 statistic이 아니라 expert reporting and outside knowledge에서 나온다.

Data2Story는 어떤 product가 잘 고쳐지는지 ranking할 수 있지만, 왜 repair system이 그렇게 되었는지 structural cause를 취재하지 못한다.

2) Creative design

Pudding의 stand-up comedy article은 transcript, laugh duration, video playback을 하나의 interface로 묶는다. Agent version은 static embed and chart에 가까워 crafted experience를 재현하지 못한다.

Boy band article에서도 human version은 audio and animated lineup을 jukebox처럼 연결하지만, agent는 distribution chart와 click-to-play embed로 정리한다.

3) Informative presentation

Human designer는 한 chart에 multiple variables and editorial annotation을 압축한다. Data2Story는 같은 material을 여러 single-variable chart로 나눠 data는 보여주지만 meaning density가 떨어질 수 있다.

이 결과는 agent와 human의 역할을 분명하게 한다.

  • Agent strength: exhaustive analysis, coverage, artifact production, auditability
  • Human strength: reported angle, causal context, custom design, semantic compression, public-interest judgment

6. Limitations

  1. Traceability is not factual correctness
    • Wrong code, wrong filter, weak source, misleading framing도 provenance chain을 가질 수 있다.
    • Inspector는 evidence location을 보여주지만 statistical validity를 보장하지 않는다.
  2. Evaluation comparison is asymmetric
    • Data2Story는 code and trajectory를 verifier에게 제공한다.
    • Human article은 complete code가 없는 reader-facing artifact다.
    • 93% vs 25%는 auditability infrastructure comparison이지 journalism quality comparison이 아니다.
  3. Human study scale is limited
    • 18 paired articles and 53 participants는 promising하지만 publication style and topic space를 충분히 cover하지 못한다.
    • Larger repeated evaluation이 필요하다.
  4. Potential training-data contamination remains
    • Famous Economist and Pudding article이 model pretraining data에 있었을 수 있다.
    • Bidirectional coverage and code verification이 risk를 줄이지만 title, angle, design memory를 제거하지는 못한다.
  5. Proprietary model dependence is strong
    • Paper generation uses Claude Code with Claude Opus 4.7.
    • Agent judge and verifier도 proprietary model을 사용한다.
    • Exact cost, latency, model drift, reproducibility를 장기적으로 보장하기 어렵다.
  6. Fixed linear pipeline can propagate error
    • Detective의 weak source가 Analyst and Editor로 넘어갈 수 있다.
    • Analyst의 wrong computation이 polished chart and prose로 amplification될 수 있다.
    • Downstream role가 upstream artifact를 신뢰하는 만큼 early-stage validation이 중요하다.
  7. Fully automatic workflow lacks editorial feedback loop
    • Paper도 human feedback in the loop를 future work로 둔다.
    • Public-interest value, harm, fairness, legal risk, newsroom policy를 automatic score로 대체하기 어렵다.
  8. Multimedia richness can become ornamental
    • Image, video, audio를 많이 생성하는 것이 article quality와 같은 것은 아니다.
    • Accessibility, load time, mobile UX, bandwidth, caption, alt text를 함께 봐야 한다.
  9. Statistical analysis policy is underspecified
    • Exhaustive analysis는 multiple comparison and cherry-picking risk를 키운다.
    • Pre-registration, correction, uncertainty, robustness check가 필요하다.
  10. Web research and media carry license risk
    • External image, clip, audio, article source의 copyright and reuse condition을 확인해야 한다.
    • Generated media도 model provider policy와 training-data issue를 가진다.
  11. Untrusted input creates security risk
    • Dataset cell, web page, metadata에 prompt injection이 들어갈 수 있다.
    • Generated Python and HTML은 sandbox, network restriction, content security policy가 필요하다.
  12. Evidence viewer can overload readers
    • Dense lineage card는 expert audit에는 useful하지만 general reader에게는 distracting할 수 있다.
    • Progressive disclosure and role-based view가 필요하다.
  13. Angle coverage metric uses LLM matching
    • Claim extraction, embedding retrieval, semantic decision 모두 model-dependent다.
    • Relaxed matching은 false positive, strict matching은 false negative를 만들 수 있다.
  14. Computer-use judge is only moderately aligned
    • $\rho=0.44$는 useful signal이지만 human replacement로는 부족하다.
    • Agent judge가 absolute score를 높게 주는 bias도 있다.
  15. Journalism ethics is broader than evidence linkage
    • Privacy, vulnerable group representation, source consent, defamation, causal implication, public harm은 provenance만으로 해결되지 않는다.

7. My Take

7-1. Why this matters for my work

Data2Story의 가장 중요한 contribution은 seven-agent 구성 자체가 아니다. 핵심은 final output을 prose가 아니라 evidence-addressable interface로 정의한 것이다.

기존 enterprise analytics or research report pipeline은 대체로 다음과 같이 끊어진다.

  • Analyst가 notebook을 만든다.
  • Writer가 result를 복사한다.
  • Designer가 chart를 다시 그린다.
  • Frontend developer가 dashboard를 만든다.
  • Reviewer가 final sentence의 origin을 수동으로 찾는다.

이 과정에서 provenance가 단계마다 사라진다. Data2Story는 artifact ID를 계속 전달해 final DOM까지 evidence pointer를 유지한다.

이 design은 journalism 밖에서도 바로 재사용할 수 있다.

  • Scientific result page
  • Model evaluation report
  • Financial risk dashboard
  • Clinical evidence summary
  • Policy data portal
  • Manufacturing incident report
  • Internal experiment review
  • Public benchmark website

특히 AI-generated report가 많아질수록 “좋은 문장”보다 “claim을 클릭했을 때 code and source가 열리는가”가 trust의 핵심이 될 수 있다.

Production에서는 fully automatic seven-stage pipeline보다 다음 checkpoint를 두는 편이 안전하다.

Checkpoint Human decision
After Detective Source trust, relevance, license
After Analyst Statistical validity, leakage, uncertainty
After Editor Editorial angle, public-interest value, harm
After Designer Accessibility, chart integrity, media necessity
After Auditor Mobile and interaction QA
After Inspector Claim coverage, unresolved evidence, publish approval

Human은 모든 code를 다시 작성할 필요가 없다. 대신 high-leverage boundary에서 approval and correction을 제공한다.

이 구조에서 agent는 labor-intensive work를 맡는다.

  • Source collection
  • Data profiling
  • Repetitive analysis
  • Chart prototype
  • HTML implementation
  • Provenance assembly
  • Regression check

Human은 non-computable judgment를 맡는다.

  • Why this story matters
  • Which cause is worth reporting
  • Which group can be harmed
  • Which ambiguity must remain visible
  • Which visual tells too strong a story
  • Whether publication is responsible

7-3. Production architecture

Data2Story를 enterprise workflow에 적용한다면 다음 layer를 추가하는 편이 좋다.

1) Typed evidence store

각 evidence record에 다음 field를 둔다.

  • Evidence ID
  • Source type
  • Source URI
  • Dataset hash
  • Code commit
  • Line range
  • Execution environment
  • Output hash
  • License
  • Timestamp
  • Confidence
  • Reviewer status

2) Deterministic computation layer

Analyst agent가 code를 쓰더라도 calculation execution은 sandbox service에서 수행한다.

  • Fixed dependency image
  • Read-only input
  • Restricted network
  • CPU and memory limit
  • Reproducible seed
  • Captured stdout and artifact hash

3) Claim policy engine

Claim type별 publish rule을 둔다.

  • Descriptive statistic: code evidence required
  • External fact: source URL and quoted passage required
  • Causal claim: human review required
  • Forecast: uncertainty and method disclosure required
  • Sensitive-group comparison: fairness review required
  • Generated media: disclosure and provenance required

4) Unresolved-evidence gate

Final page에서 evidence가 없는 sentence를 hide하지 말고 publish blocker로 만든다.

  • Critical claim unresolved: fail
  • Minor transition sentence unresolved: warning
  • Decorative copy unresolved: allowed with label

5) Evidence UI by audience

  • Reader view: simple source and method note
  • Editor view: claim-to-evidence summary
  • Auditor view: code line, dataset hash, execution output
  • Developer view: full artifact graph and logs

모든 reader에게 full lineage graph를 노출하는 것보다 progressive disclosure가 낫다.

7-4. Reuse potential

Research blog automation

논문 result table, experiment log, figure source를 연결해 blog post를 만들 수 있다. Final sentence가 notebook cell or script line에 연결되면 revision이 쉬워진다.

Benchmark report

Model score, dataset version, evaluator config를 provenance graph에 넣어 benchmark page를 자동 생성할 수 있다. Leaderboard number의 exact run artifact를 추적하는 데 유용하다.

Document AI analytics

OCR output, table extraction, calculation, summary, chart를 연결할 수 있다. Raw page bbox까지 evidence pointer를 확장하면 source document의 exact region으로 돌아갈 수 있다.

Product analytics

Metric definition, SQL query, dashboard chart, narrative insight를 연결할 수 있다. Executive summary의 숫자를 query and warehouse snapshot에 bind하면 metric drift를 줄일 수 있다.

Public-sector reporting

Budget, health, transport, climate data를 citizen-facing story로 바꾸되 source and method를 공개할 수 있다. 이 영역에서는 accessibility and legal review가 필수다.

7-5. Follow-up papers

  • LIDA: Automatic generation of visualizations and infographics
  • MatplotAgent: Agentic scientific data visualization
  • DataNarrative: Automated data-driven storytelling with visualizations and text
  • CoDA: Collaborative agentic data visualization
  • Data Interpreter: LLM agent for data science
  • DeepAnalyze: Autonomous data science agent
  • PublicAgent: Open-data analysis with multi-agent design
  • AI Scientist and AI Scientist-v2
  • Design2Code: Multimodal frontend generation benchmark
  • DSGym: Data science agent evaluation and training

8. Summary

  • Data2Story는 raw dataset을 verifiable multimedia HTML story로 바꾸는 seven-role virtual newsroom이다.
  • Core contribution은 final claim and asset을 code, data, external URL에 연결하는 Inspector and evidence viewer다.
  • 18 article pair and 53 participant study에서 analytical and transparent genre에 강했지만 Pudding-style creative scrollytelling에서는 human과 tie였다.
  • 93% provenance coverage는 strong auditability result지만 factual correctness or human journalism superiority를 뜻하지 않는다.
  • 가장 현실적인 use는 journalist replacement보다 agent-produced analysis and artifact를 human editor가 검토하는 evidence-first collaboration workflow다.

댓글남기기

참고