11 분 소요

0. Introduction

Paper link

Project page

Code

Data

한 줄 요약: ResearchClawBench는 AI coding agent가 raw data, related work, executable workspace만 가지고 paper-level scientific result를 다시 발견할 수 있는지를 평가하는 end-to-end autonomous research benchmark다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • agent가 “연구를 한다”는 주장을 coding benchmark나 QA benchmark만으로 검증하기 어렵다.
  • 이 논문은 model answer correctness가 아니라 research process의 최종 산출물, 즉 code, figures, report, evidence chain을 평가 대상으로 둔다.
  • 결과가 꽤 차갑다. 가장 강한 autonomous agent도 평균 21.5점이고, 50점이 target-paper-level re-discovery boundary라는 점을 고려하면 현재 agent는 아직 reliable scientific re-discovery에 멀다.

이 논문의 핵심 메시지는 단순히 새 benchmark를 냈다는 것이 아니다. 좋은 연구 agent 평가는 더 어려운 질문을 던져야 한다는 것이다. “답을 맞췄는가”가 아니라, “논문 수준의 evidence path를 스스로 찾았는가”를 봐야 한다.

1. Problem Setting

1-1. Problem definition

이 논문이 겨냥하는 문제는 autonomous scientific research capability를 어떻게 평가할 것인가다.

최근 coding agent와 research agent는 paper reading, literature search, code execution, data analysis, figure generation, report writing을 한 번에 수행하는 방향으로 빠르게 확장되고 있다. 하지만 이런 시스템이 실제로 연구를 수행한다고 말하려면 다음 능력을 함께 봐야 한다.

  1. 주어진 research question을 이해한다.
  2. 관련 문헌과 raw data를 읽는다.
  3. 적절한 experimental protocol을 선택한다.
  4. code를 작성하고 실행한다.
  5. 핵심 figure와 quantitative evidence를 만든다.
  6. 최종 report에서 scientific claim을 증거와 함께 정리한다.

문제는 이 전체 loop를 평가하기가 어렵다는 데 있다. Scientific output은 open-ended다. 같은 raw data에서 여러 분석 경로가 가능하고, 정답 문자열 하나로 채점하기 어렵다. 또 결과 report가 그럴듯해 보여도 target paper가 요구한 핵심 protocol이나 evidence chain을 놓칠 수 있다.

1-2. Why previous approaches are insufficient

기존 benchmark가 부족한 이유는 크게 세 가지다.

첫째, exam-style scientific QA는 domain knowledge와 reasoning은 볼 수 있지만 research workflow 전체는 보지 못한다. GPQA, HLE 같은 benchmark는 어려운 질문에 답하게 만들 수는 있지만, raw data를 분석해서 figure를 만들고 report를 쓰는 능력까지 요구하지 않는다.

둘째, coding benchmark는 code generation과 debugging에는 강하지만 scientific validity를 직접 보장하지 않는다. Agent가 code를 잘 짜도, 잘못된 baseline, 잘못된 preprocessing, 잘못된 validation split을 쓰면 scientific conclusion은 틀릴 수 있다.

셋째, reproduction benchmark는 target paper가 드러나는 경우가 많다. 이 경우 agent는 논문을 구현하거나 재현하는 문제를 풀지만, hidden target paper 없이 같은 conclusion에 도달하는 re-discovery 능력을 직접 재는 것은 아니다.

ResearchClawBench는 이 빈틈을 찌른다. Agent에게 target paper를 숨긴 상태에서 task description, related literature, raw data, executable environment를 제공하고, 최종 산출물을 target paper 기반 rubric으로 평가한다.

2. Core Idea

2-1. Main contribution

ResearchClawBench의 핵심 기여는 3가지로 볼 수 있다.

  1. Hidden-target re-discovery task
    • 각 task는 실제 published paper에서 출발한다.
    • 평가 대상 agent에게는 target paper를 보여주지 않는다.
    • 대신 task instruction, related literature, raw data, executable workspace를 제공한다.
    • agent는 code, intermediate results, figures, final report를 만들어야 한다.
  2. Expert-curated multimodal rubric
    • Domain expert가 target paper의 key scientific artifacts를 checklist로 쪼갠다.
    • 각 item은 criteria, technical keywords, weight를 가진다.
    • text evidence뿐 아니라 figure나 image evidence도 평가 대상으로 들어간다.
    • score 50은 target paper 수준의 re-discovery를 의미하고, 50보다 높으면 target paper를 넘어선 discovery 가능성으로 해석한다.
  3. Unified evaluation over agents and LLMs
    • 논문은 7개 autonomous research agent를 같은 protocol에서 평가한다.
    • full agent scaffold가 없는 native LLM은 ResearchHarness라는 lightweight tool-use harness를 통해 평가한다.
    • 이를 통해 agent scaffold의 차이와 underlying LLM의 차이를 어느 정도 분리해서 볼 수 있게 한다.

2-2. Design intuition

설계 직관은 명확하다. Research agent를 평가하려면 final report의 문장 품질보다 evidence path의 정확성을 봐야 한다.

많은 agent는 긴 report를 만들고, code도 생성하고, figure도 넣을 수 있다. 하지만 실제 연구에서 중요한 것은 다음 질문이다.

  • 올바른 scientific problem을 풀었는가?
  • target paper가 사용한 핵심 experimental protocol을 회복했는가?
  • figure와 number가 critical evidence를 담고 있는가?
  • conclusion이 raw data와 analysis에 의해 지지되는가?

ResearchClawBench는 이 질문을 benchmark scoring으로 바꾼다. 특히 50점을 만점이 아니라 target-paper-level boundary로 둔 점이 좋다. 이 설정은 benchmark를 단순 ranking tool이 아니라 re-discovery와 new discovery를 같은 score axis에서 보는 장치로 만든다.

3. Architecture / Method

3-1. Overview

Item Description
Goal AI agent가 raw data와 related work만 보고 target paper 수준의 scientific artifact를 재구성할 수 있는지 평가
Task source 40개 real-paper-derived scientific task
Domain coverage Astronomy, Chemistry, Earth, Energy, Information, Life, Material, Math, Neuroscience, Physics
Agent output code, execution trace, intermediate files, figures, final report
Evaluation anchor hidden target paper와 expert-built weighted rubric
Score meaning 50은 target-paper-level re-discovery, 50 초과는 target paper를 넘어선 discovery signal
Main diagnosis 현재 agent는 polished report보다 protocol, evidence, scientific core에서 더 자주 실패

3-2. Task construction pipeline

ResearchClawBench의 task는 그냥 problem statement를 모은 것이 아니다. 논문과 repository 설명을 합치면 pipeline은 다음처럼 정리된다.

  1. High-quality target paper selection
    • Domain expert가 clear scientific question, accessible data, research value가 있는 paper를 고른다.
    • 여기서 research value는 academic value뿐 아니라 economic, ecological, medical value도 포함한다.
  2. Core task extraction
    • Expert가 target paper의 핵심 질문을 executable task description으로 다시 쓴다.
    • Agent에게는 target paper 자체가 아니라 task instruction이 제공된다.
  3. Data and related work packaging
    • Raw data와 related literature를 task workspace 안에 넣는다.
    • 각 task는 agent가 실제로 파일을 읽고 분석할 수 있는 형태로 구성된다.
  4. Rubric construction
    • Target paper의 핵심 contribution을 weighted checklist로 변환한다.
    • 각 item에는 criteria, keywords, weight, evidence type이 들어간다.
  5. Human reproduction and validation
    • Human researcher가 task가 실제로 풀릴 수 있는지 확인한다.
    • 이 단계는 benchmark가 impossible task나 underspecified task로 흐르는 것을 줄이기 위한 장치다.

이 구조가 중요한 이유는 평가가 target paper를 직접 복사하는 문제가 아니기 때문이다. Agent는 hidden target을 보지 못한 상태에서, 주어진 evidence source를 기반으로 target paper와 같은 scientific core에 도달해야 한다.

3-3. ResearchHarness

논문은 full autonomous agent뿐 아니라 native LLM도 평가하기 위해 ResearchHarness를 도입한다.

ResearchHarness는 작은 ReAct-style tool-use harness다. 핵심은 agent scaffold를 과도하게 복잡하게 만들지 않고, LLM 자체의 tool-use 능력을 같은 research task 위에서 비교할 수 있게 하는 것이다.

ResearchHarness의 tool surface는 크게 3개다.

Category Tools Role
Web and retrieval WebSearch, ScholarSearch, WebFetch 관련 문헌과 웹 정보를 찾고 읽음
Local files Glob, Grep, Read, ReadPDF, ReadImage, Write, Edit workspace 안의 text, PDF, image, output file을 다룸
Local execution Bash, TerminalStart, TerminalWrite, TerminalRead code 실행, 디버깅, 장기 분석 workflow 수행

긴 research trajectory를 다루기 위해 context compaction도 포함된다. 논문 기준 default compaction trigger는 128k tokens다. 이 부분은 practical하다. End-to-end research task는 단일 prompt QA가 아니라 long-horizon interaction이기 때문이다.

3-4. Scoring design

Scoring은 두 가지 mode를 중심으로 돌아간다.

  1. Target Optimization
    • Numerical result, metric, quantitative outcome이 중요한 rubric item에 적용된다.
    • 예를 들어 target paper와 comparable한 metric을 냈는지, 더 좋은 quantitative result를 냈는지를 본다.
  2. Diagnostic Analysis
    • Mechanistic explanation, theoretical reasoning, interpretive analysis가 중요한 item에 적용된다.
    • 단순 언급이 아니라 evidence depth와 logical chain을 본다.

이 설계의 핵심은 score 50이다. 100점 만점에서 50은 낮은 점수가 아니라 target paper를 제대로 회복했다는 기준점이다. 따라서 20점대 결과는 “약간 부족”이 아니라 target-paper-level re-discovery와는 상당한 gap이 있다는 뜻으로 읽어야 한다.

4. Training / Data / Recipe

이 논문은 model training paper가 아니라 benchmark and evaluation paper다. 따라서 여기서 중요한 recipe는 학습 recipe가 아니라 benchmark construction and evaluation recipe다.

4-1. Data

ResearchClawBench는 40개 task를 10개 domain에 걸쳐 구성한다. 각 domain에는 4개 task가 들어간다.

Domain Example scope
Astronomy black hole inference, cosmology, gravitational-wave catalog
Chemistry molecular property prediction, biomolecular structure, docking
Earth glacier mass, climate data, coastal risk
Energy battery, dispatch, green hydrogen, campus energy data
Information multimodal modeling, perception, scientific-calculation scoring
Life biomedical analysis, biosequence, nanopore signal
Material materials discovery, atomistic model, polymer design
Math optimization, path finding, geometry proving
Neuroscience neural behavior classification, connectome, EM proofreading
Physics condensed matter, superconductivity, quantum sampling, Floquet states

GitHub와 Hugging Face artifact도 같이 볼 가치가 있다. Repository는 official 40 tasks를 중심으로 evaluation UI와 CLI를 제공하고, Hugging Face mirror에는 community-contributed task까지 포함된 확장 형태가 표시된다. 최종 발행 전에는 paper의 40 task 기준과 artifact의 확장 task 수를 분리해서 적어두는 것이 좋다.

4-2. Evaluation recipe

논문 실험은 크게 두 그룹을 평가한다.

  1. Autonomous agents
    • Claude Code
    • Codex CLI
    • ARIS Codex
    • OpenClaw
    • Nanobot
    • EvoScientist
    • ResearchClaw
  2. Native LLMs through ResearchHarness
    • Claude-Opus-4.7, Claude-Opus-4.6, GPT-5.5, GPT-5.4, Qwen3.7-Max, GLM-5.1, Gemini-3.5-Flash 등 17개 model을 ResearchHarness 위에서 평가한다.

모든 system은 40개 ResearchClawBench task에서 평가되고, 각 run 이후 final report가 rubric에 따라 scoring된다. 논문에서는 GPT-5.1을 judge model로 사용한다.

4-3. Engineering notes

실제로 이 benchmark를 internal agent evaluation에 재사용하려면 다음 구조가 중요하다.

  1. Agent model과 judge model을 분리한다.
    • Repository CLI 설정도 evaluated model과 judge model을 별도 key로 분리한다.
    • 이 분리는 평가 leakage와 self-judging bias를 줄이는 데 중요하다.
  2. Workspace artifact를 보존한다.
    • report만 저장하면 안 된다.
    • code, output, trace, score reasoning, intermediate files를 함께 남겨야 failure analysis가 가능하다.
  3. Checklist는 target paper에서 역으로 만든다.
    • 좋은 rubric은 generic quality checklist가 아니다.
    • target paper의 critical evidence를 item으로 쪼개고, 각각에 weight를 둬야 한다.
  4. Human validation이 필요하다.
    • 이 benchmark의 설득력은 task가 실제로 human researcher에게도 executable하고 meaningful하다는 데서 나온다.
    • Internal benchmark에서도 최소한 human reproduction pass가 있어야 task validity를 주장할 수 있다.

5. Evaluation

5-1. Main results

가장 중요한 headline은 현재 system이 50점 boundary에 크게 못 미친다는 점이다.

Group Best system Overall score Interpretation
Autonomous agent Claude Code 21.5 가장 높은 agent지만 target-paper-level re-discovery와 큰 gap 존재
Autonomous frontier Best agent per task 24.6 task별로 최고 agent를 골라도 50과는 거리가 큼
ResearchHarness LLM Claude-Opus-4.7 20.7 native LLM도 lightweight harness만으로는 안정적 re-discovery에 부족
LLM frontier Best LLM per task 26.5 model selection을 task별로 해도 re-discovery boundary에 못 미침

이 결과는 “agent가 아직 연구를 못 한다”라는 단순 결론보다 더 구체적으로 읽어야 한다. Agent는 report를 만들고, code를 실행하고, figure를 생성할 수 있다. 하지만 target paper가 요구한 protocol, evidence chain, scientific core를 안정적으로 회복하지 못한다.

5-2. What really matters in the experiments

1) Score 50의 의미를 정확히 봐야 한다

ResearchClawBench의 score는 pass rate가 아니다. 50점이 target paper 수준의 re-discovery다. 따라서 21.5점은 21.5% 성공률이 아니라, target-paper-level artifact의 상당 부분을 회복하지 못했다는 rubric score로 보는 것이 맞다.

2) Strongest agent가 모든 task에서 strong한 것은 아니다

Claude Code가 평균 21.5로 가장 높지만, task-level winner는 분산되어 있다. 논문은 Claude Code가 40개 task 중 14개에서만 task-level win을 했다고 보고한다. 이는 agent ranking보다 task difficulty profile과 domain-specific failure mode를 보는 것이 더 중요하다는 뜻이다.

3) Professionalism과 scientific substance는 다르다

Supplemental dimension에서 많은 system은 Professionalism score가 70을 넘는다. 하지만 rubric score는 훨씬 낮다. 이 차이가 이 논문의 가장 중요한 메시지 중 하나다.

즉 current agent의 문제는 글을 못 쓰는 것이 아니다. 너무 잘 쓰는 report가 오히려 위험할 수 있다. 문서는 깔끔하지만 protocol이 틀리고, figure는 있어 보이지만 evidence chain이 target paper와 다르며, conclusion은 그럴듯하지만 scientific core가 빠질 수 있다.

4) Error는 execution failure보다 protocol and evidence mismatch에 모인다

논문은 7개 autonomous agent의 280개 run을 분석하고 error를 6개 type으로 묶는다. 실패는 주로 다음 3개에 집중된다.

  1. Experiment Design Mismatch
    • preprocessing, baseline, validation, experimental protocol이 target paper와 달라진다.
  2. Evidence Mismatch
    • figure, number, conclusion이 critical evidence와 맞지 않는다.
  3. Scientific Core Missing
    • target paper의 핵심 mechanism이나 finding을 놓친다.

반대로 단순 execution failure가 주된 문제는 아니다. 이 점이 중요하다. Agent가 code를 실행하지 못해서 실패한다기보다, 실행은 했는데 scientific path가 틀어지는 경우가 핵심이다.

5) Case study가 보여주는 failure pattern

Physics_002 case study가 좋은 예다. OpenClaw는 random quantum circuit sampling task에서 가장 직접적인 XEB trend 일부를 회복한다. 하지만 rubric-critical component인 multiple scaling analysis, validation, mirror-circuit inference, gate-counting error model, multi-estimator consistency를 충분히 회복하지 못한다.

이 사례는 research agent 평가에서 surface-level trend recovery와 full evidence-chain recovery를 분리해야 한다는 점을 잘 보여준다.

6. Limitations

  1. Dry-lab 중심 benchmark다.
    • 현재 task는 existing data, code, literature 기반 연구를 평가한다.
    • Wet-lab experiment, sample preparation, physical instrument operation은 직접 평가하지 못한다.
  2. Final report 중심 scoring이다.
    • 논문도 current scoring이 fine-grained research steps보다 final report를 주로 본다고 말한다.
    • 실제 agent improvement에는 step-level trace evaluation, decision point evaluation, evidence provenance tracking이 추가로 필요하다.
  3. True new discovery 평가는 아직 어렵다.
    • Rubric은 hidden target paper에서 만들어진다.
    • 따라서 50 초과 score가 new discovery signal을 줄 수는 있지만, 정말 새로운 scientific conclusion을 검증하려면 더 강한 human expert review와 follow-up validation이 필요하다.
  4. LLM judge dependence가 남아 있다.
    • Expert rubric이 있어도 scoring 자체는 LLM judge를 거친다.
    • Judge model choice, prompt, image understanding quality, rubric granularity가 score에 영향을 줄 수 있다.
  5. Benchmark overfitting 가능성이 있다.
    • 공개 benchmark가 되면 agent가 task distribution, rubric style, report format에 맞춰 최적화될 수 있다.
    • Long-term evaluation을 위해서는 hidden split, refreshed task, human audit가 필요하다.
  6. Artifact version sync에 주의해야 한다.
    • 논문은 40 official tasks를 기준으로 설명한다.
    • GitHub와 Hugging Face artifact는 community task나 leaderboard update가 추가될 수 있으므로, 어떤 version 기준으로 수치를 말하는지 분리해야 한다.

7. My Take

7-1. Why this matters for my work

이 논문은 agent benchmark를 설계할 때 매우 중요한 기준선을 준다. Agent evaluation을 task completion이나 final answer accuracy에만 두면, 실제로는 polished but wrong report를 놓치기 쉽다.

특히 data analysis agent, document analysis agent, research assistant, coding agent를 실서비스에 붙이는 경우에는 다음 질문이 더 중요하다.

  • agent가 어떤 data preprocessing을 선택했는가?
  • baseline과 validation protocol이 왜 맞는가?
  • final conclusion을 지지하는 figure와 number가 어디에서 나왔는가?
  • report의 claim이 code output과 연결되는가?

ResearchClawBench는 이 질문들을 benchmark design으로 바꾼다. 이 점에서 단순 public leaderboard보다 internal evaluation template으로 더 쓸모가 크다.

7-2. Reuse potential

1) Internal research agent benchmark

사내 research assistant나 data analysis agent를 평가한다면, ResearchClawBench 스타일을 거의 그대로 가져올 수 있다.

  • target human report를 숨긴다.
  • raw data와 related docs만 준다.
  • agent가 code와 report를 만들게 한다.
  • hidden target report에서 weighted rubric을 만든다.
  • final report뿐 아니라 code, output, evidence path를 같이 채점한다.

2) Evidence-chain QA

많은 agent QA는 final answer만 본다. 하지만 research workflow에서는 answer보다 evidence chain이 중요하다. Figure source, metric computation, validation split, baseline definition을 checklist item으로 만들어야 한다.

3) Agent debugging dashboard

ResearchClawBench의 error taxonomy는 debugging에도 유용하다. 실패를 execution failure 하나로 묶지 말고, Experiment Design Mismatch, Evidence Mismatch, Scientific Core Missing으로 나누면 개선 방향이 훨씬 선명해진다.

4) Report quality와 scientific quality 분리

실무에서 agent report는 대체로 그럴듯하게 보인다. 그래서 presentation score와 scientific evidence score를 분리해야 한다. ResearchClawBench 결과처럼 Professionalism은 높은데 rubric score가 낮은 case를 별도 regression set으로 잡는 것이 좋다.

7-3. Follow-up papers

  • PaperBench
    • target paper reproduction과 hierarchical rubric 기반 평가를 비교해볼 만하다.
  • ScienceAgentBench
    • data-driven scientific discovery task를 어떻게 만들었는지 같이 보면 좋다.
  • AutoResearchBench
    • literature discovery 중심 autonomous research benchmark와 대비해서 읽기 좋다.
  • MLAgentBench and MLE-bench
    • machine learning engineering workflow benchmark가 ResearchClawBench와 어디서 갈라지는지 확인하기 좋다.

8. Summary

  • ResearchClawBench는 40개 real-paper-derived task와 10개 scientific domain으로 end-to-end autonomous research를 평가한다.
  • 핵심은 target paper를 숨긴 상태에서 raw data, related work, executable workspace만으로 re-discovery를 시도하게 하는 것이다.
  • Score 50은 target-paper-level re-discovery boundary이고, 현재 best autonomous agent는 평균 21.5점에 머문다.
  • 주요 실패는 report generation이 아니라 experimental protocol, evidence chain, scientific core를 회복하지 못하는 데서 나온다.
  • 실무적으로는 agent benchmark를 만들 때 final answer보다 evidence path, rubric-critical artifacts, trace-level debugging을 중심에 둬야 한다는 메시지가 크다.

댓글남기기

참고