10 분 소요

0. Introduction

Paper link

Code link

Model link

한 줄 요약: RAGU는 knowledge graph를 한 번에 생성하지 않고 typed extraction, deduplication, consolidation, community construction, multi-step retrieval로 나누며, 각 단계에 필요한 language skill에 맞춘 compact 7B model Meno-Lite-0.1을 사용한다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • GraphRAG의 성능을 retrieval query만이 아니라 graph construction pipeline 전체의 문제로 본다.
  • Entity와 relation extraction을 분리하고, extraction 뒤 consolidation을 별도 단계로 둔다.
  • In-pipeline LLM에 필요한 능력이 factual world knowledge보다 context comprehension과 structured extraction에 가깝다는 가설을 검증한다.
  • 7B domain-adapted model이 32B general model과 경쟁하거나 일부 extraction metric에서 앞서는 결과를 제시한다.
  • Retrieval completeness, synthesis, factoid precision이 서로 다른 trade-off라는 점을 benchmark별로 보여준다.

GraphRAG는 document chunk를 바로 vector search하는 대신 entity, relation, community를 구성하고 graph를 통해 evidence를 모은다. 구조화된 context는 multi-hop question과 broad synthesis에 유리할 수 있지만, graph가 처음부터 noisy하면 downstream retrieval도 안정적일 수 없다.

많은 GraphRAG system은 한 prompt에서 entity와 relation을 함께 추출하고 결과를 곧바로 graph에 넣는다. 이 과정에서 duplicate entity, inconsistent type, dangling relation, overly generic summary가 누적될 수 있다. RAGU는 extraction과 consolidation을 분리하고, graph build를 여러 검증 가능한 stage로 만든다.

1. Problem Setting

1-1. Problem definition

GraphRAG pipeline은 대략 다음 mapping을 수행한다.

\[\mathcal{D} \rightarrow \mathcal{C} \rightarrow (\mathcal{V},\mathcal{E}) \rightarrow \mathcal{K} \rightarrow \mathcal{R}(q) \rightarrow \hat{y}\]
  • $\mathcal{D}$: 원본 document collection
  • $\mathcal{C}$: 분할된 chunk 집합
  • $(\mathcal{V},\mathcal{E})$: entity와 relation으로 구성된 graph
  • $\mathcal{K}$: consolidation과 community 구성이 끝난 knowledge structure
  • $\mathcal{R}(q)$: query $q$에 대해 retrieval된 context
  • $\hat{y}$: 최종 생성 answer

Error는 각 단계에서 생길 수 있다.

  1. Chunk가 semantic boundary를 잘못 자른다.
  2. 같은 entity가 여러 node로 분리된다.
  3. Relation endpoint가 entity set과 일치하지 않는다.
  4. Community summary가 source evidence를 과도하게 압축한다.
  5. Query engine이 wrong granularity의 context를 가져온다.
  6. Generator가 complete evidence보다 concise answer format을 우선한다.

RAGU의 problem setting은 GraphRAG를 단일 retrieval algorithm이 아니라 graph lifecycle system으로 보는 것이다.

1-2. Why previous approaches are insufficient

1) One-pass extraction은 error를 고정한다

Entity와 relation을 한 번에 추출하면 relation이 reference하는 entity가 실제 entity set에 없는 경우가 생긴다. Type inconsistency와 duplicate도 downstream에서 해결하기 어렵다.

2) Bigger extractor가 항상 비례해서 좋아지지 않는다

In-pipeline extraction은 open-domain fact recall보다 given context를 읽고 schema에 맞춰 구조화하는 능력을 요구한다. 논문은 model size scaling이 world-knowledge-heavy benchmark에서는 크지만, multi-hop context task에서는 상대적으로 작다고 관찰한다.

3) GraphRAG benchmark는 answer format에 민감하다

Factoid QA에서 verbose answer는 exact or strict evaluation에서 손해를 볼 수 있다. Retrieval quality와 final answer style이 섞이면 graph engine의 실제 evidence quality를 잘못 해석할 수 있다.

4) Modular system이 아니면 failure localization이 어렵다

Chunking, extraction, storage, community, retrieval, generation이 하나의 monolithic pipeline이면 어느 stage가 성능을 막는지 알기 어렵다. Model이나 vector store를 바꿀 때도 전체 system을 다시 만들어야 한다.

2. Core Idea

2-1. Main contribution

RAGU의 핵심 기여는 세 축으로 나눌 수 있다.

  1. Multi-step graph construction
    • Entity extraction과 relation extraction을 분리한다.
    • Name and type consolidation, DBSCAN-based duplicate grouping, LLM summary를 적용한다.
    • Leiden community detection과 hierarchical report를 만든다.
  2. Compact domain-adapted extractor
    • Qwen2.5 기반 7B model Meno-Lite-0.1을 continued pretraining과 SFT로 학습한다.
    • Knowledge memorization보다 contextual language skill과 structured output에 집중한다.
  3. Modular query engine
    • Local, Global, Naive, Mix, QueryPlanEngine을 지원한다.
    • Dense and sparse retrieval, cross-encoder reranking, graph traversal을 조합한다.

2-2. Design intuition

논문의 central hypothesis는 다음처럼 정리할 수 있다.

Graph construction 내부의 LLM은 세상의 모든 사실을 기억할 필요가 없다. 현재 chunk를 이해하고, entity와 relation을 schema에 맞게 추출하며, 여러 fragment를 일관되게 합치는 language skill이 더 중요하다.

저자들은 Qwen2.5 family의 scale-up effect를 비교한다. World knowledge가 크게 필요한 CheGeKa에서는 7B에서 72B로 갈 때 성능 증가가 매우 크지만, context-grounded multi-hop task인 MultiQ에서는 증가폭이 더 작다고 보고한다.

이 관찰에서 compact model specialization 전략이 나온다.

  • Large general model: broad factual knowledge와 general reasoning에 강함
  • Compact adapted model: extraction schema, domain language, structured output, long context를 집중 학습

RAGU는 graph build에 후자를 사용하고, final answer model은 필요에 따라 별도로 선택할 수 있게 한다.

3. Architecture / Method

3-1. Overview

Stage Main operation Output
1 Simple, Semantic, SmartSemantic chunking Chunks with metadata
2 Typed entity extraction followed by relation extraction Raw entity and relation records
3 Name/type grouping, DBSCAN deduplication, LLM consolidation Canonical graph
4 Leiden community detection Hierarchical communities
5 Community report generation and refinement Structured summaries
6 Local, Global, Mix, QueryPlan retrieval Query-specific evidence context

3-2. Module breakdown

1) Chunking

RAGU는 세 chunker를 제공한다.

  • Simple: fixed or rule-based segmentation
  • Semantic: embedding similarity를 이용한 boundary selection
  • SmartSemantic: document structure와 semantic signal을 함께 사용

Chunking choice는 extraction recall과 cost에 직접 영향을 준다. 너무 긴 chunk는 structured output error와 context cost를 높이고, 너무 짧은 chunk는 relation endpoint를 분리한다.

2) Two-stage typed extraction

Entity extraction을 먼저 수행하고, relation extraction은 이미 얻은 entity inventory를 조건으로 수행한다. Relation endpoint는 entity set에 존재하는지 validate한다.

NEREL schema는 29 entity type과 49 relation type을 제공한다. Typed schema는 free-form graph보다 consistency가 높지만, 다른 domain으로 이동할 때 type ontology를 다시 맞춰야 한다.

RAGU는 optional in-context example selection도 지원한다.

  • Semantic retrieval
  • BM25 retrieval
  • Hybrid retrieval
  • Random selection

3) Entity consolidation

Raw extraction에는 같은 entity의 spelling variant와 duplicate mention이 생긴다. RAGU는 name과 type으로 candidate를 묶고, embedding plus DBSCAN으로 duplicate cluster를 만든다.

그 다음 LLM이 cluster의 canonical name과 description을 정리한다. Relation도 endpoint normalization과 semantic merging을 거친다.

중요한 점은 consolidation이 extraction과 별도라는 것이다. Extractor가 모든 canonicalization을 한 번에 해결하도록 강요하지 않고, later stage가 noisy local output을 global graph로 정리한다.

4) Community hierarchy

Canonical graph에 Leiden community detection을 적용한다. Community는 local entity cluster를 넘어 broader topic structure를 만든다.

각 community에는 structured report가 생성되며, 필요하면 refinement step으로 summary를 보정한다. Global query는 community report를 사용하고, local query는 entity neighborhood를 중심으로 context를 만든다.

5) Search engines

RAGU의 query layer는 여러 retrieval mode를 제공한다.

Engine Main use
Naive Chunk-level vector retrieval
Local Entity and relation neighborhood 중심 답변
Global Community report 중심 broad synthesis
Mix Local plus global evidence 결합
QueryPlanEngine Multi-step query를 DAG로 분해해 실행

QueryPlanEngine은 complex query를 subquery로 나누고 dependency에 따라 실행한다. Dense and sparse retrieval은 Qdrant에서 결합하고, cross-encoder reranker로 candidate를 다시 정렬한다.

6) Storage abstraction

Graph store, key-value store, vector store를 interface로 분리한다. Async bounded concurrency, deterministic ID, incremental CRUD, consistency auditor를 제공한다.

논문은 약 374개 test와 mock LLM을 언급한다. Research prototype보다 operational engine을 지향하는 흔적이다.

7) Meno-Lite-0.1

Meno-Lite-0.1은 RuadaptQwen2.5-7B를 기반으로 한다.

  • Continued pretraining: 약 1.3B Russian and English educational/scientific tokens
  • SFT: 약 50M tokens
  • SFT tasks: extraction, multi-hop QA, query logs, structured reasoning
  • Context length: 128K
  • Passkey result: 0.98 reported

Russian tokenizer efficiency도 개선되어 Russian text의 chars per token이 2.57에서 3.77로 올라간다고 보고한다. 같은 document를 더 적은 token으로 처리할 수 있다는 의미다.

4. Training / Data / Recipe

4-1. Data

Meno-Lite-0.1의 training data는 두 단계다.

Continued pretraining

Russian and English의 educational, scientific text를 사용한다. 목적은 특정 knowledge base를 외우는 것보다 domain language와 long-context comprehension을 강화하는 것이다.

Supervised fine-tuning

Extraction schema, multi-hop reasoning, query interpretation, structured output을 학습한다. GraphRAG pipeline에서 실제로 필요한 action에 맞춰 data mixture를 구성한다.

Knowledge graph extraction 평가는 NEREL 기반 entity and relation extraction을 사용한다. End-to-end GraphRAG 평가는 GraphRAG-Bench Medical, BioASQ, MuSiQue, 2WikiMultiHopQA를 포함한다.

4-2. Training strategy

논문이 강조하는 recipe는 model size보다 task alignment다.

  1. 7B backbone을 domain text로 continued pretraining한다.
  2. Entity extraction과 relation extraction을 separate structured tasks로 SFT한다.
  3. Multi-hop QA와 query log를 섞어 downstream retrieval reasoning을 보강한다.
  4. 128K context와 tokenizer efficiency를 확보한다.
  5. GraphRAG pipeline의 consolidation이 extractor error를 흡수하도록 system-level redundancy를 둔다.

이 구조는 compact model 하나가 모든 역할을 맡는다는 뜻이 아니다. Extraction, consolidation, query planning, final generation은 modular하게 교체할 수 있다.

4-3. Engineering notes

1) Schema version을 고정해야 한다

Entity and relation type이 바뀌면 stored graph와 extractor output이 호환되지 않을 수 있다. Schema version, migration, unknown type policy가 필요하다.

2) Consolidation은 provenance를 보존해야 한다

Canonical entity가 어떤 chunk와 raw mention에서 왔는지 유지해야 한다. LLM summary만 남기면 오류를 audit하거나 source citation을 복원하기 어렵다.

3) Incremental update에서 community recomputation 범위를 정해야 한다

새 document가 들어올 때 전체 Leiden clustering을 다시 돌릴지, affected subgraph만 갱신할지 결정해야 한다. Large corpus에서는 update latency의 핵심이다.

4) Extraction metric과 end-to-end metric을 분리해야 한다

Entity F1이 높아도 final QA가 반드시 좋아지지 않는다. 반대로 extractor가 조금 약해도 consolidation과 retrieval이 error를 완화할 수 있다.

5) Answer prompt를 고정해야 한다

Factoid benchmark에서 verbose output은 score를 낮출 수 있다. Retrieval engine 비교라면 concise prompt와 verbose prompt를 둘 다 보고, evidence recall을 함께 측정하는 것이 좋다.

6) Cost estimate는 workload-dependent다

논문은 대략 document당 8K tokens, 2K tokens/sec 가정에서 rented GPU 기준 약 $0.001 per document, API 기준 약 $0.10 per document의 order-of-magnitude estimate를 제시한다. 이는 provider, batching, token length에 따라 크게 달라질 수 있으므로 fixed price로 읽으면 안 된다.

5. Evaluation

5-1. Main results

Knowledge graph extraction

Meno-Lite-0.1 7B는 NEREL 기반 extraction에서 Qwen2.5-32B보다 높은 harmonic mean을 보고한다.

  • Entity extraction harmonic mean: 0.468 vs 0.416
  • Relative improvement: about 12.5%
  • Relation extraction harmonic mean: 0.347 vs 0.239

End-to-end GraphRAG pipeline에서는 extractor size에 따른 차이가 약 1.5 percentage points 이내로 줄어든다고 분석한다. Consolidation과 downstream stage가 raw extraction gap을 완화할 수 있음을 시사한다.

GraphRAG-Bench Medical

Meno-based system의 대표 결과는 다음과 같다.

System Factoid Complex Contextual Context coverage Creative Creative coverage Faithfulness
HippoRAG2 72.4 68.4 65.0 51.7 56.9 34.7 26.6
RAGU 54.2 53.7 64.1 71.1 59.0 57.4 34.2

HippoRAG2는 factoid와 complex chain에서 강하고, RAGU는 context coverage, creative synthesis, faithfulness에서 강하다. 즉 한 system이 모든 metric에서 우세한 결과가 아니다.

RAGU의 evidence recall은 factoid level에 따라 최대 0.84로 보고되며, comparison system은 0.76 이하라고 보고한다. Broad evidence gathering이 RAGU의 주된 강점이다.

Multi-hop QA with terse answer prompt

Answer format을 간결하게 고정한 결과는 다음과 같다.

Benchmark RAGU HippoRAG2
BioASQ 72.9 72.4
MuSiQue 40.1 54.4
2WikiMultiHopQA 58.0 63.5

Verbose prompt에서 보이던 큰 factoid gap 일부는 format artifact였지만, MuSiQue와 2Wiki에서는 HippoRAG2가 여전히 앞선다. 특히 MuSiQue 차이는 answer style만으로 설명하기 어렵다.

5-2. What really matters in the experiments

1) Retrieval completeness와 precision은 trade-off다

RAGU는 더 많은 evidence를 모으고 broad context를 만든다. Synthesis task에는 유리하지만, concise factoid answer에서는 irrelevant context와 answer formatting이 부담이 될 수 있다.

2) Compact extractor claim은 system boundary 안에서 읽어야 한다

Meno-Lite-0.1은 standalone general LLM replacement가 아니다. Given context의 extraction과 GraphRAG orchestration에 최적화된 component다.

3) Pipeline이 model scaling gap을 줄인다

32B extractor와 7B extractor의 raw score 차이가 consolidation 이후 작아지는 결과는 중요한 systems insight다. Better pipeline이 bigger model의 일부 역할을 대체할 수 있다.

4) Benchmark schema overlap을 주의해야 한다

NEREL은 Russian news 중심의 typed schema다. Meno의 Russian adaptation과 training task가 benchmark에 유리할 수 있다. 다른 legal, finance, biomedical ontology에서도 같은 relative gain이 유지되는지는 별도 문제다.

6. Limitations

  1. Model scaling evidence가 한 family 중심이다.
    • Qwen2.5 family에서 language skill과 world knowledge의 scaling 차이를 관찰한다.
    • 다른 architecture와 tokenizer에서도 같은 pattern인지 추가 검증이 필요하다.
  2. Meno-Lite-0.1은 standalone knowledge model이 아니다.
    • 32K를 넘는 multi-hop setting에서 degradation이 보고된다.
    • Retrieval context와 structured task 안에서 쓰는 component로 보는 것이 적절하다.
  3. NEREL schema와 domain overlap이 있다.
    • Russian news 중심 ontology가 다른 domain을 대표하지 않는다.
    • Domain-specific type system과 annotation이 필요하다.
  4. NetworkX backend는 million-node graph에 제한적일 수 있다.
    • Large deployment에서는 distributed graph store와 incremental community update가 필요하다.
  5. Weak extraction을 consolidation이 완전히 고칠 수는 없다.
    • Missing entity와 missing relation은 deduplication으로 복원되지 않는다.
    • Consolidation은 duplicate와 inconsistency에는 강하지만 recall failure에는 한계가 있다.
  6. Final answer metric이 prompt style에 민감하다.
    • Terse and verbose output에서 ranking이 달라질 수 있다.
    • Retrieval quality를 평가하려면 evidence-level metric을 병행해야 한다.
  7. Graph build cost와 freshness trade-off가 남는다.
    • Multi-step extraction과 consolidation은 quality를 높이지만 ingestion latency를 늘린다.
    • Frequently changing corpus에서는 update policy가 중요하다.

7. My Take

7-1. Why this matters for my work

RAGU의 가장 실용적인 메시지는 “GraphRAG에는 큰 LLM이 필요 없다”보다 “큰 LLM이 필요하지 않도록 pipeline을 분해할 수 있다”에 가깝다. Entity extraction, relation validation, deduplication, summary, community, query planning을 한 prompt에 몰아넣지 않으면 각 stage에 맞는 compact model과 validator를 쓸 수 있다.

Document AI나 internal knowledge QA에서는 이 구조가 특히 의미 있다. Ingestion은 반복 비용이고, provenance와 schema consistency가 중요하기 때문에 model size보다 deterministic contract와 incremental audit가 더 큰 운영 차이를 만들 수 있다.

7-2. Reuse potential

1) Document pair and cross-reference graph

계약서 본문과 부속 문서, main report와 appendix 사이의 entity and clause relation을 typed graph로 만들 수 있다.

2) OCR-grounded entity provenance

Entity node에 source chunk뿐 아니라 OCR ID와 bounding box를 연결하면 answer citation을 page region까지 추적할 수 있다.

3) Compact extractor plus strong generator

Ingestion에는 7B specialist를 사용하고, difficult final synthesis에만 larger model을 호출하는 cost-aware routing이 가능하다.

4) Evidence recall first evaluation

Answer accuracy만 보기 전에 graph retrieval이 gold evidence를 포함했는지, 어떤 stage에서 evidence가 사라졌는지 audit하는 benchmark를 만들 수 있다.

5) Schema-specific consolidation

Generic embedding deduplication 뒤에 domain rule을 추가할 수 있다. 예를 들어 company ID, contract number, date normalization처럼 deterministic key가 있는 entity는 LLM보다 rule을 우선한다.

7-3. Follow-up papers

  • From Local to Global: A Graph RAG Approach to Query-Focused Summarization
  • HippoRAG
  • HippoRAG 2
  • LightRAG
  • GraphRAG-Bench
  • RAPTOR
  • KG2RAG

8. Summary

  • RAGU는 GraphRAG를 one-pass extraction이 아니라 multi-step graph lifecycle로 설계한다.
  • Entity와 relation을 분리해 추출하고, DBSCAN deduplication, LLM consolidation, Leiden community를 적용한다.
  • Compact 7B Meno-Lite-0.1은 context-grounded extraction skill에 맞춰 학습된다.
  • RAGU는 evidence coverage와 synthesis에 강하지만 factoid precision과 일부 multi-hop benchmark에서는 HippoRAG2가 앞선다.
  • 핵심 가치는 bigger model보다 modular pipeline, provenance, validation, query-mode separation에 있다.

댓글남기기

참고