OCC-RAG: Optimal Cognitive Core for Faithful Question Answering Review

0. Introduction

Paper link

OCC-RAG는 RAG 논문이지만, retriever를 더 키우거나 context를 더 많이 넣자는 논문으로 읽으면 핵심을 놓치기 쉽다. 이 논문이 겨냥하는 지점은 조금 다르다. 저자들은 LLM이 이미 너무 많은 parametric knowledge를 갖고 있는 상황에서, 실제 QA 시스템에 필요한 능력은 더 큰 지식량이 아니라 주어진 문맥에만 근거해서 추론하고, 근거가 없으면 거절하는 능력이라고 본다.

즉 문제는 아래 질문에 가깝다.

“RAG에서 answer generator는 정말 general-purpose LLM이어야 하는가?”

OCC-RAG의 답은 꽤 명확하다. faithfulness가 중요한 QA에서는 큰 general model보다, context-grounded reasoning에 특화된 small language model을 만드는 편이 더 합리적일 수 있다는 것이다. 그래서 이 논문은 OCC, 즉 Optimal Cognitive Core라는 SLM family를 제안하고, 그 변형으로 faithful QA에 맞춘 OCC-RAG-0.6B와 OCC-RAG-1.7B를 공개한다.

한 줄 요약: OCC-RAG는 300만 개 이상의 multi-context multi-hop QA 합성 데이터로 small language model을 mid-training해서, 주어진 context 안에서만 답하고 literal quote 기반 source citation과 calibrated abstention을 생성하도록 만든 faithful QA 전용 RAG generator 논문이다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• RAG generator를 큰 범용 LLM이 아니라 task-specialized SLM으로 설계하는 방향을 보여준다.
• context faithfulness, multi-hop reasoning, abstention을 하나의 training objective family로 묶는다.
• output format을 answer만이 아니라 structured reasoning trace와 literal quote citation까지 포함하는 형태로 본다.

이 논문의 핵심 메시지는 단순하다. RAG에서 더 중요한 것은 더 큰 model이 아니라, model이 무엇을 모르는 척해야 하는지, 어떤 근거만 써야 하는지, 그리고 답변을 어떤 증거 단위로 고정해야 하는지를 학습시키는 것이다.

1. Problem Setting

1-1. Problem definition

• 이 논문이 겨냥하는 핵심 문제는 faithful question answering이다.
• 입력은 질문 $q$와 여러 context passage $C = {c_1, …, c_n}$이다.
• 모델은 answer $a$를 생성해야 하지만, 그 answer는 반드시 제공된 context에 근거해야 한다.
• 필요한 경우 하나의 passage가 아니라 여러 passage를 연결하는 multi-hop reasoning이 필요하다.
• context에 충분한 근거가 없으면 모델은 parametric knowledge로 추정 답변을 만들지 말고 abstain해야 한다.
• answer에는 source citation이 붙어야 하며, citation은 추상적인 문서 id가 아니라 context 내부의 literal quote에 연결되어야 한다.

이 문제는 일반 QA보다 훨씬 까다롭다. 정답만 맞추면 되는 것이 아니라, 정답이 나온 경로가 문맥 안에서 검증 가능해야 한다. 특히 open-domain RAG에서는 retriever가 관련 문서를 일부만 가져오거나, 서로 충돌하는 passage를 가져오거나, 아예 답을 찾을 수 없는 passage를 가져오는 경우가 많다. 이때 generator가 memorized knowledge로 빈칸을 메워버리면 accuracy는 높아 보일 수 있지만 faithful QA 시스템으로는 실패다.

1-2. Why previous approaches are insufficient

• 큰 general-purpose LLM은 많은 parametric knowledge를 갖고 있어서, context에 없는 정보도 그럴듯하게 생성할 수 있다.
• 일반 RAG training은 종종 answer correctness를 중시하고, answer가 context literal evidence와 얼마나 직접 연결되는지는 덜 본다.
• citation generation도 문서 id나 paragraph id를 붙이는 수준에 머물면, 실제 사용자가 어떤 문장을 근거로 봐야 하는지 확인하기 어렵다.
• refusal benchmark가 따로 없으면, 모델은 answerable / unanswerable boundary를 제대로 학습하지 못한다.
• multi-hop QA는 단일 passage extractive QA보다 어려운데, 많은 pipeline은 retrieval과 generation을 분리해서 이 reasoning 부담을 generator에게 불투명하게 넘긴다.

결국 기존 접근의 한계는 model size가 부족해서라기보다, faithfulness를 시스템의 중심 objective로 놓지 않았다는 점에 있다. OCC-RAG는 이 문제를 작은 모델의 specialization 문제로 다시 정의한다.

2. Core Idea

2-1. Main contribution

OCC-RAG의 핵심 기여는 faithful QA에 필요한 cognitive core를 작은 모델 안에 압축하는 것이다.

논문 abstract 기준으로 기여는 크게 네 가지다.

1. Optimal Cognitive Core라는 SLM design premise
   • 많은 practical application은 parametric knowledge 자체보다 robust reasoning을 더 필요로 한다.
   • 따라서 task-specialized SLM은 단순 비용 절감이 아니라 principled design choice가 될 수 있다.
2. OCC-RAG variant
   • OCC family 중 faithful QA에 맞춘 variant다.
   • provided context 안에서 multi-hop reasoning을 수행하고 memorized knowledge를 무시하도록 설계된다.
3. Large-scale synthetic QA corpus
   • multi-context, multi-hop QA data를 합성하는 pipeline을 구축한다.
   • corpus 규모는 300만 example 이상이다.
   • 목표는 multi-hop reasoning, strict context faithfulness, calibrated abstention이다.
4. Compact model release and benchmark claim
   • OCC-RAG-0.6B와 OCC-RAG-1.7B를 release한다.
   • 두 모델은 이 corpus로 mid-training된다.
   • HotpotQA, MuSiQue, TAT-QA, ConFiQA, MuSiQue-Un에서 2-6x 더 큰 general-purpose model과 match하거나 exceed한다고 보고한다.

2-2. Design intuition

이 논문의 설계 직관은 꽤 명확하다. RAG의 answer generator는 세계 지식을 많이 암기한 모델일 필요가 없고, 오히려 암기 지식이 방해가 될 수 있다. faithful QA에서 중요한 것은 아래 세 가지다.

• context 안에서 필요한 evidence를 찾는다.
• 여러 evidence를 연결해 answer를 만든다.
• evidence가 부족하면 대답하지 않는다.

이 세 가지는 general-purpose chat ability와 완전히 같지 않다. 그래서 저자들은 OCC-RAG를 small but specialized reasoning core로 본다. 모델이 모든 것을 알 필요는 없지만, 입력 context와 질문 사이의 관계를 더 엄격하게 처리해야 한다는 발상이다.

여기서 흥미로운 점은 citation의 정의다. OCC-RAG는 source citation을 단순 reference id로만 두지 않고, context의 literal quote와 연결된 structured reasoning trace를 생성한다고 설명된다. 이건 실무 RAG에서 매우 중요하다. 답변이 맞아 보이는 것보다, 어떤 문장이 답변을 지지하는지 바로 확인할 수 있는 것이 더 중요할 때가 많기 때문이다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	context-grounded faithful QA를 위한 task-specialized SLM 구축
Model family	Optimal Cognitive Core, OCC
RAG variant	OCC-RAG
Released models	OCC-RAG-0.6B, OCC-RAG-1.7B
Training phase	multi-context multi-hop QA corpus로 mid-training
Data scale	3M+ synthetic examples
Output style	structured reasoning trace + source citations + answer or abstention
Benchmarks	HotpotQA, MuSiQue, TAT-QA, ConFiQA, MuSiQue-Un
Core objective	multi-hop reasoning, strict context faithfulness, calibrated abstention

3-2. Module breakdown

1) Optimal Cognitive Core as a design frame

• OCC는 large parametric knowledge를 더 많이 담는 방향이 아니라, 특정 cognitive behavior를 작은 모델에 맞춰 학습시키는 방향이다.
• 여기서 cognitive behavior는 provided context를 읽고, 필요한 evidence를 골라, answer를 만들고, 필요하면 abstain하는 흐름이다.
• 따라서 OCC-RAG는 retriever model이라기보다 RAG system의 answer generator 혹은 reader component에 가깝다.
• 이 관점은 중요하다. RAG에서 모든 성능 문제를 retrieval quality로만 돌리면, generator가 context를 어떻게 쓰는지에 대한 설계가 약해진다.

2) Multi-context multi-hop QA synthesis

논문은 OCC-RAG training을 위해 multi-context, multi-hop QA data synthesis pipeline을 구현했다고 설명한다. 구체적인 full pipeline은 원문 table과 appendix를 다시 확인해야 하지만, abstract에서 명시된 목표는 분명하다.

• 여러 context passage를 동시에 다루는 question을 만든다.
• answer를 만들기 위해 두 개 이상의 evidence를 연결해야 하는 case를 포함한다.
• context에 없는 지식으로 답하는 것을 억제한다.
• answerable case와 unanswerable case를 함께 다룬다.
• citation이 literal quote 수준에서 확인 가능하도록 output structure를 만든다.

이를 단순화하면 training sample은 아래처럼 볼 수 있다.

\[x = (q, C), \quad y = (r, e, a)\]

여기서 $q$는 question, $C$는 contexts, $r$은 reasoning trace, $e$는 evidence quotes, $a$는 answer 또는 abstention이다. 실제 논문 수식이 아니라, 이 초안에서 method를 이해하기 위한 단순화다.

3) Structured reasoning trace

• OCC-RAG는 answer만 생성하는 모델이 아니다.
• 모델은 reasoning trace를 구조화해서 생성한다.
• 이 trace는 context에서 가져온 source citations와 연결된다.
• citation은 literal quote 기반이라고 설명된다.
• 따라서 사용자는 answer뿐 아니라 answer가 나온 evidence chain을 함께 볼 수 있다.

이 부분은 일반 CoT와 다르게 읽어야 한다. 여기서 trace의 가치는 internal thought를 그대로 노출하는 것이 아니라, external evidence와 answer 사이의 auditable bridge를 만든다는 데 있다. 즉 trace는 설명 장식이 아니라 faithfulness check를 위한 interface다.

4) Calibrated abstention

• OCC-RAG는 context에 답이 없을 때 refusal하는 능력을 학습 목표에 포함한다.
• MuSiQue-Un 같은 unanswerable benchmark를 evaluation에 포함한다.
• 이는 단순 hallucination reduction보다 더 강한 요구다.
• 모델은 모르는 것을 모른다고 해야 하며, context 밖의 parametric knowledge로 대체 답변을 만들면 안 된다.

RAG 서비스에서 이 기능은 매우 중요하다. 검색이 실패했을 때 generator가 그럴듯한 답을 만들면, 시스템 전체는 조용히 실패한다. 반대로 abstention이 가능하면 retriever fallback, search retry, human escalation 같은 운영 정책을 붙일 수 있다.

5) Small model specialization

OCC-RAG가 흥미로운 이유는 모델 크기다. 공개 abstract 기준 release model은 0.6B와 1.7B다. 이 크기는 modern general LLM에 비하면 매우 작다. 그런데 저자들은 multi-hop reasoning, faithfulness, refusal benchmark에서 2-6x 더 큰 general-purpose model과 match하거나 exceed한다고 보고한다.

이 주장의 의미는 SLM이 모든 면에서 LLM을 이긴다는 것이 아니다. 더 정확히는 context-grounded QA라는 좁은 interface에서는 specialization이 scale을 일부 대체할 수 있다는 주장이다. 이 차이를 구분해서 읽어야 한다.

4. Training / Data / Recipe

4-1. Data

OCC-RAG의 가장 중요한 부분은 데이터다. 논문은 300만 개 이상의 synthetic examples로 구성된 corpus를 만들었다고 설명한다. 목적은 단순 QA expansion이 아니라 아래 세 가지 behavior를 함께 넣는 것이다.

• multi-hop reasoning
• strict context faithfulness
• calibrated abstention

이 데이터 설계가 중요한 이유는 RAG QA의 실패가 하나의 오류 유형이 아니기 때문이다. 모델이 실패하는 방식은 다양하다.

• relevant passage를 읽고도 필요한 bridge entity를 놓친다.
• 두 passage를 연결하지 못하고 첫 passage만 보고 답한다.
• context에 없는 답을 parametric memory에서 꺼낸다.
• answerable case를 거절한다.
• unanswerable case에 hallucinated answer를 낸다.
• citation은 붙였지만 실제 quote가 answer를 지지하지 않는다.

따라서 OCC-RAG의 data pipeline은 answer generation data라기보다 failure mode coverage data로 보는 편이 더 맞다.

4-2. Training strategy

논문 abstract에서 확인 가능한 training stage는 mid-training이다.

• base SLM을 OCC-RAG용 synthetic corpus로 mid-training한다.
• release model은 OCC-RAG-0.6B와 OCC-RAG-1.7B다.
• output은 structured reasoning trace와 source citation을 포함한다.
• citation은 context literal quote에 grounded되어야 한다.

여기서 mid-training이라는 표현이 중요하다. 이 논문은 instruction tuning prompt 몇 개로 behavior를 붙이는 것이 아니라, 모델의 intermediate behavior 자체를 context-grounded QA에 맞춰 조정하는 방향이다. 즉 answer style만 바꾸는 게 아니라, context를 읽고 evidence를 선택하는 내부 능력을 더 깊은 단계에서 학습시키려는 것으로 해석할 수 있다.

4-3. Engineering notes

실무 관점에서 OCC-RAG가 주는 engineering hint는 아래와 같다.

• RAG generator는 꼭 가장 큰 general LLM일 필요가 없다.
• QA task가 좁고 context가 충분히 제공된다면, 작은 specialized reader가 latency와 cost에서 더 유리할 수 있다.
• citation을 만들려면 retrieval result id만 넘기는 것으로 부족하고, answer generator가 evidence span 또는 literal quote를 output format에 포함하도록 학습되어야 한다.
• abstention은 post-hoc rule보다 training objective와 data distribution에 넣는 편이 더 안정적일 수 있다.
• benchmark는 answer accuracy뿐 아니라 faithfulness와 refusal을 함께 봐야 한다.

가장 조심해야 할 점은 retriever와 generator의 책임 분리다. OCC-RAG가 faithful answer generator라고 해도, retrieval이 필요한 evidence를 가져오지 못하면 모델은 답하지 않아야 한다. 이것은 benchmark에서는 좋은 behavior일 수 있지만, 제품에서는 recall failure로 보일 수 있다. 따라서 production RAG에서는 OCC-RAG 같은 reader를 쓰더라도 retriever recall, reranker, fallback search policy가 함께 설계되어야 한다.

5. Evaluation

5-1. Main results

논문 abstract 기준 evaluation은 아래 benchmark들을 포함한다.

Benchmark	What it probes
HotpotQA	multi-hop question answering
MuSiQue	compositional multi-hop reasoning
TAT-QA	table/text 기반 numerical and financial QA
ConFiQA	faithfulness / context-grounded answer quality
MuSiQue-Un	unanswerable multi-hop QA and refusal

핵심 claim은 OCC-RAG-0.6B와 OCC-RAG-1.7B가 2-6x 더 큰 general-purpose model을 match하거나 exceed한다는 것이다. 다만 exact score, 비교 대상 model list, prompt setting, retrieval setting, context construction 방식은 원문 table에서 직접 다시 확인해야 한다. 이 초안에서는 abstract에 없는 상세 수치를 추가하지 않는다.

5-2. What really matters in the experiments

이 논문의 evaluation은 단순 accuracy만 보면 의미가 반쪽이 된다. 중요한 지표는 세 갈래다.

1) Multi-hop reasoning

• HotpotQA와 MuSiQue는 단일 passage lookup보다 여러 evidence를 연결해야 한다.
• OCC-RAG가 여기서 강하다면, 작은 모델도 충분히 specialized data로 bridge reasoning을 배울 수 있다는 의미다.
• 특히 context가 이미 주어진 setting에서는 world knowledge scale보다 evidence composition이 더 중요할 수 있다.

2) Faithfulness

• ConFiQA는 answer가 context에 grounded되어 있는지를 더 직접적으로 본다.
• RAG에서 user trust를 좌우하는 것은 정답률뿐 아니라, 답변이 제공 근거와 얼마나 일치하는가다.
• source citation이 literal quote와 연결된다면, evaluation도 answer-level뿐 아니라 evidence-level로 확장될 수 있다.

3) Refusal and abstention

• MuSiQue-Un은 unanswerable condition을 본다.
• 이 benchmark가 중요한 이유는 RAG hallucination의 가장 위험한 상황이 answer가 없을 때 발생하기 때문이다.
• 모델이 context에 답이 없다는 것을 인식하고 abstain할 수 있어야 system-level reliability를 설계할 수 있다.

OCC-RAG의 결과를 읽을 때 가장 중요한 질문은 작은 모델이 큰 모델을 이겼는가가 아니다. 더 중요한 질문은 faithful QA를 위해 어떤 evaluation bundle을 기본값으로 삼아야 하는가다. 이 논문은 multi-hop, faithfulness, refusal을 함께 보는 evaluation framing을 제시한다는 점에서 의미가 있다.

6. Limitations

1. Exact architecture detail은 abstract만으로는 제한적으로 확인된다.
   • OCC family의 base architecture, tokenizer, context length, training compute, hyperparameter는 full text table에서 재확인해야 한다.
2. Synthetic data quality가 핵심 병목일 가능성이 높다.
   • 300만 개 이상의 합성 데이터가 강점이지만, 합성 pipeline의 diversity, answerability control, quote correctness가 성능을 크게 좌우할 수 있다.
3. Retriever-free 혹은 fixed-context evaluation과 production RAG는 다르다.
   • benchmark에서 context가 주어지는 방식과 실제 retrieval pipeline의 recall/precision은 다르다.
4. Literal quote citation은 강하지만 비용도 있다.
   • 모델이 quote를 생성하거나 선택하는 과정에서 span mismatch가 생길 수 있고, 긴 context에서는 quote selection 자체가 어려워질 수 있다.
5. General assistant ability를 주장하는 논문은 아니다.
   • OCC-RAG는 faithful QA에 특화된 model이다. coding, open-ended chat, tool use, long-form writing 같은 범용 능력으로 일반화해서 해석하면 안 된다.

7. My Take

7-1. Why this matters for my work

OCC-RAG는 RAG 시스템을 만들 때 generator 선택을 다시 생각하게 만든다. 많은 시스템은 retriever, reranker, long-context LLM을 붙인 뒤, 마지막 generator를 큰 chat model로 둔다. 하지만 business QA, document QA, legal/finance QA처럼 context-grounded behavior가 핵심인 영역에서는 generator가 너무 많은 world knowledge를 갖고 있는 것이 오히려 위험할 수 있다.

이 논문은 RAG generator를 작은 specialized verifier-reader로 설계하는 방향을 제시한다.

이 관점은 실무적으로 꽤 유용하다. 예를 들어 내부 문서 QA에서는 다음과 같은 design이 가능하다.

• retriever는 recall을 최대화한다.
• reranker는 context budget 안에서 evidence density를 높인다.
• OCC-RAG style reader는 answer, evidence quote, abstention을 생성한다.
• downstream policy는 abstention case를 search retry나 human review로 보낸다.

이렇게 나누면 generator를 무작정 크게 키우는 것보다 monitoring과 debugging이 쉬워진다.

7-2. Reuse potential

OCC-RAG에서 바로 재사용할 만한 아이디어는 세 가지다.

1. Evidence-grounded output schema
   • answer만 생성하지 말고, reasoning trace와 evidence quote를 구조화해서 함께 생성한다.
2. Abstention-aware training
   • unanswerable context를 별도 예외가 아니라 training distribution의 일부로 넣는다.
3. Task-specialized SLM generator
   • general LLM을 모든 RAG generation에 쓰지 말고, QA domain에 특화된 작은 generator를 별도로 둔다.

특히 세 번째가 중요하다. latency와 cost가 중요한 서비스라면, retrieval 품질을 올린 뒤 작은 faithful reader를 쓰는 것이 더 나은 trade-off일 수 있다.

7-3. Follow-up papers

• Faithful Chain-of-Thought Reasoning
• HotpotQA
• MuSiQue
• TAT-QA
• ConFiQA
• RAGAS / faithfulness evaluation 계열
• Self-RAG / retrieval-aware generation 계열
• Long-context RAG와 citation fidelity evaluation 계열

8. Summary

• OCC-RAG는 RAG answer generator를 큰 general LLM이 아니라 faithful QA 전용 SLM으로 재설계하는 논문이다.
• 핵심은 multi-context multi-hop QA, strict context faithfulness, calibrated abstention을 300만 개 이상의 synthetic examples로 학습시키는 것이다.
• release model은 OCC-RAG-0.6B와 OCC-RAG-1.7B이며, structured reasoning trace와 literal quote 기반 citation을 생성한다고 설명된다.
• 평가 claim은 HotpotQA, MuSiQue, TAT-QA, ConFiQA, MuSiQue-Un에서 2-6x 더 큰 general-purpose model과 match하거나 exceed한다는 것이다.
• 실무적으로는 RAG generator를 task-specialized reader/verifier로 분리하는 설계가 가장 큰 재사용 포인트다.