EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context Review

0. Introduction

Paper link

Code link

EMCEE는 multilingual LLM prompting을 볼 때 자주 생기는 단순화를 꽤 정면으로 건드리는 논문이다. 비영어 query를 영어로 번역하거나, 영어 instruction으로 step-by-step reasoning을 시키면 충분하다는 관점은 reasoning-heavy task에서는 어느 정도 작동할 수 있다. 하지만 사회, 문화, 지역 지식, 언어 내부 표현이 중요한 문제에서는 query를 영어로 옮기는 순간 오히려 필요한 grounding이 약해질 수 있다.

이 논문이 보는 문제는 “비영어 질문을 영어로 풀 것인가, 원어로 풀 것인가”가 아니다. 더 정확히는, 어떤 질문은 reasoning path가 중요하고, 어떤 질문은 language-specific 또는 culture-specific background가 중요하다는 점이다. EMCEE는 이 둘을 하나로 고정하지 않는다. 먼저 LLM 안에 잠재적으로 들어 있는 관련 배경지식을 synthetic multilingual context로 끄집어내고, 별도로 reasoning-oriented response를 만든 다음, LLM-as-a-Judge가 두 후보를 비교해 최종 답을 고른다.

한 줄 요약: EMCEE는 비영어 query에 대해 LLM 내부의 언어권별 배경지식을 synthetic context로 명시화하고, 이를 reasoning path와 비교 및 병합해 multilingual QA 성능을 높이는 self-contained prompting framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• multilingual 성능 저하를 단순 translation 문제로 보지 않고, knowledge grounding과 reasoning routing 문제로 다시 본다.
• RAG 없이도 LLM 내부 지식을 context artifact로 외부화하는 방식이 실제 서비스 prompt design에 바로 연결된다.
• low-resource language에서 큰 개선을 보고하며, multilingual evaluation에서 평균 성능보다 언어별 failure mode를 봐야 한다는 메시지를 준다.
• synthetic context와 CoT response를 단순 route하지 않고, answer 후보를 보고 판단하는 merging이 더 안정적이라는 ablation을 제시한다.
• 한국어, 베트남어, 자바어처럼 language-specific background가 중요한 query를 다룰 때 어떤 prompt interface가 필요한지 생각하게 만든다.

1. Problem Setting

1-1. Problem definition

EMCEE의 문제 설정은 native query, 즉 비영어 원문 query에 대해 LLM이 정확한 답을 생성하게 만드는 것이다. 여기서 중요한 점은 비영어 query가 모두 같은 종류의 어려움을 갖지 않는다는 점이다.

어떤 문제는 수학, 자연과학, 논리 추론처럼 언어와 무관하게 reasoning procedure가 중요하다. 이런 경우에는 영어 instruction, CoT, translation이 도움이 될 수 있다. 반대로 사회, 문화, 지역 지리, 언어 표현, 교육과정 지식이 들어간 문제는 abstract reasoning만으로 풀기 어렵다. 이 경우에는 query가 속한 언어권의 배경지식이 prompt 안에 살아 있어야 한다.

기존 multilingual prompting은 보통 다음 중 하나를 고른다.

• native language 그대로 답변한다.
• query를 영어로 번역해서 답변한다.
• native query에 영어 instruction을 붙인다.
• 영어 CoT를 유도한다.
• external retriever로 context를 붙인다.

하지만 실제 query stream에서는 reasoning-oriented question과 knowledge-grounded question이 섞인다. 하나의 고정 전략만 쓰면 어떤 subset에서는 맞고, 다른 subset에서는 틀릴 수 있다.

1-2. Why previous approaches are insufficient

첫째, translation은 semantic bridge이지만 cultural bridge는 아니다. 문장 표면을 영어로 옮기는 것은 가능해도, local convention이나 region-specific concept가 영어 표현 안에서 자연스럽게 보존된다는 보장은 없다.

둘째, CoT는 reasoning을 강화하지만 배경지식을 새로 만들지는 않는다. 모델이 필요한 지역 지식을 implicit하게 알고 있어도, direct answer 과정에서 그 지식을 호출하지 못하면 CoT만 길어질 수 있다.

셋째, RAG는 항상 좋은 비교군이 아니다. 외부 검색이 cultural context를 정확히 찾아오려면 query reformulation, language coverage, search quality, passage selection이 모두 맞아야 한다. 논문 예시처럼 검색 context를 붙여도 틀릴 수 있다.

넷째, query만 보고 route하는 방식은 불안정하다. 질문을 보기만 해서는 이 문제가 contextual knowledge를 필요로 하는지, reasoning을 필요로 하는지 항상 알기 어렵다. EMCEE가 route보다 merging을 택하는 이유가 여기 있다.

2. Core Idea

2-1. Main contribution

EMCEE의 핵심 기여는 두 개의 answer path를 만들고, 이를 judgment-based merging으로 결합하는 것이다.

전체 흐름은 다음처럼 정리할 수 있다.

1. Native query를 받는다.
2. LLM에게 해당 query를 풀기 위한 language-specific, culture-specific, domain-specific background를 짧은 synthetic context로 추출하게 한다.
3. Extracted context를 query에 붙여 context-enriched response를 만든다.
4. 별도로 영어 instruction 기반 CoT response를 만든다.
5. LLM-as-a-Judge가 두 response를 비교하고, query의 linguistic and contextual background를 고려해 final answer를 선택한다.

이를 간단한 함수형 pipeline으로 쓰면 다음과 같다.

\[q -> (a_{context}, a_{reason}) -> judge(a_{context}, a_{reason}, q) -> a_{final}\]

여기서 $q$는 native query이고, $a_{context}$는 extracted synthetic context를 사용한 답변, $a_{reason}$은 reasoning-oriented 답변이다.

중요한 점은 EMCEE가 외부 database를 쓰지 않는다는 것이다. Synthetic context는 LLM 자체가 가진 latent knowledge를 명시화한 것이다. 그래서 EMCEE는 retrieval system이라기보다, internal knowledge elicitation과 response selection을 결합한 prompting framework로 읽는 편이 맞다.

2-2. Design intuition

EMCEE의 설계 직관은 꽤 간단하다. LLM은 필요한 지식을 이미 어느 정도 갖고 있을 수 있지만, direct answer에서는 그 지식을 적절히 꺼내지 못할 수 있다. 따라서 먼저 “이 질문을 이해하려면 어떤 배경지식이 필요한가”를 별도 단계로 쓰게 만들면, implicit knowledge가 explicit context가 된다.

이 단계는 RAG와 비슷해 보이지만 본질적으로 다르다.

Item	RAG	EMCEE
Context source	external documents	LLM internal knowledge
Main risk	retrieval miss, noisy passage	hallucinated context
Strength	fresh external evidence	query-aligned background
Best use case	factual grounding with documents	language-specific hidden context
System dependency	retriever, index, search API	multiple LLM calls

EMCEE가 추가로 잘한 부분은 extraction만 믿지 않는다는 점이다. 어떤 문제는 context보다 reasoning이 중요하다. 그래서 CoT response를 따로 만들고, final stage에서 judge가 두 답을 비교한다. Query만 보고 “이건 extraction path”라고 고르는 route보다, 실제 생성된 두 response를 비교하는 merging이 정보가 더 많다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	non-English query에서 language-specific context와 reasoning을 함께 활용
Main method	extracting synthetic multilingual context plus merging
External retrieval	사용하지 않음
Main components	extraction prompt, CoT response, LLM-as-a-Judge merging
Evaluation tasks	MCQA, open QA, NLI, commonsense reasoning
Key claim	fixed multilingual prompting보다 query-specific context and reasoning merge가 안정적

3-2. Module breakdown

1) Extracting synthetic multilingual context

Extraction stage는 native query에 필요한 배경지식을 LLM에게 먼저 쓰게 만드는 단계다. 논문 prompt는 해당 언어의 질문과 선택지를 주고, 질문을 이해하는 데 필요한 cultural or contextual elements를 포함한 짧은 explanation을 영어로 작성하도록 유도한다.

이 설계에는 두 가지 의도가 있다.

첫째, 영어 instruction following 능력을 활용한다. 많은 LLM은 영어 instruction을 더 안정적으로 따른다. 따라서 native query는 유지하되, context extraction instruction은 영어로 주는 식이다.

둘째, 답을 바로 고르기 전에 문제의 hidden premise를 밖으로 꺼낸다. 특히 사회, 문화, 지역 지식 문제에서는 선택지 표면만 보고 답을 고르는 것보다, 관련 배경을 먼저 쓰는 것이 안정적일 수 있다.

2) Context-enriched response

추출된 synthetic context는 query와 함께 다시 입력된다. 이때 모델은 원래 질문만 보는 것이 아니라, 자신이 방금 명시화한 background를 함께 본다.

이 방식은 model-internal RAG처럼 볼 수 있다. 다만 retrieval source가 vector DB가 아니라 모델 자신의 latent knowledge라는 점이 다르다. 그래서 external freshness를 보장하지는 않지만, query와 언어권에 맞는 background를 빠르게 만들 수 있다.

3) Reasoning-oriented response

EMCEE는 extraction path만 쓰지 않는다. 별도로 CoT prompting을 통해 reasoning-oriented response를 만든다. 수학이나 자연과학처럼 language-specific context보다 logical chain이 중요한 문제에서는 이 response가 더 적절할 수 있다.

이 부분이 EMCEE를 단순 “context 먼저 쓰기” 방법과 구분한다. 논문은 multilingual query를 한 종류로 묶지 않고, task마다 필요한 능력이 다르다고 본다.

4) LLM-as-a-Judge merging

마지막 단계는 LLM-as-a-Judge다. Judge는 context-enriched response와 reasoning-oriented response를 비교한다. 이때 단순히 어느 답이 더 그럴듯한지를 보는 것이 아니라, query의 언어적 배경, local custom, social norm, discipline-specific reasoning pattern을 고려하도록 prompt된다.

이 merging stage가 EMCEE의 가장 중요한 설계다. Extraction이 항상 맞는 것도 아니고, CoT가 항상 맞는 것도 아니다. 두 path를 만든 뒤 response-level evidence를 보고 선택하면, query-level routing보다 오류를 줄일 여지가 있다.

4. Training / Data / Recipe

4-1. Data

EMCEE는 weight training 논문이 아니라 prompting framework 논문이다. 따라서 학습 데이터보다 evaluation dataset과 prompt protocol이 중요하다.

논문은 네 가지 multilingual benchmark를 사용한다.

Dataset	Task type	Notes
M3-Exam	exam-style MCQA	여러 국가의 시험형 질문
MKQA	open-domain QA	26개 언어 benchmark 중 일부 언어 사용
XNLI	natural language inference	14개 언어
XCOPA	commonsense reasoning	low-resource language 중심

영어는 평가에서 제외된다. 논문은 non-English generalization을 보려 하기 때문이다. MKQA, XNLI, XCOPA에서는 언어당 100개 example을 sample하고, M3-Exam은 filtered set을 사용한다.

4-2. Training strategy

Gradient update는 없다. 전체 recipe는 inference-time prompting이다.

실행 비용 관점에서는 최소한 다음 호출이 필요하다.

1. Synthetic context extraction call.
2. Context-enriched answer call.
3. Reasoning-oriented answer call.
4. Judge merging call.

정확한 call 구성은 implementation에 따라 줄일 수 있지만, 기본 아이디어는 multiple inference를 사용해 답변 후보를 만들고 비교하는 것이다. 따라서 single prompt baseline보다 cost가 증가한다.

4-3. Engineering notes

실무 적용 관점에서는 다음 점이 중요하다.

1. Extraction prompt는 context type을 명확히 해야 한다.
   • “배경지식을 써라”는 너무 넓다.
   • “이 언어권, 지역, 사회, 문화, 학문 분야에서 답을 고르는 데 필요한 개념을 짧게 설명하라”처럼 scope를 주는 편이 낫다.
2. Judge prompt는 두 후보를 blind하게 비교하게 해야 한다.
   • 어느 path가 EMCEE인지 드러나면 bias가 생길 수 있다.
   • 최종 답과 근거를 함께 요구하는 것이 안전하다.
3. Synthetic context는 hallucination surface다.
   • 외부 근거가 없으므로, 생성된 background가 틀릴 수 있다.
   • high-stakes domain에서는 external verification이나 human review가 필요하다.
4. Low-resource language에서는 average score보다 language-wise failure를 봐야 한다.
   • EMCEE의 강점은 전체 평균뿐 아니라 low-resource subset에서 더 크게 드러난다.
   • 실제 서비스에서는 언어별 rollout metric을 따로 봐야 한다.

5. Evaluation

5-1. Main results

GPT-4o-mini 기준 main table에서 EMCEE는 네 benchmark 모두에서 강한 결과를 보인다. 논문은 NATIVE-BASIC 대비 전체 평균 상대 개선 16.4%를 보고하고, low-resource language에서 특히 큰 개선을 보고한다.

대표적으로 M3-Exam 전체 score는 NATIVE-BASIC 65.2, ENG-COT 74.6, EMCEE 77.4다. MKQA에서는 NATIVE-BASIC 44.1, XLT 51.1, EMCEE 52.3이다. XNLI에서는 EMCEE 74.3, XCOPA에서는 EMCEE 92.0으로 보고된다.

Low-resource subset도 중요하다. Table 1에서 EMCEE는 M3-Exam low 71.5, MKQA low 52.4, XNLI low 73.9, XCOPA low 86.2를 기록한다. 논문 본문은 low-resource setting에서 NATIVE-BASIC 대비 평균 32.0% gain을 보고한다.

5-2. What really matters in the experiments

1) Extraction alone도 강하지만, merging이 더 중요하다

Ablation에서 extraction만 사용해도 M3-Exam all score가 74.7로 올라간다. ENG-COT는 74.6이다. 하지만 세 component를 모두 사용한 EMCEE는 77.4다. 이 차이는 synthetic context와 reasoning이 서로 보완적이라는 해석을 가능하게 한다.

2) Route보다 response-level merging이 안정적이다

EMCEE Route는 query 특성을 보고 extraction과 reasoning path 중 하나를 선택한다. 이 방식도 강하지만 EMCEE Ours보다 낮다. 이는 query만 보고 필요한 strategy를 고르는 것보다, 실제 두 response를 비교한 뒤 판단하는 쪽이 robust하다는 의미다.

3) RAG baseline보다 내부 context elicitation이 나을 수 있다

논문은 Google Custom Search API 기반 RAG baseline도 비교한다. 하지만 RAG-NATIVE와 RAG-ENG는 대부분 EMCEE보다 낮다. 이 결과는 모든 multilingual knowledge gap을 external search로 해결할 수 없다는 점을 보여준다. 특히 query-aligned cultural explanation이 필요할 때는 모델 내부 지식을 명시화하는 쪽이 더 잘 맞을 수 있다.

4) 모델 호환성도 확인한다

M3-Exam에서 GPT-4o, Claude 3.5 Haiku, Llama-3.1-8B-Instruct를 대상으로 compatibility를 본다. EMCEE는 세 모델 모두에서 가장 높은 score를 보인다. 특히 Llama-3.1-8B에서는 XLT나 CoT 계열 baseline이 NATIVE-BASIC보다 약한 경우가 있는데, EMCEE는 더 안정적인 결과를 낸다.

6. Limitations

1. Multiple inference cost가 있다.
   • EMCEE는 extraction, answer generation, reasoning response, judge merging을 포함하므로 single prompt보다 비용이 크다.
   • latency-sensitive serving에서는 그대로 쓰기 어렵고, caching이나 selective triggering이 필요하다.
2. Synthetic context가 항상 사실이라는 보장은 없다.
   • 외부 retrieval을 쓰지 않기 때문에, 모델 내부 지식이 틀리면 context도 틀릴 수 있다.
   • 문화적 설명은 특히 stereotype이나 oversimplification 위험이 있다.
3. Judge가 또 다른 failure point가 된다.
   • Judge가 두 response를 잘못 비교하면 final answer가 틀릴 수 있다.
   • Judge prompt, answer format, candidate order bias를 별도로 검증해야 한다.
4. Benchmark가 실제 multilingual product traffic을 완전히 대표하지는 않는다.
   • 시험형 MCQA, NLI, commonsense reasoning은 좋은 testbed지만, 실제 customer support, search, document QA는 context shape가 다르다.
   • Long document, code switching, OCR noise, speech transcription error가 들어가면 결과가 달라질 수 있다.
5. Cultural alignment와 factuality의 tension이 남는다.
   • 어떤 질문은 local perspective를 반영해야 하지만, 어떤 질문은 universal factual grounding이 더 중요하다.
   • EMCEE는 이 tension을 judge prompt로 다루지만, 명시적 factual verification은 아니다.

7. My Take

7-1. Why this matters for my work

이 논문이 흥미로운 이유는 multilingual prompting을 translation problem에서 context elicitation problem으로 바꿔 보기 때문이다. 실제 서비스에서는 비영어 질문을 영어로 번역하는 것만으로는 충분하지 않다. 사용자가 묻는 대상이 지역 규정, 로컬 제품, 교육과정, 문화적 표현, 내부 문서 관례와 연결되면, 모델은 language bridge뿐 아니라 context bridge도 필요하다.

EMCEE는 이 bridge를 외부 검색이 아니라 LLM 내부 지식의 explicit extraction으로 만든다. 이 구조는 RAG와 경쟁한다기보다, RAG 전에 붙는 query understanding and context hypothesis stage로도 쓸 수 있다.

7-2. Reuse potential

재사용해볼 만한 포인트는 다음과 같다.

1. Multilingual QA에서 answer 전 context hypothesis를 만들기.
   • 질문을 바로 풀지 말고, 필요한 background를 먼저 쓰게 한다.
   • 이후 answer에서 이 background를 참조하게 한다.
2. Retrieval query expansion 전에 cultural context를 추출하기.
   • EMCEE의 extraction output을 검색 query rewrite에 활용할 수 있다.
   • 특히 local term과 영어 번역어 사이의 gap을 줄일 수 있다.
3. Context path와 reasoning path를 둘 다 만들고 judge로 비교하기.
   • 단일 prompt에 모든 것을 넣기보다, 서로 다른 inductive bias를 가진 후보 답변을 만든다.
   • Judge는 route가 아니라 compare-and-select를 수행한다.
4. Low-resource language monitoring.
   • 전체 multilingual average만 보지 않는다.
   • high-resource와 low-resource를 나눠 prompt strategy를 평가한다.

7-3. Follow-up papers

• XLT: Cross-lingual Thought Prompting for Large Language Models.
• MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering.
• M3-Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models.
• LLM-as-a-Judge 관련 evaluation bias 논문들.

8. Summary

• EMCEE는 비영어 query를 단순히 영어로 번역하는 대신, 필요한 multilingual synthetic context를 먼저 추출한다.
• Context-enriched response와 reasoning-oriented response를 동시에 만들고, LLM-as-a-Judge가 최종 답을 고른다.
• GPT-4o-mini 기준 네 multilingual benchmark에서 NATIVE-BASIC, CoT, XLT, RAG 계열보다 강한 결과를 보고한다.
• 특히 low-resource language에서 개선 폭이 크며, route보다 response-level merging이 더 안정적이다.
• 다만 multiple inference cost, synthetic context hallucination, judge bias는 실제 적용 전에 반드시 점검해야 한다.