ExPerT: Personalizing LLM Responses to Users’ Domain Expertise via Query-Wise Semantic and Keystroke Behavioral Cues Review

0. Introduction

Paper link

ExPerT는 LLM personalization을 static user profile 문제가 아니라 query-wise expertise estimation 문제로 다시 보는 논문이다. 많은 personalization system은 사용자의 직업, 관심사, 과거 대화, 선호 설정 같은 static profile에 의존한다. 하지만 실제 사용자의 전문성은 질문마다 달라진다. 같은 사용자가 machine learning에는 expert일 수 있지만, tax law나 medical concept에는 beginner일 수 있다. 반대로 하나의 domain 안에서도 어떤 query는 익숙하고 어떤 query는 낯설 수 있다.

이 논문은 그 차이를 잡기 위해 query semantic cue와 keystroke behavioral cue를 함께 사용한다. 사용자가 어떤 내용을 묻는지뿐 아니라, 그 질문을 입력하는 과정에서 hesitation, editing, typing dynamics 같은 행동 신호가 전문성 추정에 도움을 줄 수 있다는 관점이다.

한 줄 요약: ExPerT는 사용자의 고정 profile이 아니라 query별 domain expertise를 semantic cue와 keystroke behavioral cue로 추정하고, 그 추정값에 맞춰 LLM response의 detail, terminology, conceptual complexity를 조절하는 query-wise personalization framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같다.

• LLM personalization을 memory나 preference 저장이 아니라 expertise calibration 문제로 본다.
• Text-only personalization의 한계를 behavioral signal로 보완한다.
• Response quality를 “좋은 답변” 하나로 보지 않고, 사용자 전문성에 맞는 explanation level 문제로 다룬다.
• 40명 participant와 1270 queries 기반 user study를 통해 expertise inference error와 satisfaction improvement를 보고한다.
• AI product에서 adaptive explanation, onboarding, tutoring, enterprise assistant 설계에 직접 연결된다.

이 논문은 개인화 추천 모델이라기보다 interaction-aware response adaptation 논문에 가깝다. 중요한 지점은 LLM이 사용자에 대해 “무엇을 기억하는가”보다 “이번 질문에서 사용자가 무엇을 이미 알고 있는가”를 추정한다는 점이다.

1. Problem Setting

1-1. Problem definition

문제는 사용자의 query-specific domain expertise를 추정하고, 그에 맞춰 답변을 조절하는 것이다.

일반적인 LLM assistant는 같은 질문에 대해 대부분 비슷한 답변을 낸다. System prompt나 user profile을 넣으면 어느 정도 personalization이 가능하지만, 다음 문제가 남는다.

• 사용자의 전문성은 domain마다 다르다.
• 같은 domain 안에서도 query마다 familiarity가 다르다.
• Static profile은 현재 질문의 난이도와 사용자의 실제 이해도를 충분히 반영하지 못한다.
• Text-only signal은 사용자가 질문을 쉽게 쓴 것인지, 어렵게 고민하며 쓴 것인지 구분하기 어렵다.

ExPerT는 이를 HCI 관점에서 본다. 사용자의 query는 완성된 text만이 아니라, 그 text가 만들어지는 process도 있다. Keystroke dynamics는 그 process를 담는다. 예를 들어 입력이 자주 멈추고 수정이 많다면, 사용자가 개념을 탐색 중일 수 있다. 반대로 전문 용어를 빠르게 입력하고 수정이 적다면, 해당 domain에 익숙할 수 있다.

1-2. Why previous approaches are insufficient

기존 personalization 접근은 크게 세 가지로 볼 수 있다.

1. Static profile 기반 personalization
   • user profile, role, preference, memory를 저장한다.
   • 하지만 query마다 달라지는 expertise를 잘 반영하지 못한다.
2. Text-only query analysis
   • query의 용어, 문장, domain을 보고 전문성을 추정한다.
   • 하지만 expert가 쉬운 말로 물을 수도 있고, beginner가 복사한 전문 용어를 쓸 수도 있다.
3. User self-report
   • 사용자가 자신의 수준을 직접 입력한다.
   • 하지만 매 query마다 묻기 번거롭고, self-assessment는 부정확할 수 있다.

ExPerT는 query text와 interaction behavior를 함께 쓰자는 방향이다. 이 방식은 LLM personalization을 content adaptation뿐 아니라 input behavior interpretation 문제로 확장한다.

2. Core Idea

2-1. Main contribution

ExPerT는 두 component로 구성된다.

1. Semantic-behavioral expertise 추정 module
   • query text와 keystroke dynamics를 함께 해석한다.
   • In-context LLM prompting을 사용해 query domain expertise를 추정한다.
2. Expertise-conditioned response 생성
   • 추정된 expertise level에 따라 답변을 조절한다.
   • 조절 대상은 detail level, terminology, conceptual complexity다.

논문 abstract 기준으로 user study는 40 participants와 1270 queries를 포함한다. ExPerT는 strongest baseline 대비 expertise inference error를 65.7% 줄였고, satisfaction score를 5-point Likert scale 기준 3.71에서 4.36으로 높였다고 보고한다.

2-2. Design intuition

설계 직관은 다음과 같다.

좋은 답변은 항상 더 자세한 답변이 아니다. 사용자가 초보자라면 기본 개념, 쉬운 analogy, 단계적 설명이 필요하다. 사용자가 expert라면 긴 배경 설명은 오히려 방해가 되고, technical nuance, edge case, trade-off가 더 중요하다.

따라서 assistant는 다음 mapping을 배워야 한다.

\[(query, behavior) -> expertise -> response style\]

여기서 중요한 것은 expertise가 user-level scalar가 아니라 query-level variable이라는 점이다.

예를 들어 같은 사용자가 다음 두 query를 할 수 있다.

• “Transformer에서 KV cache가 왜 필요한가?”
• “법인세 신고에서 손금산입이 정확히 무엇인가?”

이 두 질문에 같은 전문성 profile을 적용하면 틀릴 수 있다. ExPerT는 query별로 expertise를 추정해 답변의 depth를 다르게 만든다.

3. Architecture / Method

3-1. Overview

Item	Description
Goal	query별 사용자 domain expertise에 맞춘 LLM response personalization
Key signals	query semantic cue와 keystroke behavioral cue
Expertise inference	in-context LLM prompting 기반 semantic-behavioral estimation
Response adaptation	detail, terminology, conceptual complexity 조절
Evaluation	40 participants와 1270 queries 기반 user study
Main outcome	expertise inference error 감소와 response satisfaction 향상

3-2. Module breakdown

1) Query semantic cue

Semantic cue는 완성된 query text에서 얻는 정보다. 사용자가 어떤 domain의 질문을 하는지, 어떤 용어를 쓰는지, 질문이 얼마나 구체적인지, 어떤 concept relation을 이미 알고 있는지 등을 반영한다.

예를 들어 다음 차이가 있다.

• “RAG가 뭐야?”
• “Hybrid search에서 BM25와 dense retriever score calibration을 어떻게 맞추는 게 좋을까?”

두 질문은 같은 RAG domain에 속할 수 있지만, query semantic cue는 사용자의 expertise level에 대해 다른 신호를 준다.

2) Keystroke behavioral cue

Behavioral cue는 query가 작성되는 과정에서 나온다. 논문 제목과 abstract 기준으로 핵심은 keystroke dynamics다. 이 신호는 text-only cue가 놓치는 부분을 보완한다.

가능한 해석은 다음과 같다.

• 입력 속도는 domain familiarity를 반영할 수 있다.
• 수정과 삭제 패턴은 uncertainty를 반영할 수 있다.
• pause는 개념 검색, hesitation, formulation difficulty를 반영할 수 있다.
• 전문 용어 입력이 자연스러운지 여부도 expertise signal이 될 수 있다.

다만 이 부분은 privacy와 product design 관점에서 조심해야 한다. Keystroke dynamics는 강한 behavioral signal이기 때문에, explicit consent와 local processing 여부가 중요하다.

3) Expertise inference module

ExPerT의 첫 번째 component는 semantic-behavioral expertise inference다. In-context LLM prompting을 사용해 query text와 keystroke signal을 함께 해석한다.

이 module의 output은 query-specific expertise estimate로 볼 수 있다. 논문 abstract에서는 MAE 기준 error를 사용해 평가한다. ExPerT는 strongest baseline 대비 MAE를 1.162에서 0.398로 낮췄다고 보고한다.

4) Expertise-conditioned generation

두 번째 component는 expertise-conditioned response generation이다. 추정된 expertise에 따라 답변을 바꾼다.

조절 대상은 다음과 같다.

• detail level
• terminology
• conceptual complexity
• prerequisite explanation
• example density
• caveat depth

Beginner에게는 background와 intuitive explanation이 필요하고, expert에게는 redundant explanation을 줄이고 precise terminology와 trade-off를 제공해야 한다.

4. Training / Data / Recipe

4-1. Data

논문 abstract 기준으로 user study는 40 participants와 1270 queries를 포함한다. 이 데이터는 단순 offline benchmark라기보다, 실제 사용자 interaction에서 query text와 keystroke dynamics를 함께 수집한 형태로 보인다.

4-2. Training strategy

ExPerT는 abstract 기준으로 in-context LLM prompting을 사용한다. 따라서 핵심은 별도 neural model training보다 prompt-based expertise inference와 response conditioning에 있다.

Pipeline은 다음처럼 정리할 수 있다.

1. User가 query를 입력한다.
2. System은 query text와 keystroke dynamics를 수집한다.
3. Expertise inference prompt가 semantic cue와 behavioral cue를 함께 해석한다.
4. Query-specific expertise level을 산출한다.
5. Response generation prompt가 expertise level을 조건으로 받아 답변 style을 조절한다.
6. User satisfaction과 expertise inference error를 평가한다.

4-3. Engineering notes

실제 product에 붙일 때는 다음 이슈가 중요하다.

1. Privacy
   • Keystroke signal은 매우 민감한 행동 데이터다.
   • 가능하면 local feature extraction과 opt-in이 필요하다.
2. Latency
   • Query마다 expertise inference를 추가하면 response latency가 늘어난다.
   • Inference module을 cheap model로 분리하거나 cache할 수 있다.
3. Misclassification risk
   • 초보자를 expert로 오판하면 설명이 너무 어려워진다.
   • expert를 beginner로 오판하면 답변이 장황하고 답답해진다.
4. Domain shift
   • 특정 user study domain에서 잘 작동해도 enterprise tool, medical assistant, coding assistant에서는 signal 해석이 달라질 수 있다.
5. User control
   • 자동 추정만 믿기보다 “더 쉽게”, “더 깊게”, “전문가 수준으로” 같은 user override가 필요하다.

5. Evaluation

5-1. Main results

논문 abstract 기준 주요 결과는 다음과 같다.

• User study는 40 participants와 1270 queries로 수행되었다.
• ExPerT는 strongest baseline 대비 expertise inference error를 65.7% 줄였다.
• MAE는 1.162에서 0.398로 감소했다.
• Response satisfaction은 5-point Likert scale에서 3.71에서 4.36으로 증가했다.
• 논문은 ACL 2026 Main, Long으로 accepted되었다.

이 결과는 personalization에서 behavioral cue가 단순 text-only cue보다 유용할 수 있음을 보여준다.

5-2. What really matters in the experiments

이 실험에서 중요한 것은 satisfaction이 단순히 더 친절한 답변 때문에 올라간 것인지, expertise matching 때문에 올라간 것인지 분리하는 것이다. 원문에서 baseline과 ablation을 확인해야 한다.

특히 다음 comparison이 중요하다.

• semantic-only 방식과 semantic plus behavioral 방식 비교
• static profile 방식과 query-wise inference 방식 비교
• self-reported expertise와 inferred expertise 비교
• generic response와 expertise-conditioned response 비교
• beginner, intermediate, expert subgroup별 satisfaction

이런 ablation이 있어야 ExPerT의 핵심인 behavioral cue의 기여를 더 명확히 볼 수 있다.

6. Limitations

1. Privacy concern
   • Keystroke dynamics는 민감한 behavioral data다. 연구 환경에서는 가능해도 product deployment에서는 user consent와 data minimization이 필요하다.
2. User study scale
   • 40 participants는 HCI 연구로 의미가 있지만, 다양한 직군과 문화권으로 일반화하려면 추가 study가 필요하다.
3. Domain coverage
   • Query domain이 어떤 범위를 커버했는지에 따라 결과 해석이 달라질 수 있다.
4. Expertise label reliability
   • 사용자의 실제 domain expertise를 어떻게 label했는지가 매우 중요하다. Self-report라면 bias가 있을 수 있다.
5. Over-personalization risk
   • 모델이 사용자를 낮은 expertise로 추정하면 필요한 technical content를 과도하게 줄일 수 있다.

7. My Take

7-1. Why this matters for my work

이 논문은 LLM product에서 personalization을 memory problem으로만 보면 부족하다는 점을 잘 보여준다. 사용자가 무엇을 좋아하는지도 중요하지만, 이번 질문에서 어느 정도 설명을 원하는지가 더 중요할 때가 많다.

특히 developer tool, research assistant, data analysis copilot에서는 expert user에게 beginner explanation을 반복하는 것이 UX를 해친다. 반대로 novice user에게 전문 용어만 던지는 것도 실패다. ExPerT는 이 tension을 query-wise expertise adaptation으로 풀려고 한다.

7-2. Reuse potential

재사용 가능성은 다음과 같다.

• Coding assistant가 사용자의 현재 query familiarity에 맞춰 설명 depth를 조절한다.
• Research assistant가 논문 설명을 beginner summary와 expert critique 사이에서 조절한다.
• Enterprise QA bot이 domain jargon을 그대로 쓸지 풀어서 설명할지 결정한다.
• Tutor system이 학생의 current concept familiarity를 추정한다.
• Product onboarding에서 사용자의 hesitation signal을 보고 도움말 level을 조절한다.

7-3. Follow-up papers

• User modeling 기반 LLM personalization 논문
• Keystroke dynamics와 HCI expertise inference 논문
• Adaptive explanation generation 논문
• Educational tutoring에서 knowledge tracing과 LLM feedback 관련 논문
• Privacy-preserving behavioral signal processing 논문

8. Summary

• ExPerT는 LLM personalization을 query-wise expertise estimation 문제로 본다.
• 핵심 signal은 query semantic cue와 keystroke behavioral cue다.
• Framework는 expertise inference와 expertise-conditioned response generation으로 구성된다.
• User study에서 inference error 감소와 satisfaction 향상을 보고한다.
• 실제 적용에서는 privacy, consent, misclassification, user override가 핵심이다.