스타일 지시와 개인화 충돌을 분리하는 경량 플러그인 PsPLUG

무엇인가

EMNLP 2026 main에 채택된 이 논문은 개인화 LLM이 "respond formally" 같은 명시적 스타일 지시를 따를 때 오히려 사용자 고유 특성을 잃는 현상을 다룬다. 저자들은 이를 personalization collapse라고 부르며, 기존 개인화 방법이 사용자 신호를 주입하면서도 무엇이 핵심 개인화 신호인지, 같은 입력에서 베이스 모델의 중립 행동과 어떻게 다른지 이론적으로 명확히 하지 않았다고 지적한다. 강한 시스템 지시가 생성 공간을 지배해 사용자 특성의 다양한 차원을 덮어쓰는 문제이며, 논문은 명시적 지시와 암묵적 사용자 선호를 함께 맞춰야 하는 style-constrained personalization을 핵심 난제로 세운다.

어떻게 동작하나

핵심 관점은 개인화를 distributional residual로 모델링하는 것이다. 동일 입력에서 사용자의 실제 언어 분포와 베이스 LLM의 중립 분포 사이의 차이를 persona로 보고, 사용자 작성 응답이 담는 개인적 어휘·구조 선호와 zero-shot LLM 응답이 반영하는 인구 수준 prior의 발산을 순수 개인화 잔차로 정의한다. 이 위에서 style-aware preference objective를 설계해, 사용자 작성 텍스트를 스타일은 따르지만 사용자 뉘앙스가 없는 style-conditioned negative와 대조함으로써 잠재 persona 신호를 분리한다. 기존 preference optimization이 일반 베이스 분포에 anchor하는 것과 달리, residual reward가 경쟁 신호를 수학적으로 분리해 엄격한 스타일 제약 아래에서도 세밀한 persona fidelity를 보존한다고 주장한다.

무엇과 다른가

PsPLUG는 frozen LLM backbone 앞에 학습된 prefix embedding을 붙이는 lightweight soft-prompt module이다. prefix는 z_{u,x_s} = [z_sys; z_u; z_x]로 구성된다. z_sys는 모든 사용자에게 공유되는 학습 가능한 시스템 지시 임베딩 θ_sys이며 z_sys = γ θ_sys로 스케일된다. z_u는 사용자 history H_u를 PAG text descriptor p_u로 바꾸고 frozen sentence encoder E로 e_u를 얻은 뒤, trainable MLP f_phi^pag로 매핑해 z_u = γ f_phi^pag(e_u)로 만든다. z_x는 현재 프롬프트 x_s의 frozen backbone token embedding을 pooling한 h(x_s)를 trainable MLP f_phi^qry로 매핑해 z_x = γ f_phi^qry(h(x_s))로 만든다. personalized policy는 π_phi(y|x_s,u) = π_ref(y|[z_{u,x_s}; Emb_ref(x_s)])이며, backbone과 sentence encoder는 frozen이고 plug-in 파라미터만 학습한다. 한 번 학습해 추론 시 task prompt에 붙이고, 사용자 전환 시 모델 파라미터 재로딩 없이 prefix를 교체할 수 있다.

어떻게 쓰나

학습은 스타일이 있는 경우와 없는 경우로 나뉜다. 스타일 지시 s가 있을 때 x_s = (x, s)로 두고, 먼저 style-only baseline y^s ~ π_ref(·|x_s)를 생성한다. y^s는 스타일은 따르지만 사용자 정보가 없으므로, 사용자 작성 응답 y^u를 preferred로 두고 pair (y+, y-) = (y^u, y^s)를 만든다. implicit reward는 r_phi(y) = log π_phi(y|x_s,u) - log π_ref(y|x_s)이고, Bradley-Terry loss는 ℓ_style = -log σ(β Δr_phi), Δr_phi = r_phi(y+) - r_phi(y-)로 정의된다. reference term이 스타일을 따르는 baseline에 anchor하고, personalized policy는 사용자 선호를 더 잘 담을 때만 generic style에서 벗어나도록 학습된다. 스타일 지시가 없는 특수 경우 s=∅에서는 neutral baseline y^0 ~ π_ref(·|x)를 쓰고 pair (y^u, y^0)로 ℓ_neutral = -log σ(β[r_phi(y^u) - r_phi(y^0)])를 최적화한다. 이때 z_u가 개인화 잔차의 주요 운반체가 된다.

전제와 한계

추론 시에는 α ≥ 0 스케일링 계수를 z_u에만 적용한다. z^{(α)}_{u,x_s} = [z_sys; α·z_u; z_x]로 두면 α가 0에 가까워질수록 사용자 신호가 억제되고, α가 1보다 크면 사용자 history의 영향이 증폭된다. 시스템 지시나 입력 이해는 건드리지 않고 개인화 강도만 연속적으로 조절할 수 있다는 점이 이 논문이 내세우는 controllable trade-off다.

실험은 LaMP benchmark protocol을 따른다. LaMP-1은 F1과 accuracy, LaMP-2는 accuracy와 F1, LaMP-3은 MAE와 RMSE, LaMP-4·5·7은 ROUGE-1·ROUGE-L·METEOR를 보고한다. 스타일은 Warm, Critical, Concise, Elaborative 네 가지로 고정했고, personalization-score와 style-score를 LLM judge로 계산하며 일부는 인간 검증을 거쳤다. backbone은 Qwen/Qwen3-8B, PAG profile은 vLLM greedy decoding, 문장 인코더는 BGE-base-en-v1.5의 [CLS] L2 정규화 임베딩을 오프라인 캐시했고, 평가 judge는 GPT-5.2 PRO, 하드웨어는 8 NVIDIA H100 GPU다. 베이스라인은 non-personalized, BM25 top-k retrieval 기반 개인화, PAG, OPPU, PPlug다. 스타일이 없는 RQ1에서 PsPLUG는 기존 개인화 베이스라인을 일관되게 능가한다고 보고되며, LaMP-5처럼 PPlug와 경쟁적인 일부 과제에서도 전체적으로 comparable 성능을 유지한다. Table 2의 세부 수치는 제공된 본문에 실려 있지 않다.

스타일이 있는 RQ2에서 PsPLUG는 80% 이상의 style-task-metric 설정에서 최고 또는 두 번째 성능을 냈고, 기존 베이스라인을 최대 2~4 ROUGE 포인트 앞선다고 한다. Warm과 Critical 같은 tone 지향 스타일은 개인화 베이스라인을 더 심하게 교란했고, Concise는 일부 베이스라인 점수를 오히려 올렸다. 예를 들어 Non-pers. baseline의 LaMP-5 R-1은 0.426에서 0.441로 증가했는데, 저자들은 Concise가 감정이나 어조보다 길이·구성에 대한 구조적 제약으로 작동한다고 해석한다. LaMP가 ROUGE-1·ROUGE-L 같은 표면적 어휘 중첩에 의존해 스타일과 개인화의 상호작용이 얽히기 쉬우므로, LLM 기반 평가와 인간 평가를 LaMP-7에 추가했다. PsPLUG는 네 스타일 모두에서 가장 높은 style score를 냈고, Concise는 모든 방법에서 가장 높은 style score를 받았으며 Critical과 Elaborative는 제어가 더 어려웠다. Elaborative에서는 LLM과 인간 판단의 격차가 특히 컸다. 개인화 평가에서도 LLM과 인간 순위는 대체로 정렬됐고 PsPLUG가 대부분 스타일에서最强 또는 근접 최강으로 식별됐지만, 인간은 미묘한 정서·사용자 단서에 더 민감하고 LLM은 표면적 스타일 패턴과 유창성에 더 치우치는 차이가 있었다. RQ3 강도 민감도 실험에서 Concise는 강도 변화에 가장 안정적이었고 Warm과 Elaborative는 더 민감했으며, Elaborative는 LaMP-5에서 높은 강도에서 급격히 나빠져 과도한 장황함이 제목 생성 같은 과제 제약과 충돌한다고 설명한다. RQ4에서 큰 모델이 LaMP-5·7 같은 일부 과제에서 더 나은 ROUGE를 보이는 경향이 있지만 중간 크기 모델도 경쟁적이고 일부 지표에서는 더 큰 모델을 능가하기도 했다. 효율성 비교에서 RAG는 history 크기 O(|P_u|)에 비례하는 저장 비용과 검색 지연을, PEFT는 사용자별 최적화와 어댑터 로딩 지연을 갖는 반면, PsPLUG는 사용자 프로필을 한 번 인코딩해 단일 정적 임베딩으로 만들고 추론 시 입력 임베딩 시퀀스 앞에 붙이므로 프롬프트 길이가 일정하고 계산 비용이 사용자 history 크기 |P_u|와 무관하다고 주장한다.

개발자 관점에서 이 논문은 개인화와 스타일 제어를 동시에 요구하는 서비스에서 사용자 history를 그대로 프롬프트에 넣거나 사용자별 파인튜닝을 하는 대신, 스타일 지시 임베딩과 사용자 잔차를 분리하는 plug-in 구조를 고려할 근거를 준다. 한 번 학습한 모듈을 붙이고 사용자 전환 시 prefix만 바꾸며, 추론 시 α로 정책 준수와 개인화 강도의 균형을 조정할 수 있다는 설계가 실무적으로 유용하다. 다만 사용자 프로필 생성과 문장 인코딩은 여전히 필요하고, 스타일 범주가 네 가지로 제한되며 평가가 LaMP와 ROUGE, GPT-5.2 PRO judge에 크게 의존한다는 점은 실제 제품 적용 전에 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 스타일 조건을 Warm, Critical, Concise, Elaborative 네 가지 사전 정의 범주로 구성했지만 현실의 스타일 요구는 더 세밀하고 개방적이며 조합적이다. 실험도 LaMP benchmark 분포 안의 특정 backbone 모델에 제한되어 있어, 다른 모델 아키텍처, 다국어 설정, 다양한 장문맥 도메인에서의 견고성은 아직 검증되지 않았다. 저자들은 이 작업을 개인화와 스타일의 분리라는 중요한 질문을 던지는 예비 단계로 보고, 특정 텍스트 속성에 집중했지만 유효한 분리는 더 넓은 차원을 포함하므로 커뮤니티가 더 복잡한 축에서 disentanglement를 연구하기를 바란다고 말한다. 윤리적 측면에서는 LaMP와 LongLaMP가 공개·익명화되어 PII가 없고 공식 API로 데이터를 얻었다고 밝히며, 아키텍처 분리를 통해 고수준 개인화 신호를 원문 텍스트와 분리해 사용자 표현을 클라이언트 측에서 만들고 민감한 history 로그 대신 경량 모듈만 전송할 수 있어 RAG나 사용자별 파인튜닝보다 데이터 유출 위험을 줄인다고 주장한다.