차등 프라이버시 RLHF에서 희소 보상 추정이 차원 의존성을 줄인다

무엇인가

이 논문은 RLHF에서 인간 선호 데이터가 민감해 차등 프라이버시(DP)가 필요하지만, 기존 사적 정렬 방법이 보상 모델을 밀집 벡터로 가정해 추정 오차가 모델 차원 d의 다항식으로 커지는 문제를 다룬다. 특히 d가 n보다 훨씬 큰 과대매개변수 모델에서는 DP 잡음이 유틸리티 신호를 덮어 정렬이 비효율적이 된다. 저자들은 인간 선호, 즉 보상 모델이 s*≪d개의 관련 특징에만 지배된다는 희소성 가정을 도입해 Private Sparse RLHF 문제를 정식화하고, Bradley-Terry-Luce 모델 아래 쌍대 선호 피드백으로부터 사적 희소 보상을 추정하는 첫 이론 틀을 제시한다.

어떻게 동작하나

문제 설정은 각 비교 데이터가 문맥 k_i, 두 후보 응답 a_i^0, a_i^1, 선호 라벨 y_i로 구성되고, 선호가 BTL 소프트맥스 모델을 따른다고 본다. 보상은 알려진 특징 사상 φ에 대해 rθ(k,a)=⟨φ(k,a),θ⟩로 선형 매개변수화되며, 비교 특징 x_i=φ(k_i,a_i^1)-φ(k_i,a_i^0)를 쓰면 조건부 확률이 로지스틱 회귀 P(y_i=1)=σ(⟨x_i,θ*⟩)로 줄어든다. 참 매개변수는 L2 노름이 B 이하이고 0이 아닌 좌표가 s*개 이하인 집합에 있다고 가정하며, 특징은 좌표별로 1 이하, 공분산의 고유값은 μ와 γ 사이로 제한한다. 프라이버시는 전체 상호작용 튜플을 보호하는 Sample-DP와 특징은 공개이고 라벨만 보호하는 Label-DP로 나눈다.

무엇과 다른가

Sample-DP에서는 DP-SGD처럼 잡음을 전차원에 주입하면 희소 구조를 살리지 못한다고 보고, 반복적 경성 임계화(IHT)의 사적 변형인 Sample-DP-IHT를 제안한다. 알고리즘은 데이터를 반복마다 분할해 경사 갱신에 쓰고, 결정론적 경성 임계화 대신 사적 필링 메커니즘으로 크기가 큰 s개 좌표만 비공개로 선택해 나머지를 0으로 만든다. 이렇게 하면 전체 튜플을 보호하면서도 추정 오차가 d가 아니라 s*의 다항식이 된다. 이론적으로 (ε,δ)-Sample-DP에서 제곱 L2 오차 상한을 O~(γ^2 s*/(μ^3 n)+γ(s*)^2/(μ^4 n^2 ε^2))로 제시하고, 하한 Ω~(s*/(γ n)+(s*)^2/(γ n^2 ε^2))를 통해 로그 인자를 제외하면 거의 최소최대 최적임을 보인다.

어떻게 쓰나

Label-DP에서는 특징 x_i를 공개로 두고 라벨 y_i만 민감하다고 본다. 여기서는 세 단계를 쓴다. 먼저 각 라벨을 확률 e^ε/(e^ε+1)로 유지하고 1/(e^ε+1)로 뒤집는 무작위 응답(RR)을 적용해 ε-Label-DP를 만족시킨다. 다음으로 뒤집힌 라벨로 계산한 경사와 모든 라벨이 0일 때와 1일 때의 경사를 결합해 편향을 보정한 비편향 경사 추정량을 만든다. 마지막으로 표준 IHT로 s개 큰 좌표만 남긴다. 라벨 교란 단계 이후의 계산은 DP의 후처리 성질 덕분에 추가 프라이버시 비용이 없어, Sample-DP처럼 반복 안에서 사적 지지집합 선택을 하지 않는다. 상한은 O~(γ s*/(μ^2 n)+γ s*/(μ^2 n ε^2))이고, RR 기반 하한 Ω(s*/(γ n)+s*/(γ n ε^2))와 맞아 RR 틀 안에서는 더 개선할 수 없음을 보인다. 다만 임의의 중앙 Label-DP 메커니즘에 대한 일반 하한은 Ω(s*/(γ n)+s*/(γ n^2 ε^2))로, 현재 상한과는 격차가 남는다.

전제와 한계

실험은 두 과제에서 진행됐다. 감정 생성은 IMDb 영화 리뷰 데이터셋에서 긍정 감정을 최대화하는 텍스트를 생성하도록 LLaMA-7b를 쓰고, 감정 분류 점수를 인간 선호 보상의 대리로 사용했다. 안전 정렬은 AI2의 Harmful Dataset(real-toxicity-prompts)에서 유해 요청을 안전하게 거절하도록 Gemma-3-1B를 쓰고, RoBERTa 기반 안전 보상 모델을 별도로 학습했다. 베이스라인은 전차원 잡음을 주입하는 DP-SGD와 희소 임계화 없이 라벨에 무작위 응답만 적용한 RR이다. 감정 생성에서는 ε=2와 ε=8 모두에서 희소 방법인 DP-IHT와 RR-IHT가 같은 KL divergence에서 밀집 대응인 DP-SGD와 RR보다 높은 보상을 얻었다고 보고했지만, 본문에 구체적 보상 수치는 제시되지 않았다. 안전 정렬의 ε=8 승률은 Gemma-3-1B에서 Label-DP RR-IHT 62%, Sample-DP IHT 55%, RR 51%, DP-SGD 47%였고, Llama-2-7B에서는 RR-IHT 70%, IHT 62%, RR 58%, DP-SGD 53%로 희소 방법이 일관되게 앞섰다.

개발자 관점에서 이 논문은 민감한 선호 라벨로 보상 모델을 학습하면서 특징 차원 d가 데이터 수 n보다 큰 경우, 보상 신호가 소수 특징에 집중돼 있는지 먼저 확인하라는 신호를 준다. 전체 프롬프트·응답·라벨 튜플이 민감하면 Sample-DP-IHT가, 특징은 공개 가능하고 라벨만 민감하면 RR+IHT가 대응된다. 특히 Label-DP는 라벨 교란만으로 프라이버시를 처리하고 이후 IHT를 후처리로 돌리므로 구현이 단순하다. 다만 이론 보장은 선형 BTL 보상, 알려진 특징 사상, 정확한 s* 희소성, 특징의 좌표별 유계성, 공분산 조건, 좋은 초기화, 충분히 큰 n을 전제로 하므로, 실제 LLM 정렬에 적용할 때는 특징 사상과 희소도 가정이 맞는지, s 선택과 프라이버시 예산이 이론 조건을 만족하는지 확인해야 한다.

저자들이 밝힌 한계는 분명하다. Sample-DP 상한은 하한과 로그 인자 및 조건수 인자를 제외하면 거의 맞지만, Label-DP는 RR 기반 방법의 최적성만 보이고 일반 중앙 Label-DP 하한과 상한 사이에 격차가 남아 있어 RR을 넘어서는 메커니즘 설계가 열린 문제다. 또한 밀집 방법과의 비교는 특징 정규화 가정이 달라 s*=d로 단순 대입해 비교할 수 없다고 저자들은 명시한다. 실험도 감정 생성과 안전 정렬 두 과제, 특정 모델과 베이스라인에 한정되며, 감정 생성의 구체적 보상 수치는 본문에 제시되지 않았다.