선택적 타이 학습이 선호 최적화의 허위 상관을 줄인다

무엇인가

이 논문은 선호 최적화, 특히 DPO가 인간 선호를 예측하는 허위 특징에 의존하는 문제를 다룬다. 논문은 이런 의존이 훈련 분포 자체의 평균적 허위 편향과 코어-허위 특징 간 누출에서 생기므로 같은 분포의 선호 데이터를 더 모아도 사라지지 않는다고 설명한다. 타이(두 응답의 효용은 같지만 허위 속성은 다른 비교)를 추가하면 허위 의존을 줄일 수 있지만, 모든 타이가 같은 교정 효과를 내지는 않는다. 그래서 저자들은 고정된 후보 타이 풀에서 예산 k개만 골라 허위 의존을 가장 많이 줄이는 Selective Tie Learning을 제안한다.

어떻게 동작하나

문제 설정은 특징을 코어 특징과 허위 특징으로 나누는 로그선형 정책에서 출발한다. 타이는 코어 특징 차이가 0이고 허위 특징 차이만 있는 비교이며, 후보는 엄격한 선호 비교에서 변환 T로 선호 응답의 허위 특징을 바꾸되 코어 특징은 거의 보존해 만든다. 각 후보는 좌우 방향을 함께 가진 패킷으로 구성해 평균 허위 차이를 0으로 만들고, 패킷 단위로 점수를 매겨 선택한 뒤 한 방향을 샘플링해 훈련한다. 허위 의존은 허위 가중치의 에너지 E(θ)=θ̃_sᵀΣ_ssθ̃_s로 측정된다.

무엇과 다른가

첫 번째 선택기는 영향력 기반이다. 로그선형 DPO에서 타이 j를 작은 가중치 ε/N으로 추가할 때 허위 에너지 변화율 A_j를 1차 근사로 유도한다. A_j = (β/2N)·tanh(m_j/2)·⟨∇sE(θ0), Ks⁻¹d_j⟩이며, m_j는 타이의 암묵적 보상 마진, Ks는 코어 블록을 제거한 슈어 보수행렬이다. 즉 마진이 클수록 더 세게 밀고, 코어 재적합 후 그 방향이 현재 허위 의존을 얼마나 거스르는지가 영향력을 결정한다. A_j가 큰 k개를 고르는 것이 같은 크기 부분집합 중 1차 최적이며, 영향력이 서로 다를 때 균등 선택보다 낫다. 신경망에서는 명시적 코어-허위 분해가 없으므로 고정된 홀드아웃 타이 프로브에서 반사실적 에너지 E_cf(θ)=1/N_v∑m_n(θ)²를 만들고, 감쇠 GGN 근사 Ĥ로 Â_j=(1/N)⟨∇E_cf(θ0), Ĥ⁻¹g_j(θ0)⟩를 계산한다. ∇E_cf에 대한 역곡률을 한 번 구해 v=Ĥ⁻¹∇E_cf로 재사용하므로 후보마다 그래디언트만 필요하다.

어떻게 쓰나

두 번째 선택기는 순수 마진 선택이다. 정책과 참조 정책의 순전파만으로 각 타이의 절대 암묵적 보상 마진 |m_j|를 얻을 수 있다. 타이 대비 d_j가 N(0,cΣ_ss)를 따른다는 가우시안 모델 아래에서 마진이 주어졌을 때의 기대 영향력은 E[A_j|m_j]=(λ/N)·m_j·tanh(m_j/2)로, |m_j|에 대해 짝함수이자 증가한다. 따라서 마진만 볼 수 있는 선택기 중에서는 |m_j|가 큰 타이를 고르는 것이 기대 1차 에너지 감소를 최대화한다. 이 방법은 프로브, 곡률, 타이 그래디언트가 필요 없어 매우 저렴하지만, 특정 풀의 영향력 순위를 복원한다는 보장은 아니다.

전제와 한계

로그선형 실험에서는 코어·허위 차원을 각각 10으로 둔 가우시안 특징을 사용하고, 균등 타이 학습, 순수 마진 선택, 정확한 영향력 선택을 비교했다. 고립된 타이 효과 검증에서 예측 영향력은 관측된 허위 에너지 감소와 4.2%의 상대 L2 오차, 99.8%의 부호 일치를 보였고, 마진 구간별 조건부 평균도 모든 구간에서 95% 신뢰구간 안에 들어왔다. 전체 타이 가중치에서도 100개의 타이로 순수 마진 선택이 균등 선택이 약 300개에서 내는 정확도에 도달했다. 신경망 실험에서는 고정 랜덤 비선형 믹서를 거친 특징으로 MLP 보상 모델을 DPO 훈련했고, 500개 타이에서 순수 마진 선택과 실용적 영향력 선택이 균등 선택보다 약 7.5%포인트 높은 분포 이동 정확도를 보이며 균등 선택 1500개 타이의 정확도를 넘었다.

LLM 실험은 Llama-3.2-1B-Instruct의 LoRA 어댑터를 DPO로 미세조정해 진행했다. 호텔 과제에서는 가격·거리·별점·노이즈가 효용을 결정하고 7개 허위 필드가 훈련 분포에서는 효용과 양의 상관, 적대적 배포 분포 Q_adv에서는 음의 상관을 갖도록 했다. 이모지 과제는 PKU-SafeRLHF의 안전 응답을 항상 선호하게 하고 안전 응답의 이모지 수를 조작해 훈련 분포와 Q_adv에서 상관을 반전시켰다. 500개 타이에서 순수 마진 선택은 호텔 92.1%, 이모지 68.4% 정확도로 균등 선택의 74.6%, 59.3%를 크게 앞섰다. 호텔에서는 300개, 이모지에서는 500개 타이로 균등 선택 750개의 정확도를 넘었고, 두 선택기는 모든 부분 예산에서 균등 선택보다 나았으며 이모지에서는 순수 마진 선택이 실용적 영향력 선택보다 높았다.

개발자 관점에서 이 방법은 DPO 파이프라인에서 길이, 메타데이터, 특정 표현 같은 지름길이 의심될 때 유용하다. 코어 품질을 보존하는 변환으로 타이 후보 풀을 만들 수 있고 타이 추가 예산이 제한적이라면, 순전파만 쓰는 절대 마진 선택이 가장 싼 출발점이다. 곡률과 프로브를 감당할 수 있으면 영향력 기반 선택으로 1차 최적에 가까워질 수 있다. 다만 선택된 타이가 실제 배포 분포의 상관 반전에서도 견고한지 홀드아웃 반사실적 평가로 확인해야 하고, 변환이 효용을 보존하는지도 검증해야 한다.

저자들이 밝힌 한계는 분명하다. 이 연구는 이미 존재하는 타이 풀에서 선택하는 문제만 다루며, 신뢰할 수 있는 타이를 어떻게 만들지와 예산 k를 어떻게 정할지는 다루지 않는다. 실험도 허위 의존과 분포 이동을 직접 측정할 수 있도록 완전 또는 부분 통제된 설정에 머문다. 자연 선호 데이터로 확장하려면 효용 보존 변환, 원칙적인 k 선택, 큰 풀에 맞는 점수 계산이 필요하다. 또한 1차 최적성 보장은 전체 타이 가중치가 N에 비해 작을 때 성립하고, 실용적 영향력 추정은 로그선형 보장을 보존하지 않는다. 순수 마진 선택도 가우시안 대비 공분산 가정 아래 기대 영향력에 대한 최적성이며, 같은 마진의 타이가 다른 방향을 가질 수 있는 특정 풀에서는 영향력 순위와 달라질 수 있다.