OP-Print는 온폴리시 자기증류의 멤버십 누출을 추적한다

무엇인가

이 논문은 온폴리시 자기증류(on-policy self-distillation)의 데이터 프라이버시 위험을 멤버십 추론 공격(MIA)으로 분석한다. 온폴리시 증류는 오프폴리시 증류의 분포 불일치를 줄이기 위해 학생 모델이 스스로 생성한 롤아웃에서 학습한다. 자기증류는 여기서 외부 교사를 없애고, 같은 예제를 두 가지 결합된 시점으로 보여준다. 하나는 문제 q만 주는 표준 학생 프롬프트이고, 다른 하나는 참조 해답 r 같은 특권 정보를 추가한 교사 프롬프트다. 논문은 이 두 시점이 같은 훈련 예제를 더 강하게 기억하게 만들 수 있다는 우려에서 출발해, 온폴리시 자기증류에 대한 첫 MIA 연구를 제시한다. 멤버십 추론은 주어진 샘플이 훈련에 쓰였는지를 판별하는 공격이며, 사내에서 만든 포스트트레이닝 데이터셋의 프라이버시와 직접 연결된다.

어떻게 동작하나

핵심 발견은 자기증류가 남기는 감독 흔적이 전체 롤아웃에 고르게 퍼져 있지 않다는 것이다. 흔적은 희소하고 구조화되어 있으며, 절대적인 디코딩 위치보다 학생 모델의 불확실성에 민감한 교정 지점에 집중된다. 논문의 그림 2는 토큰 위치에 따른 교사-학생 발산이 완만하게만 변하고, 학생 불확실성이 높을수록 발산이 커지며, 신뢰도 지도에서 신호가 국소적으로 나타난다고 보고한다. 저자들은 이를 바탕으로 특권 교정이 아직 얼마나 필요한지를 나타내는 잠재량 Delta_t(x,y)를 정의한다. 이는 같은 롤아웃 접두사 y_<t가 주어졌을 때 특권 교사 프롬프트 p_t(q,r)와 학생 프롬프트 p_s(q) 아래 모델 분포 사이의 KL 발산이다. 멤버 예제는 자기증류로 이미 적응되었기 때문에 이 특권 교정량이 평균적으로 더 작아야 한다는 것이 공격의 전제다.

무엇과 다른가

그레이박스 공격은 이 잠재량을 직접 측정한다. 후보 예제 x=(q,r)에 대해 학생 프롬프트로 K개의 롤아웃을 샘플링하고, 각 롤아웃의 각 토큰에서 특권 교사 조건부 분포와 학생 조건부 분포의 KL을 계산한다. 점수 S_gray는 이 Delta_t를 롤아웃과 토큰에 걸쳐 평균한 뒤 음수를 취한 값이다. 점수가 클수록 평균 특권 격차가 작다는 뜻이므로 멤버 가능성이 높다. 구현에서는 효율을 위해 64토큰 청크 단위로 발산을 계산하며, 롤아웃별 최대 발산 위치를 쓰는 S_gray_max 변형도 함께 평가한다. 이는 같은 롤아웃에서 특권 교사-학생 잔차 교정을 직접 집계하는 방식이다.

어떻게 쓰나

블랙박스 공격은 특권 교정 자체가 보이지 않는 상황을 다룬다. 대신 저자들은 숨은 교정이 출력 베이슨의 기하학에 남기는 행동 흔적을 공격한다. 각 질문 q에 대해 학생 프롬프트로 M개의 전체 생성을 샘플링한 뒤, 각 생성물을 여러 접두사 비율 rho로 잘라 그 접두사에서 디코딩을 R번 재시작한다. 재시작된 연속 생성물들 사이의 정규화된 문자열 유사도를 쌍별로 평균해 Stab_text를 구하고, 이를 M개 생성과 접두사 비율 집합에 대해 평균한 것이 S_black이다. 재시작 후 출력이 더 좁고 안정적인 베이슨으로 수렴하면 숨은 교정이 더 강하게 내면화되었다고 보고 멤버로 판정한다. 즉 블랙박스에서는 접근 불가능한 교정 신호를 재시작 기반 출력 베이슨 안정성이라는 관측 가능한 대리 지표로 바꾼다.

전제와 한계

실험은 OpenThoughts의 수학 추론 하위 집합에서 문제-해답 쌍 1,000개를 뽑아 500개 멤버와 500개 비멤버로 나눠 진행했다. 대상 모델은 Qwen3 1.7B, 4B, 8B이며, 두 가지 온폴리시 자기증류 변형으로 미세조정했다. 하나는 학생 생성 연속에 대한 토큰 수준 JSD 목적이고, 다른 하나는 특권 교사와 학생의 로그확률 차이를 이점처럼 사용하는 tinker 스타일의 샘플 토큰 정책 개선 목적이다. 그레이박스 베이스라인은 Min-K%와 MaxRényi-K%이고, 블랙박스 베이스라인은 해답 길이, 롤아웃 정답률, 다수 답, 평균 롤아웃 길이, 길이 표준편차, 형식 답변률 같은 롤아웃 기반 지표다. 평가는 AUC, TPR@5%FPR, 최적 분류 정확도를 사용한다. 그레이박스에서 OP-Print-G-Max는 모든 모델 규모에서 가장 높은 AUC를 기록했고, 가장 강한 비OP-Print 베이스라인을 Qwen3-1.7B에서 0.517에서 0.594로, 4B에서 0.517에서 0.611로, 8B에서 0.529에서 0.587로 끌어올렸다. TPR@5%FPR은 각각 0.110, 0.127, 0.102였다. 기존 확률·엔트로피 기반 베이스라인은 AUC 0.49~0.52로 사실상 무작위 수준이었다. 블랙박스에서는 OP-Print-B가 모든 규모에서 전체 AUC와 정확도가 가장 좋았고, Qwen3-4B에서 AUC 0.575와 정확도 0.573을 기록해 모든 블랙박스 베이스라인을 두 지표 모두에서 앞섰다. Qwen3-8B 블랙박스에서는 OP-Print가 가장 강한 베이스라인 대비 AUC를 7.7%, TPR@5%FPR을 26.5% 개선했다고 보고한다. 절제 실험에서는 롤아웃 수를 32까지 늘릴 때 성능이 좋아지고 이후 이득이 작아졌으며, 청크 크기 64가 균형이 좋았고, 접두사 비율을 늘리면 완만하게 개선되며, 재시작 횟수는 늘수록 성능이 오르지만 비용 대비 이득이 줄었다.

개발자 관점에서 이 논문은 온폴리시 자기증류를 쓸 때 일반적인 손실 기반 MIA보다 더 직접적인 누출 채널이 생긴다는 점을 보여준다. 참조 해답이나 특권 컨텍스트를 붙여 같은 예제를 두 번 학습하는 파이프라인이라면, 훈련 데이터가 모델 출력의 안정성 패턴에 흔적을 남길 수 있다. 특히 블랙박스 환경에서도 접두사 재시작과 출력 유사도 측정으로 멤버십을 추정할 수 있다는 주장은 API 형태로 모델을 제공할 때 반복 재생성과 접두사 기반 질의를 프라이버시 위험으로 봐야 함을 시사한다. 배포 전에는 훈련 데이터 규모와 분포 불일치를 통제한 상태에서 멤버십 추론 평가를 해보고, 재시작 기반 질의 패턴을 모니터링할 필요가 있다. 다만 논문은 공격 효과에 초점을 두고 방어 설계는 후속 과제로 남긴다.

저자들이 밝힌 한계는 블랙박스 공격이 반복적인 재시작 생성을 요구해 추가 추론 비용이 든다는 점이다. 공격자는 공격 설정을 스스로 고를 수 있지만, 비용 문제는 실제 위협 모델에서 고려해야 한다. 또한 이 연구는 교정 흔적 누출에 대한 방어 설계를 다루지 않고 공격 효과 검증에 집중한다. 실험은 Qwen3 세 규모와 두 가지 증류 변형, OpenThoughts 수학 추론 하위 집합에서 이뤄졌으므로 다른 도메인과 모델 계열로의 일반화는 별도 확인이 필요하다.