적대적 자기 증류로 공격받은 언어모델이 거부를 스스로 회복하게 한다

무엇인가

이 논문은 안전 정렬된 언어모델이 평범한 유해 요청은 거부하지만 최적화된 접미사, 토큰 변형, 바꿔쓰기 같은 적대적 섭동에는 여전히 뚫린다는 문제를 다룬다. 기존 적대적 학습은 최악의 입력에서 모델이 거부하도록 미세조정하는 최소-최대 목표를 쓰지만, 자기회귀 생성에서는 고정된 거부문을 학습하는 것만으로 충분하지 않다. 모델이 빈 응답 시작에서는 거부해도, 공격자가 준수하는 프리필을 넣으면 그 접두사 이후의 하위 트리는 제대로 제약되지 않아 준수로 이어질 수 있다. 저자들은 안전한 진입과 준수 접두사 이후의 회복을 분리해, 적대적 학습이 템플릿 거부를 넘어 스스로의 위험한 지속을 교정할 수 있는지 묻는다.

어떻게 동작하나

제안 방법인 적대적 자기 증류는 반복적 적대적 학습 안에서 같은 체크포인트를 학생과 교사로 나눈다. 교사는 원래의 깨끗한 유해 요청 x를 받고 필요하면 요청이 유해하므로 거부해야 한다는 시스템 지시를 함께 받는다. 학생은 공격된 요청 x̃를 받아 응답 y를 온폴리시로 샘플링한다. 학생이 방문한 각 접두사 y<t에서 학생의 다음 토큰 분포 pθ,t(v)=πθ(v|x̃,y<t)와 고정된 교사의 분포 q0,t(v)=πθ0(v|x,y<t)를 비교한다. 손실은 교사의 상위 K개 토큰과 나머지를 하나의 꼬리 버킷으로 묶은 압축 어휘 위의 역방향 KL dK로 계산한다. 이렇게 하면 학생이 공격 아래 실제로 생성한 접두사, 특히 준수로 시작한 접두사에서도 교사의 안전한 분포를 따라가도록 감독한다.

무엇과 다른가

적대적 항의 손실 Lh는 응답이 깨끗한 요청 x에 대해 유해하다고 판정되고, 샘플링 시점과 현재 정책 사이의 평균 우도비가 5 미만인 궤적만 g_i=1로 선택해 평균한다. 정책 드리프트를 보정하려고 클리핑된 우도 가중치 ρ̄를 곱한다. 여기에 UltraChat의 무해한 프롬프트에서 학생이 생성한 접두사에 대해서도 같은 역방향 KL을 적용하는 온폴리시 무해 앵커 Lb를 더해, 일반 요청에서의 행동이 과도하게 변하지 않도록 묶는다. 교사는 그래디언트를 받지 않고, 학생은 교사의 선택적 지시를 보지 못한다. 깨끗한 요청에서 교사가 이미 준수하는 행동은 학습에서 제외한다.

어떻게 쓰나

실험은 Qwen2.5-14B-Instruct를 5회, Llama-3-8B-Instruct를 7회 반복하고, 공개된 DAT-Qwen 체크포인트에는 추가로 2회 ASD를 적용한다. 학습에는 HB-adv의 100개 적대적 행동을, 평가에는 겹치지 않는 JailbreakBench의 JBB-100을 쓴다. 공격 풀은 GCG, PAIR, Best-of-N, AutoDAN, 확산 인페인팅을 결합하며 Llama에는 원래 요청을 256회 샘플링한 것도 포함한다. 회차당 약 228,000회 시도를 평가하고 StrongREJECT 성공만 남기며 행동-공격 쌍당 최대 16개 프롬프트로 제한한다. 인페인팅은 LLaDA로 행동당 1,024개 프롬프트를 64토큰, 64스텝으로 생성한다. Qwen은 학습률 1e-5, Llama는 3e-6으로 AdamW와 LoRA를 사용한다.

전제와 한계

이론적으로 저자들은 응답 생성을 접두사 위의 마르코프 과정으로 보고, 접두사 w 이후 결국 거부할 확률인 회복 확률 rθ(x,w)을 정의한다. 명제 1과 2는 고정된 참조 응답만 평가하는 적대적 SFT가 학습 경로 밖의 준수 접두사에서 회복 여부를 결정하지 못할 수 있음을 보인다. 명제 3은 학생과 교사의 전체 지속 분포 사이 KL K(w)=DKL(P||Q)=E[Σ DKL(pθ,u||q0,u)]에 대해 |rθ(x̃,w)-rθ0(x,w)|≤sqrt(K(w)/2)를 제시한다. 즉 학생이 방문한 접두사에서 교사의 지속 분포와 가까워지면 회복 확률도 가까워질 수 있다. 온폴리시 샘플링은 학생이 실제로 도달한 접두사에서 이 비교를 하게 한다.

결과적으로 Qwen2.5-14B에서 ASD 5회 반복은 BoA를 베이스와 DAT보다 크게 낮췄고, 각 공격에서 DAT 이하이며 Direct와 Inpainting에서는 동률이었다. 가장 큰 차이는 PAIR에서 났고 Qwen에서는 MMLU와 ARC 정확도가 DAT보다 높게 유지됐다. Llama-3-8B에서 ASD는 평가된 방어법 중 가장 낮은 BoA를 보였고 DAT, LAT, CB보다 낮았다. 평가된 GCG, PAIR, AutoDAN, Inpainting 시도는 성공하지 않았지만 BoN과 Direct 샘플링에서는 DAT보다 높았다. MMLU와 ARC는 베이스 모델과 1.5퍼센트포인트 이내였다. 다만 표 2의 구체적인 BoA 수치는 인용된 본문에 숫자로 제시되지 않았다.

준수 프리필 실험에서는 프리필이 없을 때 두 모델 모두 거의 항상 거부했지만, 8개 토큰 이내의 프리필이 들어가면 DAT의 직접 거부는 사라졌다. ASD는 모든 테스트된 비영(非零) 길이에서 DAT보다 높은 거부 비율을 유지했고 프리필이 길어질수록 격차가 줄었다. DAT는 거부 대신 준수하거나 문맥에 맞지 않는 EOS·토큰 반복 같은 깨진 궤적으로 빠졌다. 거부의 형태도 달랐다. DAT-Qwen은 주로 획일적으로 거부한 반면 ASD-Qwen은 거의 간접적으로 거부했고, XSTest 10개 범주 중 8개에서 DAT보다 더 자주 거부했다. 동음이의어, 안전한 대상, 비유적 표현에서 차이가 컸으며 이는 과잉 거부 비용을 드러낸다. 무해 앵커 제거 실험에서는 Llama 1회 반복에서 XSTest 준수율이 앵커 포함 0.756, 미포함 0.000이었고, SFT는 0.404와 0.012였다. SFT를 3회 반복하면 학습 행동에서는 공격 성공이 없지만 XSTest 준수율은 0.036까지 떨어졌다.

개발자에게 이 논문은 안전 정렬을 첫 거부율이나 고정 거부문 일치로만 평가하면 위험하다는 신호를 준다. 공격 프리필, 다중 턴, 준수 접두사 이후의 회복까지 테스트해야 하며, 안전 미세조정에서는 템플릿 SFT보다 학생이 실제로 생성하는 경로에 분포 감독을 주는 방식이 유효할 수 있다. 동시에 무해 앵커와 과잉 거부 지표를 함께 추적하고, 공격 풀이 실제로 어떤 실패 모드를 덮는지, 교사 모델이 깨끗한 요청에서 신뢰할 만한지 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 이 방법은 교사의 분포가 유용하다는 전제에 의존하며, 교사가 깨끗한 요청에서 안전하지 않으면 회복 이론의 보장도 약해진다. 공격 풀이 여전히 뚫리는 행동 쪽으로 학습을 재가중하므로 방문하지 않은 실패 모드는 교정되지 않는다. 이론은 아키텍처에 무관하게 세워졌지만 실제 구현은 오래된 샘플링, 유해 판정 라우팅, 궤적별 토큰 평균, 상위 K 압축 때문에 명제의 가정을 완전히 따르지 않는다. 또한 측정된 학생이 첫 반복 교사보다 더 자주 회복하는 관찰이 있었고, 최종 모델의 과잉 거부 비용과 교사 신뢰성, 누적된 공격 실패는 핵심 한계로 남는다. 다중 선택 정확도 유지가 도움성 비용이 해결됐다는 증거는 아니라고 저자들은 명시한다.