안전을 중간학습으로 일반 추론과 함께 익혀 공격 성공률을 낮춘다
Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability
무엇인가
이 논문이 다루는 문제는 LLM 안전 정렬이 대부분 사후학습에 몰려 있고, 이후 학습에서 안전 데이터가 빠지면 안전성이 쉽게 무너진다는 점이다. 또한 안전성 향상이 일반 능력의 비용을 동반하는 경우가 많다. 저자들은 안전과 일반 추론을 별개의 목표로 두지 말고, 의도나 과업 목표를 이해하고 관련 지식과 제약을 적용하며 결과를 추론하는 공통 구조로 함께 학습해야 한다고 주장한다.
어떻게 동작하나
제안 방법은 사전학습과 사후학습 사이에 안전 중간학습 단계를 두는 것이다. 안전 프롬프트와 일반 유틸리티 프롬프트를 같은 스키마로 정리한다. 베이스 모델이 각 프롬프트에 대해 Task, Core goal, Relevant knowledge, Key constraints, Possible consequences, Best feasible path, Verification 필드를 가진 구조화 문서를 만들고, 그 문서와 참조 답변에 근거해 추론 흔적과 답변을 생성한다. 이때 별도 대형 모델 없이 학습 대상 베이스 모델 자체가 데이터를 생성한다. 생성된 추론 흔적은 Qwen3-32B judge가 문서 충실성, 논리·윤리적 일관성, 참조 답변 및 안전 라벨과의 일관성을 평가해 overall_pass와 품질 4점 이상일 때만 채택한다. 탈락하면 judge 피드백으로 최대 3회 재샘플링하고, 그래도 통과하지 못하면 제거한다. 학습 코퍼스는 추론 기록을 채팅 템플릿에 넣은 형태와 구조화 문서를 일반 산문으로 넣은 형태를 섞어 구성하고, 프롬프트와 응답 토큰을 모두 포함한 인과적 언어모델링 손실로 베이스 모델을 계속 학습한다. 이후 이 모델을 SFT나 GRPO의 시작점으로 쓴다.
무엇과 다른가
실험은 Qwen3-1.7B, 4B, 8B 베이스와 Llama3.2-1B, 3B 베이스에서 수행했다. 약 18만5천 개 프롬프트와 약 2억 중간학습 토큰을 사용했고, SFT는 약 1만 개 지시 예시로 진행했다. 안전 평가는 HarmBench, AdvBench, WildJailbreak, DoNotAnswer, SimpleSafetyTests, JailbreakHub, StrongREJECT, BeaverTails, AIR-Bench의 9개 벤치마크, 유틸리티는 GSM8K, MATH-500, TruthfulQA, AlpacaEval, MMLU, ARC-Challenge, MMLU-Pro, HellaSwag, BBH의 9개 벤치마크로 측정했다. 학습 데이터와 겹치는 WildJailbreak와 BeaverTails는 안전 평균에서, GSM8K와 MATH-500은 유틸리티 평균에서 제외했다. 각 벤치마크는 300개 예시 또는 전체가 300개 미만이면 전부 평가했고, LLM 판정 지표는 GPT-4.1-mini로 평가했다. 비교 대상은 Base+SFT, Safety Pretraining 약 27억 토큰, Alignment Pretraining 약 13억 토큰, Claude Sonnet 4.6 증류 SFT 등이다. SFT 데이터는 안전만, 일반만, 균형 혼합의 세 가지로 나눠 실험했다.
어떻게 쓰나
사후학습 이전 베이스 모델에서 안전 중간학습은 Qwen3 세 모델 기준 상대 공격 성공률을 72~81% 낮췄고, Llama까지 포함한 베이스 모델 기준으로는 68~86% 낮췄다고 서술한다. 균형 SFT 이후에도 모든 모델 크기에서 가장 낮은 평균 ASR을 기록했고 유틸리티는 높거나 비슷했다. Qwen3-4B에서는 Base+SFT의 ASR 10.8%가 Ours+SFT에서 5.5%로 떨어지면서 유틸리티는 오히려 개선됐다. 같은 균형 혼합에서 Safety Pretraining과 Alignment Pretraining보다 모든 크기에서 낮은 ASR을 보였고 일반 능력도 경쟁력 있었다. 일반 데이터만 넣은 SFT에서도 중간학습 모델은 모든 Qwen3 크기에서 모든 베이스라인보다 낮은 ASR을 유지했고, Sonnet 4.6 증류 SFT 대비 ASR을 70~75% 줄였다. Qwen3-4B에서 균형 SFT에서 일반 전용 SFT로 바꾸면 Ours의 ASR은 5.5%에서 7.6%로만 변했고 유틸리티는 유지됐지만, Safety Pretraining과 Alignment Pretraining은 ASR이 크게 올랐다.
전제와 한계
GRPO 실험도 핵심 주장을 뒷받침한다. Qwen3-1.7B와 4B에서 안전·유틸리티 균형 데이터 5,000개 프롬프트로 GRPO를 돌렸을 때 중간학습 모델이 더 높은 최종 안전성과 유틸리티에 도달했다. Qwen3-4B에서는 최종적으로 안전성 5.9점, 유틸리티 4.0점 우위를 보였다. 더 중요한 것은 안전 데이터와 안전 보상이 전혀 없는 일반 전용 GRPO에서도 중간학습 모델이 안전성을 훨씬 덜 잃었다는 점이다. Qwen3-4B에서 베이스 모델의 안전성 하락은 13.2점이었지만 중간학습 모델은 1.4점 하락에 그쳤고 유틸리티 변화는 작았다. 같은 패턴이 1.7B에서도 나타났다.
절제 실험은 왜 중간학습 단계와 공통 스키마가 중요한지 보여준다. Qwen3-4B에서 같은 자기생성 추론 데이터를 바로 SFT에 쓰면 평균 ASR이 거의 변하지 않았지만, 같은 데이터를 중간학습에 쓰면 ASR이 22.8%에서 7.5%로 떨어지고 유틸리티도 개선됐다. 공통 스키마에서 의도, 지식, 결과 추론 중 어느 하나를 빼도 안전성과 유틸리티가 모두 나빠졌고, 특히 지식이나 결과 항목을 제거하면 유틸리티 손실이 10점을 넘었다. 안전 데이터 비율을 고정 총량에서 바꾸면 유틸리티 데이터만 있을 때 ASR이 높게 남고, 불안전 프롬프트만 있을 때는 ASR이 0에 가까워지지만 과잉 거부가 급증하고 유틸리티가 떨어졌다. 불안전 비율 25%가 전체 균형이 가장 좋았다. 데이터 생성 모델 비교에서는 Claude Sonnet 4.6 생성 데이터와 자기생성 데이터가 SFT 전에는 비슷했지만, 균형 SFT 후에는 자기생성이 모든 크기에서 더 낮은 ASR을 보였고 작은 모델에서는 유틸리티도 더 높았다. Llama3.2-1B와 3B에서도 안전성과 유틸리티가 함께 개선되는 같은 패턴이 나타났다. 문서 기록을 더하는 효과는 작았고, 추론 흔적이 이득의 중심이었다.
개발자 관점에서 이 논문은 안전을 사후학습의 거부 반응 튜닝으로만 다루지 말고, 사전학습 이후의 중간학습에서 일반 추론 데이터와 같은 형식으로 섞어 학습하는 선택지를 검토하게 한다. 특히 안전 데이터를 넣지 않은 일반 SFT나 일반 보상만 있는 GRPO 이후에도 안전성이 유지되는지를 평가셋에 반드시 포함해야 한다는 시사점이 있다. 다만 논문은 별도의 한계 절을 두지 않으며, 실험 범위는 Qwen3 최대 8B와 Llama3.2 최대 3B에 머문다. 자기생성 데이터와 Qwen3-32B judge 필터링에 의존하고, 일부 벤치마크는 학습 데이터와의 겹침 때문에 평균에서 제외했으며, LLM 판정은 GPT-4.1-mini를 사용했다. 더 큰 모델, 다른 judge, 다른 데이터 혼합에서의 일반화와 중간학습 데이터 생성 비용은 별도로 확인해야 한다.