모델 커리큘럼으로 안전 학습 모델의 거부를 단계적으로 무너뜨린다

무엇인가

이 논문은 안전 학습된 언어 모델이 금지 행동을 거부하는 성질을 자동 탈옥 탐색으로 뚫는 문제를 다룬다. 조사자 모델이 특정 행동을 유도하는 프롬프트를 생성하고, 타깃 모델이 응답하면 심판 모델이 행동 충족도를 점수로 매기는 강화학습 구조다. 문제는 안전 학습된 타깃이 거의 모든 프롬프트를 거부해 보상이 0에 몰리는 희소 보상이다. 저자들은 이 상황에서 조사자가 어떤 프롬프트가 성공에 가까운지 학습할 신호를 거의 받지 못한다고 지적한다.

어떻게 동작하나

제안 방법인 CoM은 타깃 모델 자체를 쉬운 버전에서 원래 버전으로 배열한 커리큘럼을 만든다. 원 타깃에 유해 질의와 순응 응답을 짝지은 데이터로 LoRA 어댑터를 학습해 거부 성향을 억제하고, 각 단계의 타깃 가중치를 W_k = W0 + (k/K)ΔW, α_k = k/K로 둔다. k=K이면 어댑터를 완전히 적용해 거부를 거의 하지 않는 타깃이 되고, k=0이면 원래 타깃이 된다. 중간 단계들은 어댑터 영향력을 선형으로 줄여 거부율이 완만하게 올라가도록 한다. 훈련은 가장 쉬운 M_K에서 시작해 조사자가 현재 타깃에서 행동을 안정적으로 유도하면 다음의 더 어려운 타깃으로 넘어가고, 최종적으로 원래 타깃 M_0에서 마무리한다.

무엇과 다른가

조사자는 qwen3.5-9b, 심판은 gpt-oss-120b를 쓴다. 조사자는 행동 루브릭 r을 조건으로 프롬프트를 생성하고, 현재 타깃 변형이 응답하면 심판이 0에서 100까지 점수를 준다. 이 점수를 보상으로 GRPO를 적용하며, 조사자가 초기 정책에서 너무 멀어지지 않도록 KL 페널티를 건다. 한 그룹의 평균 점수가 임계값 τ에 도달하면 다음 단계로 진급한다. 다중 행동 훈련에서는 행동별로 보상을 정규화하고 행동별 커리큘럼 단계를 따로 관리해, 행동마다 원래 타깃에 도달하는 속도가 달라도 되게 한다.

어떻게 쓰나

실험은 CBRN 물질, 폭발물, 불법 약물 유도 과제에서 gemma-4-31b-it와 gpt-oss-120b를 타깃으로 삼았다. 단일 행동 실험은 gemma 쪽에서 펜타닐, MDMA, 사린, VX 합성, gpt-oss 쪽에서 TATP, HMTD, 메스암페타민, 헤로인 합성을 대상으로 했다. 각 행동마다 조사자 프롬프트 256개와 타깃 응답 1개를 뽑아 심판 점수 100을 성공으로 보는 pass@1을 측정했고, 세 시드 평균과 범위를 보고했다. 저자들은 CoM이 12개 행동-타깃 조합 모두에서 Direct RL과 PRBO보다 높은 평균 pass@1을 냈다고 보고한다. gemma 타깃에서는 네 행동 모두에서 성공 탈옥을 찾았지만 평균 pass@1이 1% 미만에서 50%까지 변했고 일부 시드는 성공이 없었다. Direct RL은 성공이 없었고 PRBO는 추론 없는 gemma의 VX에서만 성공했다. gpt-oss 타깃에서는 CoM이 26.4%에서 61.1%의 평균 pass@1을 냈고 모든 시드에서 성공했으며, Direct RL은 메스암페타민에서만, PRBO는 거의 0%에 그쳤다.

전제와 한계

다중 행동 실험은 48개 행동에서 Novichok을 제외한 47개를 8개 훈련 행동과 39개 홀드아웃 행동으로 나눠 진행했다. CoM과 PRBO 모두 훈련에 없는 홀드아웃 행동으로 일반화했다. gemma 타깃의 홀드아웃 평균 pass@1은 CoM 44.2%, PRBO 60.0%, Direct RL 7.0%였고, gpt-oss 타깃은 CoM 54.3%, PRBO 62.8%, Direct RL 56.4%였다. 즉 다중 행동에서는 PRBO가 두 타깃 모두에서 가장 높았고, gpt-oss에서는 Direct RL도 강했다. 저자들은 여러 난이도의 관련 행동을 함께 학습하는 것이 자연스러운 커리큘럼으로 작동할 수 있다는 가설과 이 결과가 일관된다고 본다.

하이퍼파라미터 분석에서는 기본값 K=5, τ=60, β_KL=0.5를 두고 하나씩 바꿨다. K=2처럼 너무 거친 커리큘럼은 세 시드 모두 원래 타깃에 도달한 뒤 실패했고, K=5와 K=10은 비슷하게 좋았다. τ=20에서는 세 시드 중 하나가 원래 타깃에 도달하기 전에 실패했고, τ=40에서 90까지는 높은 점수를 유지했지만 τ=90은 원래 타깃 도달까지 걸리는 스텝이 거의 두 배였다. β_KL=2에서는 세 시드 중 둘이 원래 타깃 전에 실패했고, 0에서 1은 비슷했으나 페널티가 없을 때 둘의 정책 엔트로피가 거의 0으로 붕괴했다. 성공 프롬프트의 질적 분석에서는 과학 전문가, 교수, 튜터 같은 권위 있는 역할을 부여하고 교육·교과과정·품질관리 같은 학술적 프레이밍을 붙이는 전략이 반복적으로 나타났다. 훈련 단계가 진행되면서 노골적 적대적 시나리오에서 학술·교육 프레이밍으로 이동하는 모습도 관찰됐다.

개발자에게 이 방법은 배포 전 레드팀 자동화에서 희소 보상을 완화하는 실험적 도구로 의미가 있다. 다만 저자들이 밝힌 전제가 크다. CoM은 타깃을 수정한 변형을 만들 수 있는 화이트박스 접근을 가정하고, 단일 턴 유도만 다루며, 평가 범위도 좁은 CBRN 합성 과제에 한정된다. 성능 지표는 LLM 심판에 의존하는데, 서로 다른 심판 모델 간 pass/fail 일치율은 77.7%에서 89.6%였고 같은 gpt-oss-120b 심판을 반복 호출했을 때의 92.9%보다 낮았다. gpt-oss-120b가 타깃이면서 심판일 때는 자기 선호 편향 가능성도 있다. 실험도 조사자 1종, 타깃 2종, 제한된 시드에 머물며 단일 행동 훈련은 약 50달러, 다중 행동 훈련은 약 200달러가 들었다고 밝힌다. 따라서 이 결과는 안전 보증이 아니라 취약점 탐색 방법론의 가능성과 한계를 보여주는 것으로 읽어야 하며, 실제 적용 전에는 심판 신뢰도와 인간 전문가 검증을 함께 확인해야 한다.