학습 없이 가중치 편집으로 유해 지시 순응을 줄인다

무엇인가

이 논문은 지시를 잘 따르는 언어모델이 안전 정렬과 충돌하는 요청에도 순응하는 문제를 다룬다. 시스템 프롬프트로 방어할 수 있지만, 유해 지시를 내는 쪽이 시스템 프롬프트를 통제하면 이 방어가 제거될 수 있고, 검색 문서를 통해 간접적으로 지시가 들어올 수도 있다. 에이전트 시스템에서는 출력이 되돌릴 수 없는 행동이 되므로 사후 설명보다 행동 전에 막아야 한다는 것이 문제 설정이다. 기존 활성화 스티어링은 추론 시 개입이고 구성 프롬프트와 적용 설정에 민감하며, 파인튜닝은 라벨과 그래디언트가 필요하다. 저자들은 모델 가중치를 가볍게 바꾸는 것만으로 특정 유해 지시에 대한 순응을 줄일 수 있는지 묻는다.

어떻게 동작하나

제안 방법은 학습 없는 가중치 편집이다. 대상 행동에 대해 같은 내용을 유지하면서 유해 행동을 요청하는 프롬프트 집합 F와 바람직한 대안을 요청하는 T를 쌍으로 만든다. 각 선형층에서 프롬프트별 입력 활성화의 채널 L2 노름을 평균해 nF, nT를 구하고, c_j = v nF_j - (1-v) nT_j, v=r/(1+r)로 채널 대비를 계산한다. c_j>0은 F에서의 평균 채널 활성화가 T의 1/r배보다 크다는 뜻이며, 거짓말 기본 설정 r=0.37은 F가 T보다 약 2.7배 이상 활성화된 채널을 고른다. 가중치는 s_ij=|W_ij| c_j로 점수화하고, 각 행렬에서 상위 ρ=4%를 이진 마스크 M으로 선택한 뒤 W' = W ⊙ (1+αM)로 재조정한다. α는 음수로 선택 가중치를 약화·삭제·부호 반전하며, 어텐션과 MLP 행렬만 편집하고 임베딩과 출력 헤드는 건드리지 않는다. 그래디언트나 라벨된 응답 없이 순전파만 쓰고, 편집이 가중치에 저장되므로 프롬프트에서 지시를 바꾸거나 지워도 수정이 되돌아가지 않는다. 거짓말에는 질문 25개 기반의 소설·명시적 거짓말·실수 프레임과 24개 참/거짓 문장(절반 부정) 기반 등 다섯 프롬프트 계열을 모델별 검증으로 고르고, 성차별에는 25개 성 관련 질문의 성차별 대 공정 응답 쌍으로 별도 마스크를 만든다.

무엇과 다른가

실험은 다섯 개 지시튜닝 모델(Llama-3.1-8B-Instruct, Phi-4-mini-instruct, Falcon3-3B-Instruct, OLMo-2-7B-Instruct, Qwen2.5-3B-Instruct)에서 한다. 거짓말 평가는 LIARS’ BENCH의 지시된 기만 분할(기만 537개, 정직성 통제 263개)과 AI Liar의 거짓말 지시 아래 일반상식 질문 1,012개를 쓴다. 지표는 정직 응답률이며, 편집 전 모델에 평범하게 물었을 때 틀린 문항은 제외한다. 비교 대상은 활성화 스티어링(차이-평균 벡터, 층 3개와 강도 5개), 정직 시스템 프롬프트 세 문구, 집합 차이 마스크, 편집 전 모델이다. 하이퍼파라미터는 검증 절반에서 WikiText-2 퍼플렉서티가 편집 전의 1.15배 미만이고, 정직성 통제 문항의 정직률 하락이 5%p 미만이며, 거짓말 지시 시 정직 응답률이 원래 참이라고 보는 문항과 거짓이라고 보는 문항 각각에서 편집 전 대비 5%p 넘게 떨어지지 않는 조건을 통과한 것 중 정직률이 가장 좋은 설정을 고른다. 채점은 키워드 파서와 GPT-5.6 판정자를 쓰고, 판정자 간 일치도는 κ=0.83이다.

어떻게 쓰나

거짓말 결과에서 제안 방법은 두 벤치마크 모두 다섯 모델 전부에서 평가된 방법 중 가장 높은 정직 응답률을 낸다. 세 샘플링 시드 평균으로 LIARS’ BENCH 84.9%, AI Liar 79.4%이며, 가장 강한 대안 대비 각각 6.2%p, 4.5%p 높다(초록에는 AI Liar 개선폭이 4.6%p로 적혀 있다). 모델별 리드는 LIARS’ BENCH에서 1.7~8.2%p, AI Liar에서 0.5~10.0%p이고, 5개 중 3개에서 유의하고 2개는 노이즈 범위다. Phi-4-mini가 가장 크게 개선돼 90.8%와 78.5%(각 +8.2, +10.0%p)를 기록한다. 집합 차이 마스크보다도 다섯 모델 모두에서 앞서며, 예를 들어 Phi-4-mini는 LIARS’ BENCH 90.8% 대 82.6%, AI Liar 78.5% 대 64.8%다. 절제 실험에서 양수 점수 가중치만 편집해도 전체 마스크와 같은 85.0%를 내고, 남은 예산을 채우는 거의 0인 가중치만 편집하면 65.1%로 편집 전 모델에 가깝다. 프롬프트 길이로 활성화 노름을 정규화해도 2%p 미만 차이이고, 다층 활성화 스티어링은 LIARS’ BENCH와 AI Liar에서 각각 평균 4.2%p, 5.3%p 뒤진다. 집합 차이 규칙과는 선택 가중치가 거의 겹치지 않고(Jaccard 최대 0.04), matched ablation에서 LIARS’ BENCH 정직률이 13.6%p 더 높다.

전제와 한계

성차별 지시에서는 별도 마스크가 다섯 모델 모두에서 단독 방법 중 가장 낮은 성차별 응답률을 낸다. 116개 홀드아웃 문항을 Qwen2.5-32B-Instruct로 분류했을 때, 모델 평균 성차별 응답률은 편집 전 57.9%에서 제안 방법 24.3%로 떨어진다. 공정·비성차별 답변을 요청하는 시스템 지시는 30.2%, 활성화 스티어링은 50.9%였다. 마스크와 공정 프롬프트를 결합하면 별도 튜닝 없이 평균 11.9%까지 추가로 낮아진다. 비용도 보고한다. 선택된 마스크는 퍼플렉서티를 편집 전의 1.04~1.14배로 올리고 MMLU 정확도를 0.5~5.4%p 떨어뜨리며, Llama와 Qwen 테스트셋에서는 무해한 스타일 따르기를 줄인다. 1.15배 퍼플렉서티 제한 안의 파레토 프런티어는 모든 모델에서 세 방법 중 가장 높고, Llama-3.1-8B에서는 비성차별 답변 82.5%로 활성화 스티어링 12.5%, 집합 차이 7.5%를 앞선다. 공정 프롬프트가 앞서는 경우는 편집 전 모델이 이미 성차별 답변의 80%를 피하는 Phi-4-mini(97.5% 대 95.0%)뿐이다.

프롬프트 형식 전이 연구는 1,302개 LLM 검증 상식 사실을 일곱 형식으로 표현해 네 모델에서 비교한다. 한 형식의 200개 쌍으로 개입을 만들고 다른 형식으로 평가할 때, 구성에 쓰지 않은 단일턴 평가 형식에서 제안 방법의 평균 정직 응답률은 95.8%로 CAA(대조 활성화 추가) 83.4%보다 높다. 모든 모델에서 정직하게 답하라는 편집 전 모델과 3.1%p 이내이고 퍼플렉서티 비율은 1.01~1.09배다. 구성 형식에 따른 민감도도 작아 단일턴 평균이 최대 4.1%p 변하는 데 비해 CAA는 Llama에서 29.5%p 변한다. 다만 다중턴 대화 전이는 모델별로 갈린다. Llama와 Qwen2.5-7B에서는 크게 개선되지만 Phi와 Falcon에서는 편집 전 모델보다 낮다. 검색 문서에 거짓말 지시를 넣은 전이 실험에서는 비교 대상보다 평균 7.2%p 높고(95% CI 5.3~9.1), 소설·실수 프레임으로 만든 마스크도 홀드아웃 거짓말을 각각 22.2%p, 18.3%p 줄여 명시적 거짓말 프레임의 13.5%p보다 효과가 있다. 반면 정당한 거짓 진술 요청에 대한 순응도 네 모델에서 8~29%p 줄이며, 주로 거부가 아니라 사실 교정으로 나타나 선택성 개선 여지가 있다. 편집을 반대로 키우면(α=+3) Llama-3.1-8B에서 퍼플렉서티 1.2배에서 거짓말이 약 12%p 늘고 중립 정확도가 7%p 줄지만, 모델에 거짓말하라고 요청하는 것보다 효과가 약해 유용한 기만 유도 수단은 아니라고 밝힌다.

저자들이 밝힌 한계는 분명하다. 실험은 지시된 거짓말과 지시된 성차별 두 행동에 한정되며 다른 행동 목표의 효과는 아직 평가되지 않았다. 지시된 거짓말 저항이 일반적인 부정직 감소를 뜻하지 않고, 유인 기반 거짓말은 건드리지 못하며 다중턴 결과는 혼재한다. 일부 편집은 정당한 소설 요청, 무해한 스타일 따르기, 일반 능력에 영향을 주고, 적대자가 배포된 가중치를 수정하거나 교체할 수 없다는 전제를 둔다. 성능은 구성 프롬프트와 검증으로 고른 설정에 의존하고, 방법별 탐색 예산이 다르며 프롬프트 계열 선택이 이득에 기여한다. 비교는 파인튜닝이 아닌 학습 없는 개입에 한정되고, 인간 평가 표본은 작으며 형식 전이 연구는 네 모델과 한 행동 목표만 다룬다. 개발자 입장에서는 컨텍스트를 통제할 수 없지만 체크포인트는 수정할 수 있을 때 유용하고, 적용 전 퍼플렉서티·유틸리티, 정직성 통제, 선택성, 다중턴·언어 전이를 검증한 뒤 프롬프트 기반 안전장치와 함께 쓰는 것이 논문이 지지하는 사용법이다.