MARS는 텍스트 거부 방향만으로 멀티모달 LLM 안전성을 높인다

무엇인가

이 논문은 멀티모달 대형 언어모델(MLLM)의 안전성을 멀티모달 위험 데이터 없이 높일 수 있는지를 다룬다. 기존 안전 정렬은 위험한 이미지·영상·텍스트 쌍을 후처리 학습이나 활성값 조향에 쓰지만, 이런 데이터는 모달리티마다 새로 모아야 하고 수집·배포에 윤리·법적 부담이 크다. MLLM은 대개 LLM 백본의 안전성을 물려받고 멀티모달 안전 학습은 거의 받지 않아, 시각적 복잡성이 안전 보장을 약화시킨다는 문제의식에서 출발한다. 저자들은 LLM 백본에서 텍스트만으로 추출한 거부 방향이 이미지와 영상에도 전이되는지 확인하고, 이를 추론 시점 조향으로 활용하는 방법을 제안한다.

어떻게 동작하나

거부 방향은 각 트랜스포머 층의 <assistant> 토큰 위치 활성값에서 거부 응답 평균과 수용 응답 평균의 차이로 계산하고 단위 벡터로 정규화한다. 기본 조향은 활성값을 거부 방향에 투영한 성분을 α배로 더하는 방식이다. ViSU의 안전·위험 이미지 캡셔닝으로 Qwen3-VL 8B, Gemma3 4B, InternVL 3.5 8B를 실험한 결과, 대부분 층에서 위험 입력이 안전 입력보다 더 거부되어 텍스트 거부 방향의 전이 가능성은 확인됐다. 그러나 효과는 층과 강도에 크게 좌우됐다. 위험 거부가 Gemma3 31층, Qwen3-VL 16층, InternVL 3.5 19층에서 최고점을 보였지만 같은 층이 안전 입력을 과잉 거부하기도 했고, Gemma3 10층은 안전 쿼리의 96.4%를 거부했다. α를 3.0까지 올리면 위험 거부는 늘지만 안전 입력 과잉 거부와 유틸리티 저하가 커졌다.

무엇과 다른가

실패의 더 깊은 원인은 모달리티 정렬 어긋남이다. 원래 활성 공간에서는 안전 이미지와 위험 이미지 모두 거부 방향에 강하게 투영되어, 안전성과 무관한 시각적 성분이 <assistant> 토큰을 지배한다. 저자들은 무작위 색상 이미지로 중립 평균을 추정해 활성값을 중심화하면 이 지배 성분이 제거되고, 위험 이미지는 거부 쪽으로 안전 이미지는 수용 쪽으로 더 잘 분리된다고 보고한다. 이 중심화는 멀티모달 안전 데이터 없이 수행되며, 이후 MARS의 전제가 된다.

어떻게 쓰나

MARS는 중심화된 활성값 h_c에서 거부 방향 성분을 ReLU로 한쪽만 통과시켜 s=ReLU(<h_c,d>)d를 만든다. 거부 방향과 반대인 활성값은 업데이트가 0이 되어 안전 입력의 원래 동작을 보존한다. 조향 강도는 수용·거부 텍스트 중심까지의 최소 거리 r을 신뢰 영역으로 삼아 α=r/(||s||+ε)로 정한다. 최종 활성값은 h+αs이며, 모든 토큰 위치에 적용하되 디코딩에서는 첫 생성 토큰만 조향한다. 층 선택은 멀티모달 데이터 없이 텍스트 검증셋만으로 세 점수를 계산한다. 학습·검증 거부 방향의 코사인 유사도인 방향 일관성, 최근접 중심 분류 정확도인 문맥 분리도, 안전 텍스트 마진을 층별로 정규화해 합산하고 최댓값 층을 고른다. 추가 학습이나 추가 순전파 없이 동작한다.

전제와 한계

실험은 Qwen3-VL 8B, Qwen3.5 9B, InternVL 3.5 8B, Gemma3 4B, Molmo2 8B 등 다섯 MLLM에서 ViSU, HADES, SIUO, HoliSafe, MMMU, MMMUPro, VideoSafetyBench로 진행됐다. 거부 방향은 MaliciousInstruct와 Alpaca에서 추출하고, 층 선택 검증에는 HarmBench 100개 샘플을 클래스별로 썼다. ViSU에서 제로샷 위험 거부율은 Molmo2 0.2%에서 Qwen3.5 22.9%로 낮았다. MARS는 Gemma3 +25.1%에서 Molmo2 +67.9%까지 거부율을 올리면서 과잉 거부를 통제했고, 모든 모델에서 AutoSteer보다 거부율이 높았다. SASA와 비교하면 Molmo2에서 거부 +3.9%·과잉 거부 -7.9%, Qwen3-VL에서 거부 +58.4%·과잉 거부 -0.3%, InternVL 3.5에서 거부 +10.2%였다. HADES에서는 Molmo2 +78.6%까지 회복했고, SIUO·HoliSafe의 교차모달 안전에서도 Molmo2 SIUO +58%를 포함해 학습 없는 기준선을 앞섰으며 일부 학습 기반 방법과 경쟁했다.

유틸리티는 MMMU와 MMMUPro에서 Gemma3, Molmo2, InternVL 3.5, Qwen3-VL에서 대체로 보존됐고, Qwen3.5는 약간의 과잉 거부가 있었지만 SASA보다 통제됐다. SASA는 InternVL 3.5에서 -10%, Qwen3.5에서 -20% 유틸리티 저하를 냈다. 절제 실험에서 층 선택을 빼면 InternVL 3.5 유틸리티 -18.5%, Gemma3 -9.2%가 났고 Molmo2·Gemma3의 위험 거부가 거의 0%로 무너졌다. 중심화를 빼면 Molmo2 안전 입력 과잉 거부가 99.2%까지 치솟았고, ReLU 게이팅을 빼면 안전 활성값까지 조향되어 유틸리티가 나빠졌다. VideoSafetyBench에서 제로샷 거부율은 InternVL 3.5 4.7%에서 Molmo2·Qwen3-VL 28.8%였고, MARS는 Qwen3-VL +59.4%, Qwen3.5 +52%, Molmo2 +39%로 학습 없는 방법 중 최고였으며 Qwen3-VL에서는 SASA보다 +47.9% 높았다. InternVL 3.5는 절대 개선폭이 작았지만 상대적으로 2.5배였다.

개발자 관점에서 MARS는 위험 멀티모달 데이터를 모으기 어렵거나 배포할 수 없을 때, 이미지·영상 입력에 추론 시점 안전 계층을 얹는 경량 대안이 된다. 다만 모델별로 거부 신호가 백본에 존재하는지, 선택된 층이 실제 서비스 입력에서 안전과 유틸리티를 함께 보존하는지, 안전 입력 과잉 거부가 허용 범위인지 반드시 확인해야 한다. 저자들이 밝힌 한계도 분명하다. 거부 방향이 약하거나 없는 백본에서는 성능이 떨어질 수 있고(LLaVA 1.5 13B로 약한 정렬 robustness를 부록에서 시험), 중심화가 모달리티 어긋남을 선형적으로 제거한다는 가정은 비선형 활성 공간에서 항상 성립하지 않을 수 있으며, MARS 이후에도 안전 입력에 대한 잔여 과잉 거부가 남는다.