ModRoute는 VLM 언러닝에서 시각 압력이 큰 예제만 텍스트로 전환해 성능을 높인다

무엇인가

이 논문은 VLM 언러닝을 손실 함수 설계만의 문제로 보는 관행에 반박하고, 최적화 전에 각 망각 예제를 어떤 모달리티로 표현할지를 데이터 수준 설계 변수로 다룬다. 기존 방법은 이미지 때문에 발생한 실패를 계속 이미지-텍스트 형태로 학습하는데, 저자들은 실패가 이미지와 함께 나타났다는 이유만으로 픽셀 경로를 강하게 업데이트하면 시각 경로를 불필요하게 흔들어 비용과 정상 멀티모달 능력 저하를 키울 수 있다고 본다. 많은 VLM 실패가 결국 언어로 표현되는 안전 지시 위반, 거절 실패, 개인정보·오해 유발 주장이므로, 망각 신호를 언어로 전달하는 경로가 더 직접적일 수 있다는 문제의식이다.

어떻게 동작하나

방법의 출발점은 같은 예제를 이미지 전용, 텍스트 전용, 멀티모달의 세 가지 정렬된 표현으로 바꾸는 것이다. 이미지 전용은 일반 프롬프트와 이미지를, 텍스트 전용은 캡션·OCR·이미지 설명 c_i와 원래 질문을, 멀티모달은 원본 이미지-질문 쌍을 쓴다. 망각 집합은 나쁜 완성 y-를, 유지 집합은 바람직한 완성 y+를 담고, 목표는 NPO 스타일 망각 손실과 유지 정규화를 합친 L_total로 원본 모델 θ0에서 업데이트된 θ'를 얻는 것이다. 예제별 모달리티 예산을 정해 이미지·텍스트·멀티모달을 섞을 수 있게 한 점이 통제 비교의 핵심이다.

무엇과 다른가

모달리티 혼합 실험에서는 텍스트가 포함된 쪽이 이미지 전용이나 완전 멀티모달보다 망각을 더 잘 끌어올렸다. VLGuard에서는 높은 Unsafe R/I가 텍스트-멀티모달 변에 몰렸고 이미지 전용 모서리는 약했다. COVID memes도 같은 경향이었지만 최강 설정은 순수 텍스트 전용이 아니라 일부 멀티모달 성분을 남긴 혼합이었다. VLGuard 표에서 500개 멀티모달+1000개 텍스트는 Unsafe R/I 0.975로 망각이 가장 강했지만 유지가 약했고, 500+500 설정은 safe R/I 0.168, safe similarity 0.649로 유지 균형이 좋았지만 망각은 약했다. 순수 양 끝점보다 텍스트 포함 혼합이 낫다는 관찰이 예제별 전환 규칙의 동기가 된다.

어떻게 쓰나

ModRoute는 모든 예제를 텍스트로 바꾸지 않고, 시각 경로에 큰 압력을 주는 예제만 텍스트 전용으로 라우팅한다. 망각·유지 집합에 같은 전환 비율 γ를 적용해 모달리티 예산을 맞추고, 매 업데이트 단계 t에서 전체 집합이 아니라 적응적 후보 풀 C_f,t, C_r,t 안에서 결정을 다시 계산한다. 각 예제의 정규화된 이미지 텐서 v_i에 대한 망각 손실의 평균 절대 편미분, 즉 이미지 그라디언트 민감도 G_f,i를 구하고, 유지 예제도 유지 손실로 같은 점수를 만든다. 점수가 큰 예제, 즉 멀티모달 최적화가 이미지 쪽을 크게 흔들 예제를 상위 floor(γ|C|)개만 텍스트로 전환하고 나머지는 멀티모달로 남긴다.

전제와 한계

실험은 LLaVA-1.5-7B와 InternVL3-8B에서 VLGuard와 COVID memes로 진행됐다. VLGuard의 LLaVA-1.5-7B에서 γ=0.5일 때 ModRoute는 Unsafe R/I 0.976, 복합 점수 0.847을 기록했다. 이는 순수 멀티모달의 0.460/0.524와 전체 텍스트 전환의 0.463/0.575를 크게 앞서고, 최고 랜덤 전환 점수 0.826(γ=0.75)보다 2.5% 높다. 같은 γ=0.5의 랜덤 전환은 0.581에 그쳤다. γ=1로 모두 텍스트로 바꾸면 0.463/0.575로 떨어져, 전환량이 많을수록 좋아지는 것은 아니다. 라우팅 기준 소거 실험에서도 γ=0.5에 ModRoute 0.847, 저그라디언트 0.664, 저ℓ2 0.638, 고ℓ2 0.715로 예제 선택 자체가 중요했다. COVID memes에서는 최적 γ가 0.25였고, LLaVA-1.5-7B에서 랜덤 전환 대비 49.6%, InternVL3-8B에서 72.5% 성능 점수 개선을 보였다.

개발자에게 이 논문은 VLM 안전 정렬·언러닝 파이프라인에서 손실 함수만 바꾸는 것으로 충분하지 않다는 신호다. 망각 데이터를 원본 이미지-텍스트로 고정하지 말고, 캡션·OCR·설명으로 텍스트 표현을 만들어 이미지 그라디언트 민감도를 로깅하고, 상위 γ 비율만 텍스트로 학습하는 라우터를 전처리 단계로 붙일 수 있다. 다만 γ는 데이터셋과 모델에 따라 달라졌고, 텍스트 표현이 망각에 필요한 증거를 보존해야 하며, 안전 예제의 잘못된 거절과 정상 멀티모달 성능을 함께 평가해야 한다. 그라디언트 점수 계산 비용은 후보 풀을 제한해 줄이는 설계다.

저자들이 밝힌 한계는 분명하다. 이 방법은 안전 지시, 개인정보, 오해 유발 주장처럼 언어로 표현 가능한 망각 대상에 가장 직접 적용된다. 얼굴 정체성, 객체 범주, 스타일, 저작권 있는 시각 콘텐츠, 세밀한 속성처럼 시각적 근거에 더 의존하는 대상은 더 강한 멀티모달 감독과 시각·텍스트·결합 신호를 구분하는 라우팅 기준이 필요하다. 또한 전환의 품질이 캡션·OCR·설명의 품질에 의존하므로, 망각에 필요한 증거를 잃지 않으면서 유지에 필요한 그라운딩을 보존하는 더 신뢰할 수 있는 텍스트화와 학습형·연속형 라우팅 정책이 후속 과제로 남는다.