통합 멀티모달 모델의 개념 삭제는 생성과 이해를 함께 다뤄야 한다

무엇인가

통합 멀티모달 모델(UMM)은 텍스트에서 이미지를 만들고, 동시에 이미지를 읽고 답한다. BAGEL-7B-MoT나 Janus-Pro-7B처럼 하나의 체크포인트가 두 일을 모두 처리한다. 문제는 개념 삭제다. 기존 연구는 확산 모델의 생성 억제나 언어·멀티모달 이해 모델의 사실 지식 삭제처럼 한쪽 경로만 다뤘다. 저자들이 던진 질문은 명확하다. 파라미터를 공유한다고 해서 망각도 공유되는가. 결론은 아니다. 실험에서 생성 측 편집기는 목표 개념 생성을 강하게 눌렀지만 시각 이해에서는 거의 잊지 못했고, 이해 측 베이스라인은 자기 경로에서조차 뚜렷한 망각을 만들지 못했다.

어떻게 동작하나

이를 체계적으로 재기 위해 UUBench를 만들었다. 인물·랜드마크·일반 객체 각 10개씩 총 30개의 목표 개념을 두고, 각 목표마다 같은 범주에서 시각적·기능적으로 인접한 이웃 개념 2개를 짝지어 60개를 붙였다. 총 90개 개념, 개념당 8장씩 720장의 참조 이미지를 쓰되 3장은 이해 측 편집 보정에, 5장은 평가용으로 홀드아웃했다. 편집과 평가는 프롬프트 템플릿 군을 완전히 분리해 템플릿 암기를 막는다. 평가는 짝지어진 생성-이해 레코드에 대해 정의된다. 생성의 목표 망각(TF·SF)과 이해의 목표 망각(DF·VF)을 각각 재고, 같은 레코드에서 TF와 DF를 동시에 만족하는 비율을 Unified Forget, SF·DF·VF·유용성까지 요구하는 것을 Unified Strict Forget이라 부른다. 이웃 개념 보존(NR·SR·NU)과 일반 성능(GenEval, DPG-Bench, MMBench, MME)도 함께 잰다.

무엇과 다른가

제안 방법 UniForget은 두 경로를 한 체크포인트 안에서 조율한다. 먼저 생성 경로를 닫힌 형태의 회귀(ridge 항 포함)로 편집한다. 목표 프롬프트 입력 K_e에 대해 목표 이름을 범주 일반 표현으로 바꾼 앵커 프롬프트의 평균 출력 V_e를 목표로 삼고, 보존 프롬프트 K_p의 원래 출력 V_p는 그대로 유지하도록 가중치를 푼다. 그다음 백본을 얼리고 LoRA를 이해 경로에 붙여 여섯 개 손실로 학습한다. 신원 질의를 범주 일반 앵커로 돌리는 항, 이름 없이 상세한 묘사를 유도하는 시각 유용성 항, 이름이 새는 답보다 정보량 있는 답을 선호하는 순위 항, 이웃 개념 인식을 유지하는 항, 마스크드 KL, 붕괴 방지 마진이다. 마지막으로 LoRA 업데이트를 ρ 비율만큼 생성 편집 체크포인트에 더해 합친다. ρ=0이면 생성만 편집한 상태, ρ=1이면 LoRA 전체 병합이다.

어떻게 쓰나

핵심 수치는 다음과 같다. 생성 측 TIME은 BAGEL-7B-MoT에서 TF 100.0%, Janus-Pro-7B에서 96.7%를 찍었지만 DF는 각각 24.0%, 30.7%에 그쳤다. 이해 측 GD·KL은 두 백본 모두 TF 0.0%로 생성 억제 효과가 아예 없었다. 가장 강한 조합인 TIME+GD는 Unified Forget 31.3%(BAGEL), 41.3%(Janus)였다. UniForget은 80.0%와 92.7%로 이를 크게 앞서고, 두 백본 모두 TF 100.0%를 유지한다. 유용성까지 요구하는 Unified Strict Forget도 각각 18.9%p, 27.0%p 개선됐다. 다만 절대값은 47.6%(BAGEL), 58.0%(Janus)로, 엄격 기준에서는 아직 절반 수준이다. 이웃 개념 보존은 BAGEL이 SR 84.6%로 Janus의 73.2%보다 나았고, Janus는 결합 망각 지표에서 우세했다.

전제와 한계

추가 분석은 트레이드오프를 드러낸다. BAGEL에서 ρ를 0.4에서 0.6으로 올리면 DF는 80.0%에서 93.3%로 오르지만 TU는 72.2%에서 55.6%로 떨어진다. Janus도 ρ를 1.0에서 1.2로 올리면 DF는 92.7%에서 93.3%로 거의 그대로인데 TU는 75.6%에서 55.0%로 무너진다. 개념 수를 1개에서 30개로 늘리면 생성 측 편집은 TF 100.0%를 유지하지만, N=30에서 이웃 보존 NR이 BAGEL 81.5%, Janus 41.8%로 줄고 GenEval은 39.2%, 32.7%까지 내려간다. 이해 측은 DF가 80.0%에서 51.2%, 92.7%에서 37.1%로 급감하는 대신 MMBench는 거의 유지된다. 일반 성능도 공짜가 아니다. GenEval은 72.7%에서 63.4%, 78.9%에서 70.1%로, DPG-Bench는 83.4%에서 79.9%, 83.1%에서 74.2%로 하락해 생성 능력이 더 취약하다는 비대칭이 보인다. 프롬프트 재서술·이름 반복·지시 무시 같은 공격에는 생성 TF 100.0%, SF 최소 86.7%로 견고했지만, 이해 측은 프롬프트 공격에 모델별 편차가 컸다(이름 노출 시 BAGEL 61.7%, Janus 97.5%).

개발자 관점에서 이 논문이 주는 실무적 교훈은 세 가지다. 첫째, 생성 억제만 걸고 끝내면 같은 모델이 이미지에서 그 대상을 여전히 식별해 이름을 말할 수 있다. 삭제 기능을 붙일 때는 생성 프롬프트와 이미지 질의응답을 반드시 짝지어 회귀 테스트해야 한다. 둘째, 삭제는 거부(refusal)로 위장되기 쉽다. 저자들은 목표를 모른 채 답하는 것이 아니라 범주 수준의 정확한 묘사를 유지해야 한다고 정의하고, 붕괴 응답률을 별도 지표로 뒀다. 응답이 무의미해진 것을 성공으로 오독하지 않으려면 이 구분이 필요하다. 셋째, 개념을 여러 개 묶어 지울수록 이웃 개념과 일반 생성 품질이 함께 깎인다. 대량 삭제를 계획한다면 N=30 규모의 확장 곡선을 자기 도메인에서 먼저 측정해야 한다.

저자들이 밝힌 한계는 분명하다. 실험은 7B급 UMM 두 개와 목표 개념 30개에 한정되어 더 큰 모델과 넓은 도메인으로의 일반화는 미검증이다. 이미지 품질과 시각 유용성은 자동 지표와 LLM 판정으로 쟀기 때문에 사람의 판단과 어긋날 수 있다. 또한 평가는 표준 프롬프트에서의 행동적 망각에 초점을 두며, 모델 가중치에서 정보가 인증된 방식으로 삭제되었음을 보장하는 수준은 아니다.