MT Forcing이 자기 생성 이력에서 생기는 다중 턴 이미지 편집 드리프트를 줄인다

무엇인가

다중 턴 이미지 편집은 사용자가 소스 이미지에 대해 연속된 지시를 던지며 결과를 조금씩 다듬는 작업이다. 통합 멀티모달 모델(UMM)이 자기회귀 확산 방식으로 이미지를 생성·편집하면서 이 작업이 주목받고 있지만, 논문은 기존 방법들이 몇 턴만 지나도 눈에 띄는 드리프트를 보인다고 지적한다. 증상은 두 갈래다. 하나는 시각 품질의 불안정으로, 아티팩트가 누적되고 세밀한 텍스처와 국소 구조가 점점 망가진다. 다른 하나는 내용 불일치로, 편집을 요청하지 않은 영역이 의도치 않게 바뀌거나 이전 턴에서 확정된 편집이 유지되지 않는다. 저자들은 원인을 노출 편향(exposure bias)으로 본다. 학습 때는 정답 참조 이력에 조건화하지만, 추론 때는 모델이 스스로 만든 불완전한 이력에 재귀적으로 조건화해야 하기 때문이다.

어떻게 동작하나

첫 번째 구성 요소는 Single-Turn Distribution Matching Distillation(Single-Turn DMD)이다. 핵심 관찰은 두 가지다. 한 번의 편집 턴은 보통 제한적인 열화만 일으키고, 편집 모델은 여러 동작을 한 턴에 수행할 수 있다. 그래서 현재 턴까지의 모든 지시를 하나의 번들 프롬프트로 재구성한다. 예를 들어 '꽃병을 추가해' 다음의 '파란색으로 만들어'는 '파란 꽃병을 추가해'로 합쳐진다. 교사 모델은 소스 이미지와 이 번들 프롬프트만으로 누적 편집 의도를 단일 턴에 실행하고, 학생 모델은 자기 롤아웃 이력을 조건으로 각 턴을 생성한다. 매 턴마다 DMD 손실이 같은 누적 편집 의도에 대한 학생 롤아웃 출력 분포와 교사 단일 턴 출력 분포를 KL 발산으로 정렬한다. 실제 최적화는 동결된 교사와 온라인 fake 모델이 주는 스코어 차이를 생성 이미지로 역전파하는 방식으로 이뤄지며, 과거 KV 임베딩을 분리하고 현재 턴의 샘플링 스텝 하나에만 그래디언트를 흘려 비용을 줄인다. 교사는 학생보다 약한 조건(소스 이미지와 번들 프롬프트)을 받지만, 학생의 인과적 롤아웃이 유도하는 주변 분포를 통해 두 조건이 연결된다.

무엇과 다른가

그런데 DMD만으로는 부족하다고 저자들은 설명한다. 주변 분포 정합은 각 이력에 대한 응답을 유일하게 결정하지 않는다. 극단적으로 학생이 이전 생성 이미지를 무시하고 매 턴 교사로부터 독립적으로 샘플링해도 이상적인 DMD 손실은 0이 되지만, 턴 사이에 내용이 바뀔 수 있다. 그래서 Teacher-Forcing Guidance를 추가한다. 참조 궤적의 참조 이력과 현재 지시를 주고 정답 이미지를 플로우 매칭으로 지도하는 손실이며, 두 단계로 쓴다. 증류 전에는 참조 궤적에 대한 지도 미세조정으로 워밍업을 해 학생·교사·fake 모델을 모두 초기화하고, 증류 중에는 낮은 가중치의 정규화 항으로 남겨 이력 의존적 동작이 무너지지 않게 붙든다. 최종 목적식은 DMD 손실에 가중치 λ_TF를 곱한 교사 강제 손실을 더한 형태다.

어떻게 쓰나

실험은 SenseNova-U1과 SenseNova-U1.5 두 UMM을 베이스라인으로 삼아 MT Forcing을 적용한 경우와 아닌 경우를 비교한다. 벤치마크는 MTEdit-Bench의 스텝별 서브 벤치로, 100개 세션 각각이 소스 이미지 하나와 8개의 순차 편집 지시로 구성된다. 지표는 지시 이행(IF)과 내용 일관성(CC)을 Qwen3.5-Plus가 0~10으로 채점하고, 드리프트 견고성(DRS)은 VisualQuality-R1과 RALI 점수의 평균으로 0~5를 매긴다. 여기에 MatchAnything-RoMa로 연속 편집 출력 사이 대응점의 평균 이동 거리를 픽셀 단위로 재는 Pixel 지표를 새로 도입했다. 결과는 4턴 이후부터 네 지표 모두에서 베이스라인을 앞서고, 뒤로 갈수록 격차가 커진다. 8턴에서 IF와 CC는 SenseNova-U1에서 각각 7.45와 6.82, SenseNova-U1.5에서 4.65와 4.46 개선됐다. SenseNova-U1.5의 DRS는 세션 내내 4.20~4.35를 유지한 반면 베이스라인은 4.09에서 3.03으로 떨어졌고, 8턴 평균 Pixel은 6.34에서 0.74로 88.4% 줄었다.

전제와 한계

소거 실험은 두 요소가 상보적임을 보여준다. DMD만 쓰면 과장된 텍스처가 줄어 시각 품질은 좋아지지만 4턴과 8턴 사이 나뭇결 패턴이 달라지는 내용 불일치가 남는다. 교사 강제 지도만 쓰면 참조 이력에 대한 미세조정 덕은 보지만 자기 생성 이력에서의 노출 편향을 다루지 못해 8턴에서 거친 나뭇결과 과도한 대비가 남는다. 둘을 합친 전체 MT Forcing은 IF 9.66, CC 8.40, DRS 4.30, Pixel 0.74로 가장 좋은 수치를 냈다. 정규화 가중치 λ_TF는 1, 0.5, 0.25, 0.1을 비교했는데, 1과 0.5에서는 허스키 털이 뭉개져 개별 털을 구분하기 어려울 만큼 블러가 생겼고 0.25나 0.1에서 털 디테일과 윤곽이 살아났다.

개발자 입장에서 이 논문의 실무적 요점은 다중 턴 편집 파이프라인을 만들 때 학습 조건과 추론 조건의 불일치를 반드시 별도로 다뤄야 한다는 것이다. 단일 턴 품질만 좋은 모델을 재귀적으로 호출하면 턴이 쌓일수록 이력이 오염되고, 반대로 참조 이력에 대한 지도학습만 강화하면 실제 추론 분포에서 품질이 무너진다. 롤아웃 분포 정합과 참조 궤적 정규화를 함께 걸고, 정규화 강도를 튜닝하는 것이 논문이 제시하는 처방이다. 다만 λ_TF가 크면 일관성 대신 선명도를 잃는다는 트레이드오프가 수치가 아니라 정성적으로만 제시돼 있어, 자체 도메인에서는 별도 스윕이 필요하다.

저자들이 밝힌 전제와 한계도 분명하다. 다중 턴 편집 궤적 전체를 한 번에 생성할 수 있는 양방향(bidirectional) UMM 교사가 존재하지 않기 때문에, 이 방법은 단일 턴 교사로 각 턴을 지도하는 우회를 택한다. 그 결과 교사는 학생보다 약한 조건을 받고, 번들 프롬프트로의 재구성 매핑은 역방향이 성립하지 않는다. 또한 교사 강제 정규화는 참조 궤적 분포에 의존하므로 참조 데이터의 품질이 일관성 상한을 좌우한다. 논문이 제시한 범위는 8턴 세션까지이며, 그보다 긴 세션에서 드리프트가 어떻게 누적되는지는 원문에 수치가 제시되지 않았다.