이미지가 텍스트로 되먹임되는 오류를 억제해 확산 모델 정렬을 높인다

무엇인가

이 논문은 MMDiT(Multimodal Diffusion Transformer) 계열 생성 모델 내부에서 이미지가 다시 텍스트 표현을 갱신하는 경로, 즉 image-to-text(I2T) 되먹임이 프롬프트 이탈을 교정하는지 아니면 그대로 굳히는지를 다룬다. Stable Diffusion 3/3.5, FLUX, Qwen-Image, HunyuanVideo 같은 모델은 이미지와 텍스트 잔차 스트림을 유지하며 결합 어텐션(joint attention)으로 두 스트림이 서로를 읽는다. 텍스트 쿼리가 이미지 키·값을 읽어 만든 I2T 메시지 B_i→t가 텍스트 스트림에 기록되고, 이후 블록이 그 갱신된 텍스트로 이미지를 조건화하는 T2I 메시지 B_t→i를 만든다. "사과와 오렌지" 프롬프트에서 사과만 그려진 이미지는 그 불완전한 장면을 텍스트 스트림에 다시 써넣을 수 있고, 저자들은 이 되먹임이 오류를 교정하기보다 보존한다는 쪽을 실험으로 확인한다.

어떻게 동작하나

분석은 400개의 동일 프롬프트 성공/실패 쌍(SD3.5M 또는 FLUX, 시드만 다름, GenEval correct 또는 T2I-CompBench 0.75 이상을 성공, 0.45 이하를 실패로 라벨링, 중간 사례 제외)에서 메시지 이식을 수행한다. 성공 궤적의 I2T 메시지를 단계·블록별로 캐시해 실패 궤적에 (1-λ)B^F + λB^S로 섞으면 실패가 구제(rescue)되고, 반대로 성공 궤적에 실패 메시지를 넣으면 성공이 깨진다. 놈을 맞춘 무작위 메시지는 결과를 거의 바꾸지 않는다. 방향 분석에서는 I2T 메시지에 곱하는 계수 α에 대한 예측 속도 미분 J_t를 구해, I2T를 줄이는 방향(-J_t)이 성공 메시지 이식이 만드는 변화와 무작위 대조군보다 더 정렬된다는 양의 코사인 갭을 두 모델의 모든 시간 구간에서 확인한다. 타이밍은 40스텝 중 1~8스텝 이식이 전체 스케줄 구제의 약 2/3를 회복하고, 늦은 이식은 결과를 거의 바꾸지 않는다.

무엇과 다른가

방법으로 제안하는 SFG는 I2T 되먹임을 강화하고 T2I 조건화를 약화시킨 보조 브랜치를 만들어 그 반대 방향으로 외삽한다. u가 음수일 때 O_t^pert = A_{t→t}V_t + (1-u)B_{i→t}, O_i^pert = A_{i→i}V_i + (1-|u|)B_{t→i}로 두 메시지를 같은 크기로 조절하고, v̂ = v_clean + ω(v_clean - v_pert) + (s-1)[v_clean - v_θ(x_t,t,∅)]로 샘플링한다. 첫 항이 I2T 억제(SFG-X), 둘째가 T2I 강화(SFG-S)다. PAG나 SEG처럼 블러·어텐션 교란으로 모델을 훼손해 부정 브랜치를 만드는 대신, 원래 존재하는 경로를 강화해 그로부터 멀어지는 것이 특징이다. iSFG는 별도 브랜치 없이 조건부 순전파 안에서 직접 O_t = A_{t→t}V_t + (1+γ)B_{i→t} (γ<0), O_i = A_{i→i}V_i + (1+γ_S)B_{t→i} (γ_S>0)로 스케일하므로 추가 모델 평가가 0이다. SFG는 이미지 샘플링 스텝의 처음 20%에서만 보조 브랜치를 돌려 CFG 없이 약 1.2배, CFG와 함께 2.2배의 NFE를 쓴다.

어떻게 쓰나

이미지 생성 결과는 다음과 같다. CFG 없이(cfg=1) SD3M은 GenEval 0.3294에서 0.5811, T2I-CompBench++ 0.3230에서 0.4760으로, FLUX는 0.3604에서 0.6853, 0.3254에서 0.4727로 오른다. SD3M COCO FID는 41.76에서 24.21로 내려가 경쟁 최고 26.00과 CFG(s=7.5)의 32.49보다 낮다. CFG 위에 얹으면 SD3.5M GenEval 0.6890에서 0.7110, FLUX 0.6661에서 0.7479(카운팅 0.6458→0.8167, 위치 0.1850→0.3033)이고 HPSv2.1은 각각 +0.85, +0.70이다. PAG·SEG·S2-Guidance는 두 백본 모두 CFG보다 전체 GenEval을 올리지 못했고, T2I만 강화하는 TACA는 SD3.5M에서 0.6960에 그친다. iSFG는 추가 NFE 없이 SD3.5M 0.6890에서 0.7047, FLUX 0.6661에서 0.6868, HPSv2.1 +1.33/+0.32, ImageReward +0.0748/+0.0532를 기록한다. SD3.5M에서는 SFG보다 GenEval 이득이 작지만 선호도 점수는 더 높다(32.98 대 32.50 HPSv2.1, 1.1850 대 1.1587 ImageReward).

전제와 한계

비디오 전이와 절제 실험도 같은 방향을 보인다. HunyuanVideo에서 텍스트→비디오 VBench 7개 차원 합계는 84.25로 베이스 82.58, S2-Guidance(+0.38)보다 큰 +1.67을 낸다. 주체 일관성 93.71, 화질 66.61(CFG 최대 93.08/64.94), 시간적 플리커 98.18, 모션 스무스니스 99.36으로 베이스 수준을 유지하고 심미성은 50.88에서 56.00으로 오른다. 25스텝 중 7스텝만 켜면 32회 브랜치 예측으로 전체 CFG 50회, CFG 14스텝 39회보다 적다. 이미지→비디오는 90.04로 CFG 89.43, 베이스 88.50을 앞서고 9개 항목 중 8개에서 1위이며 동적 정도는 66.67에서 70.44로 오른다. 절제에서 |u|가 0.20·0.25·0.30·0.40, ω가 1·3·5인 12개 억제 설정이 모두 베이스 GenEval 0.3481을 개선하고, 부호를 뒤집은 12개 설정은 모두 떨어뜨린다. SFG-X 단독이 모든 베이스라인을 앞서고 SFG-X와 SFG-S 조합이 최고(SD3M 0.5621→0.5811, FLUX 0.6277→0.6853)다. 반면 가이던스 창을 늘리면 오히려 나빠진다(FLUX 1~6스텝 0.7479 대 전체 28스텝 0.7441).

개발자 관점에서 이 논문이 주는 실무적 시사점은 명확하다. 이미 MMDiT 기반 파이프라인을 쓰고 있다면 iSFG가 매력적인데, 어텐션의 softmax와 값 집계 뒤, 출력 투영 전에 메시지 스케일만 바꾸는 개입이라 가중치를 건드리지 않고 추가 모델 평가도 없으며 CFG와 거의 직교해 함께 쓸 수 있다. 적용할 때 확인할 것은 세 가지다. 첫째, 스텝 창이다. 이미지 벤치마크는 처음 20%, 텍스트→비디오는 25스텝 중 7스텝이 최적으로, 태스크별 튜닝이 필요하다. 둘째, 부호와 범위다. T2I 감쇠는 |u|가 1 이하여야 하고 더 크면 메시지 부호가 뒤집힌다. 셋째, 지표별 트레이드오프다. iSFG는 GenEval 이득이 SFG보다 작고, 이미지→비디오의 동적 정도는 베이스 모델과 S2-Guidance보다 낮다. 참고로 평가 규모는 GenEval 비교가 553개 프롬프트에 6시드씩 총 3,318장, 선호도 지표가 800개 프롬프트에 4스타일·4시드로 총 3,200장이다.

저자들이 본문에서 밝힌 전제와 한계는 이렇다. SFG는 보조 브랜치 때문에 CFG 없이 약 1.2배, CFG와 함께 2.2배의 NFE가 들고, 유용한 가이던스 창이 태스크마다 다르며 전체 궤적에 적용하면 품질이 떨어지면서 연산만 늘어난다. 성공/실패 라벨은 GenEval correct와 T2I-CompBench 임계값(0.75 이상/0.45 이하)으로 만들어졌고 중간 사례를 제외했으므로 분석 결과는 이 라벨 정의에 의존한다. 또한 SFG-S 단독은 GenEval에서 PAG·SEG에 뒤지고, 이미지→비디오의 동적 정도는 베이스 모델보다 낮다. 제공된 본문에는 별도의 Limitations 절이 없어, 위 내용은 본문 중간에 명시된 조건과 관찰된 트레이드오프를 정리한 것이다.