InstantFusion이 이종 이미지 생성기 사이에 공유 잠재 인터페이스를 놓는다

무엇인가

이 논문이 다루는 문제는 이미지 생성 모델들이 사실상 고립된 시스템으로 배포된다는 점이다. SD3, FLUX.1, Qwen-Image, Z-Image 같은 최신 생성기는 잠재 표현, 조건화 방식, 네트워크 구조, 파라미터 규모, 학습·증류 레시피가 모두 다르다. 그런데도 이들이 궁극적으로는 텍스트 조건 아래 노이즈를 비슷한 자연 이미지 분포로 매핑한다는 공통점이 있다. 저자들은 여기서 두 가지 관찰을 내놓는다. 첫째, 잠재 차원과 토큰화가 달라도 중간 상태의 공간적 조직이 서로 유사하다. 둘째, 학습된 정렬 없이 한 모델의 중간 디노이징 상태를 다른 모델에 그대로 넘기면 국소적 아티팩트가 생기지만 주요 피사체와 대략적 공간 배치는 유지된다. 기존 연구는 모델 쌍마다 전용 매핑을 만들거나, 참여 모델이 같은 잠재 공간을 쓴다고 가정한 궤적 이어붙이기에 머물러 있었다.

어떻게 동작하나

제안 방법의 핵심은 각 생성기에 모델별 Latent AutoEncoder(LAE)를 붙여, 중간 상태를 공유 표현으로 투영하고 목표 생성기의 잠재 공간으로 복원하는 것이다. LAE는 시간 조건화된 인코더와 디코더로 구성되며, 생성기 본체는 모두 동결한 채 LAE만 학습한다. 학습 목표는 네 항의 합이다. 재구성 손실은 공유 표현이 원래 잠재 정보를 보존하게 하고, 정렬 손실은 같은 이미지·같은 노이즈 레벨에서 나온 서로 다른 모델의 공유 코드 사이 L2 거리를 줄인다. 정렬 손실만 최소화하면 입력과 무관한 자명해로 붕괴하므로 재구성 손실이 이를 막는다. 여기에 표현 크기를 맞추는 노름 일관성 정규화와, 공유 공간에서의 한 스텝 디노이징 변위를 일치시키는 동역학 정렬 손실이 더해진다. 저자들은 상태를 정렬해도 변위는 여전히 분리되어 있다는 UMAP·코사인 유사도 분석을 근거로 동역학 정렬을 별도로 넣었다.

무엇과 다른가

추론 시에는 전환 시점을 수동으로 고르지 않고 온라인으로 결정한다. 보내는 모델이 연속 두 스텝에서 예측한 클린 잠재 상태의 상대적 차이를 안정성 지표로 삼아, 임계값을 처음 넘는 스텝에서 수신 모델로 넘긴다. 궤적 초반에 넘기면 보내는 모델이 아직 안정적 의미 구조를 만들지 못해 비효율적이기 때문이다. 전환은 잠재 상태를 번역할 뿐 디노이저를 추가로 호출하지 않으므로 이론적인 NFE 증가가 없다고 저자들은 밝힌다.

어떻게 쓰나

실험은 SD3, Z-Image, FLUX.1, Qwen-Image 네 생성기에서 수행했고, VisPrompt 데이터셋의 이미지-텍스트 쌍 5만 개로 LAE만 학습했다. LAE는 공유 채널 32, 은닉 채널 64, 128차원 시그마 임베딩을 쓰고 학습률 1e-4, 손실 가중치는 재구성 1.0, 정렬 1.0, 동역학 0.1, 노름 정규화 1e-4다. 재구성 품질은 단일 왕복에서 PSNR 31dB 초과, SSIM 0.94 초과를 기록했고 왕복 횟수가 늘면 성능이 떨어진다. 모델 간 전달에서는 Qwen-Image의 안내가 SD3와 FLUX.1의 GenEval-v2를 각각 12.92점, 13.68점 올려 절대 점수 35.06과 36.54에 도달했고, CVTG-2K는 0.2806과 0.1803, OneIG-Bench 평균은 0.0619와 0.0591 개선됐다.

전제와 한계

응용 결과도 구체적이다. Qwen-Image를 Z-Image-Turbo나 FLUX.2-Klein과 짝지으면 추론 시간이 18.84초에서 4.373초, 2.545초로 줄면서 GenEval-v2 33.34와 27.19, OneIG-Bench 평균 0.5386과 0.5467을 유지했고, T-Stitch에서 나타난 품질 붕괴는 없었다. 기존 가속 기법과도 겹쳐 쓸 수 있어 DiCache를 적용하면 지연이 10.64초에서 5.70초로 줄고 GenEval-v2는 32.70에서 32.46으로만 변했다. Qwen-Image를 교사로 SD3를 학생으로 삼은 아키텍처 간 on-policy 증류에서는 HPSv2가 26.27에서 26.46으로 올랐다. GenEval-v2 전문가와 HPSv2 전문가를 합성한 다중 선호 조합에서는 30.97과 30.68을 기록해 속도 융합을 앞섰고, 공동 학습된 다중 보상 GRPO에 근접했다. SD3, FLUX.1, Qwen-Image의 세 단계 파이프라인에서 여섯 가지 순열을 모두 시험한 결과 생성 품질은 실행 순서와 무관하게 일관됐다.

절제 실험은 각 손실의 역할을 분명히 보여준다. 동역학 정렬을 빼면 잠재 공간이 정렬된 상태에서도 아키텍처 간 on-policy 증류 학습이 발산하고, 재구성 손실을 빼면 전달은 되지만 재구성 품질이 크게 나빠진다. LAE의 시간 조건화 잔차 블록을 일반 합성곱으로 바꾸면 Qwen-Image와 SD3 조합에서 GenEval-v2가 7.20, FLUX.1 조합에서 19.17 떨어진다.

실무 관점에서 이 논문이 주는 것은 모델을 다시 학습하지 않고도 이종 생성기를 조합하는 인터페이스다. 품질 좋은 대형 모델로 앞단을 돌리고 빠른 소형 모델로 마무리하는 식의 가속, 여러 보상 전문가의 선호 합성, 교사-학생 간 지식 이전에 바로 쓸 수 있다. 다만 도입 전에 확인할 것은 전제 조건이다. 저자들은 모든 생성기가 같은 동결 VAE와 호환되는 시간 파라미터화를 공유해야 한다고 명시했고, 하이브리드 추론은 여러 동결 백본을 동시에 올려야 하므로 메모리와 저장 공간 오버헤드가 커진다. 이종 오토인코더로 인터페이스를 확장하는 일과 동적 모델 로딩·오프로딩 최적화는 향후 과제로 남겨져 있다. 코드는 공개 저장소에서 확인할 수 있다.