FrameForge가 입력별 시간 간격으로 통합 이미지 생성을 푼다

무엇인가

이 논문은 텍스트, 참조 이미지, 구조 맵처럼 서로 다른 조건을 하나의 모델로 받아 목표 이미지를 만드는 통합 조건부 이미지 생성 문제를 다룬다. 기존 이미지 중심 통합 모델은 대규모 멀티태스크 학습이나 제어 분기·어댑터로 조건을 보조 신호처럼 주입하는 데 그쳐, 조건과 목표가 얼마나 다른지, 조건이 목표로 어떻게 변환되는지를 명시적으로 모델링하지 않는다. 비디오 생성 모델은 시간에 따른 시각 변화를 학습하지만 기존 활용법은 조건과 목표를 고정된 시간 위치에 두어 모든 작업에 같은 시간 관계를 부여한다. 이 논문은 그 고정 오프셋이 작업과 샘플마다 다른 조건-목표 관계를 놓친다고 본다.

어떻게 동작하나

핵심 제안은 입력 적응형 가상 시간 간격이다. 저자들은 이미지 편집은 작은 변화, 피사체 구동과 canny-to-image는 더 큰 외형·구조·장면 변화를 요구하며, 작업별 조건-목표 LPIPS 분포가 자연 비디오 전환의 변화 범위와 겹친다고 관찰한다. 그래서 모든 조건-목표 쌍에 같은 시간 위치를 주지 않고, 텍스트와 시각 맥락에 따라 가상 시간 간격을 고른다. 이때 목표가 조건에서 얼마나 떨어져 있는지를 MoTE가, 조건이 목표로 어떻게 변환되는지를 CoTR이 각각 맡는다. 구현은 HunyuanVideo1.5 비디오 확산 백본과 VAE를 고정하고 MM-DiT의 attention·FFN 투영에 단일 LoRA를 넣는 방식이다.

무엇과 다른가

Mixture of Temporal Experts는 서로 다른 가상 간격을 가진 temporal RoPE 전문가들을 만들고 라우터로 하나를 선택한다. 후보 잠재 스팬을 s_e라 할 때 조건을 첫 위치, 목표를 마지막 위치에 두면 가상 간격은 Δ_e=s_e−1이고, 시간 압축 계수 r_t=4에서는 동영상 프레임 스팬 F_e=r_t(s_e−1)+1로 환산된다. 기본 설정은 {17,69,121} 프레임 스팬에 대응하는 {5,18,31} 잠재 스팬이다. 라우터는 텍스트, 조건, 노이즈가 섞인 목표 표현을 받아 토큰별 로짓을 만들고, 패딩 텍스트를 제외한 마스크 평균 풀링으로 샘플별 로짓을 얻은 뒤 softmax와 top-1으로 전문가를 고른다. 순전파는 선택된 전문가 하나를 쓰되 역전파는 straight-through estimator로 소프트 확률에 흘려보내고, 선택된 전문가의 RoPE를 가중합해 visual query와 key에 적용한다. 라우팅 붕괴를 막기 위해 배치 수준 load-balancing 손실을 더하며, 라우터 온도는 1.0, 균형 손실 가중치는 0.01이다.

어떻게 쓰나

Chain of Temporal Reasoning은 조건과 목표 사이에 노이즈로 초기화된 단일 reasoning 잠재를 삽입한다. 이 잠재는 같은 공간·채널 크기를 가지며 직접 디코딩되거나 중간 프레임으로 지도되지 않고, MM-DiT 블록에서 텍스트·조건·목표 표현과 상호작용하며 조건 정보를 모으는 경로 역할을 한다. 중간 학습 단계에서는 확률 0.5로 reasoning-bottleneck attention mask를 적용해 목표 토큰이 텍스트와 조건 토큰을 직접 보지 못하게 하고, 정보가 reasoning 잠재를 거치도록 강제한다. 학습은 라우터만 최적화하는 1단계, reasoning 잠재와 LoRA를 함께 최적화하며 마스크를 쓰는 2단계, 전체 attention으로 마무리하는 3단계로 진행된다. 추론 시에는 전체 attention을 쓰며, 모델은 2개의 A800에서 12,000회 반복, 전역 배치 60, 학습률 3×10^-4로 약 6일간 학습되었고 학습 가능 파라미터는 182M이다. 추론은 50 디노이징 스텝, 텍스트 CFG 스케일은 피사체 구동·편집 6, canny-to-image 2다.

전제와 한계

실험은 피사체 구동 생성, canny-to-image, 명령 기반 이미지 편집의 세 작업으로 구성된다. 학습 데이터는 Subject200K와 UNO-1M에서 고른 피사체 쌍, 512-2M의 canny 부분집합, GPT-Image-Edit-1.5M의 HQ-Edit·UltraEdit에서 뽑은 편집 쌍을 사용해 작업당 17만, 총 51만 샘플이고 이미지는 512×512로 맞췄다. DreamBench에서는 VIEScore의 전체 점수 O가 0.739로 비교 방법 중 최고였고 ChronoEdit 대비 1.37% 높았다. 피사체 일관성 0.739는 ChronoEdit 다음이었으며, EasyControl과 IP-Adapter는 지각 품질이 더 높지만 의미 일관성이 크게 낮았다. COCO2017에서는 SSIM 0.447로 2위 EasyControl 대비 7.2% 상대 개선을 냈고, CLIP-T 0.323은 ControlNet·RealGeneral과 비슷했으며 FID 23.47은 비디오 기반 DRA-Ctrl·RealGeneral과 비슷했다. GEdit-Bench 영어 606개, 11개 범주에서는 Motion Change의 G-O를 ChronoEdit의 5.76에서 6.84로, 전체 G-O를 5.08에서 6.12로 올렸고 Motion Change에서는 Gemini 2.5와 Seedream 4.0을 넘고 GPT-4o에 근접했다.

MoTE 라우팅 분석은 작업별 고정 간격이 아니라는 점을 보여준다. 50 디노이징 스텝, 500개 사례 평균에서 canny-to-image는 조건-목표 거리가 가장 커서 긴 간격 전문가를 주로 선택했고 특히 초기 디노이징에서 그러했다. 피사체 구동과 편집은 목표 잠재가 노이즈에 지배적인 초반에 중간 간격을 선호했고, 목표 내용이 나타나면서 짧은 간격으로 이동했다. 편집은 원본 보존이 커서 그 전환이 더 이르고 강하게 나타났다. 즉 라우터는 작업 라벨에 고정된 간격을 배정하기보다 진화하는 목표 표현에 반응한다.

절제 실험에서 공유 LoRA로 세 작업을 함께 학습하면 피사체 구동은 좋아지지만 편집은 나빠져 작업 간 간섭이 드러났다. MoTE만 더하면 편집 점수가 4.94에서 5.77로, CoTR만 더하면 5.56으로 올랐고 다른 작업 변화는 작았다. 둘을 함께 쓰면 피사체 구동과 편집에서 최고, canny-to-image에서 최저 FID를 냈다. 작업별 편집 점수 5.99에는 각 모듈 단독으로 미치지 못했지만 결합 모델은 6.12에 도달했다. 전문가 수는 3개가 가장 좋은 균형이었고 5개·7개는 피사체 구동을 조금 올리면서 다른 작업을 떨어뜨렸다. 가상 간격은 {17,69,121}이 편집에서 가장 좋으면서 다른 작업과도 비슷했고, reasoning 잠재는 1개가 모든 작업을 개선했지만 2개·3개는 오히려 성능을 낮췄다. HunyuanVideo1.0으로 바꿔도 피사체 구동 0.699→0.736, 편집 4.38→5.00, canny FID 24.52→23.07로 통합 베이스라인을 앞섰다.

개발자 관점에서 이 논문은 하나의 비디오 백본과 단일 LoRA로 서로 다른 조건부 이미지 생성 작업을 묶으려는 경우에 참고할 만하다. 작업별 어댑터를 따로 두지 않으려면 공유 학습에서 편집 작업이 특히 간섭을 받는지, 라우터가 디노이징 단계에 따라 간격을 바꾸는지, 데이터 도메인별로 적절한 가상 간격 후보가 무엇인지 확인해야 한다. 논문은 별도의 한계 절을 두지 않았지만, FID가 백본별 외형 통계에 영향을 받고 인간 판단과 어긋날 수 있다는 점을 인정하며 FID를 SSIM·CLIP-T·정성 결과와 함께 해석해야 한다고 말한다. 또한 reasoning 잠재를 여러 개 두면 중간 지도가 없는 상태에서 변환 공간이 커져 성능이 떨어질 수 있고, 평가는 세 작업과 특정 벤치마크, 특정 비디오 백본에 한정되어 있다.