ForcingBooster가 영상 패치마다 디노이징 예산을 다르게 배분한다

무엇인가

자기회귀 영상 확산 모델은 영상을 짧은 시간 청크로 나눠 앞선 청크를 조건으로 다음 청크를 생성한다. 문제는 다음 청크를 만들 때 모든 잠재 패치에 동일한 디노이징 스케줄과 동일한 함수 평가 횟수를 배정한다는 점이다. 논문은 영상 내용의 공간적 이질성을 지적한다. 배경 물, 하늘, 반복되는 구조처럼 정적이거나 단순한 영역은 몇 스텝 만에 수렴하지만, 움직이는 등반가나 질감이 복잡한 암벽, 카메라 팬으로 새로 드러난 구조물은 더 많은 정제가 필요하다. 균일 예산은 쉬운 패치에 연산을 낭비하고, 그렇다고 전체 스텝 수를 줄이면 어려운 패치가 덜 다듬어진 채 남는다.

어떻게 동작하나

제안하는 ForcingBooster는 기존 few-step 자기회귀 생성기를 그대로 두고 가벼운 라우터만 덧붙인다. 각 디노이징 스텝이 끝난 뒤 라우터 R_φ가 생성기 마지막 트랜스포머 층의 은닉 특징 u_k를 재사용해 패치별 정지 확률 p_i,k를 예측한다. 임계값 η 이하인 패치만 다음 스텝의 활성 집합 A_{k+1}에 남고, 정지한 패치는 그 시점의 클린 잠재 예측 x̂_0를 최종 출력으로 확정한다. 핵심은 확산·플로우 매칭 생성기가 매 중간 스텝마다 클린 잠재 추정값을 낼 수 있다는 성질을 이용해, 원래 샘플링 스케줄을 건드리지 않고도 패치마다 다른 스텝에서 종료할 수 있게 만든 것이다. 정지한 패치의 KV는 히스토리 H에 캐시되어 남은 패치와 이후 청크에 문맥을 계속 제공하고, 자기 자신은 이후 트랜스포머 업데이트에서 빠진다. 활성 집합이 단조 감소하므로 뒤로 갈수록 스텝당 연산이 줄어든다.

무엇과 다른가

학습에는 정답 정지 라벨이 없다. 대신 라우터를 품질과 연산의 트레이드오프로 정식화한다. 정지 대리 손실 L_stop은 현재 클린 잠재 예측과 목표 클린 잠재의 제곱 오차 d_i,k에 정지 확률을 곱해, 예측이 아직 부정확한데 멈추는 것을 벌한다. 여기에 예상 디노이징 비용 손실 L_comp를 더해, 즉시 정지 비용 k와 계속 진행했을 때의 종료 스텝 e_i,k를 확률 가중으로 비교한다. e_i,k는 현재 라우터와 임계값으로 남은 스텝을 롤아웃해 추정하는 온폴리시 방식이라, 학습이 진행되며 변하는 라우팅 동작이 비용 추정에 반영된다. 목표 x_0*는 별도 영상 데이터 없이 동결된 생성기에서 얻는다. 원래 전체 스케줄로 한 번 돌려 궤적을 기록하고, 그 잠재를 임의 노이즈 레벨로 섭동해 다시 생성기에 넣어 중간 예측과 은닉 특징을 뽑는 '리플레이' 과정을 쓴다.

어떻게 쓰나

실험은 Causal Forcing 1.3B를 주 베이스로 480×832, 16 FPS, 81프레임 영상을 생성하며 진행했다. 라우터만 AdamW, 학습률 1e-4, 글로벌 배치 8로 500스텝 학습하고 사전학습 구성요소와 디노이징 스케줄은 고정했다. VBench 16개 세부 차원의 Quality·Semantic·Total 점수를 보고하는데, ForcingBooster는 4스텝 베이스라인 대비 엔드투엔드 1.3배 속도를 내면서 영상 패치 전체에 적용된 디노이징 스텝 수를 약 50% 줄였고 Quality와 Total 점수는 4스텝에 근접, Semantic은 거의 동일하게 유지했다. 균일 2스텝과 비슷한 런타임에서 세 지표 모두 더 높은 점수를 냈다. Wan2.1 14B, LingBot-World-V2, LongLive에서도 각 모델의 4스텝 베이스라인에 근접한 Quality·Total을 유지하면서 런타임을 줄였고, 모든 경우에 균일 1스텝보다 높은 점수를 기록했다. 측정 환경은 A800 단일 GPU, BF16, 배치 1이며 텍스트 인코딩, 첫 청크, 라우터 실행, KV 캐시 구축, VAE 디코딩을 포함한 평균 종단 지연이다.

전제와 한계

공간 배분 자체가 유효한지도 따로 검증했다. 종료 스텝 분포는 유지하되 위치를 무작위로 섞은 Random, 패치별 종료 결정을 청크 단위 균일 스텝으로 합친 Chunk-wise router와 비교했을 때, 비슷한 런타임에서 ForcingBooster가 더 높은 Total 점수를 얻었다. 어디서 일찍 끝나느냐가 중요하다는 뜻이다. 라우터 분석에서는 비용 가중치 λ_nfe가 0이거나 부족하면 4스텝을 그대로 유지해 오버헤드만 늘었고, 0.015~0.030 구간에서 시간 절감과 낮은 LPIPS를 함께 얻었다. 임계값 η는 0.1~0.9로 각각 별도 라우터를 학습시켰는데, η를 높이면 런타임이 늘어나지만 LPIPS가 일관되게 낮아지지는 않았다. RAFT 광류로 영상 다이내믹스를 다섯 그룹으로 나눠 보면, 움직임이 적은 영상에서 최대 약 1.5배 속도 또는 4스텝 대비 약 75%의 디노이징 스텝 감소를 보였다.

개발자 관점에서 이 방법의 매력은 생성기 가중치를 건드리지 않는다는 점이다. 이미 few-step으로 증류된 자기회귀 영상 생성기가 있고, 그 위에 지연시간을 더 깎고 싶다면 라우터 500스텝 학습과 소량의 롤아웃 비용만으로 시도할 수 있다. 다만 라우터는 특정 생성기와 스케줄에 묶여 학습되므로 베이스 모델을 바꾸면 다시 학습해야 하고, 임계값 η와 비용 가중치 λ_nfe가 속도-품질 절충을 좌우하는 실질적 노브라는 점을 확인해야 한다. 정지한 패치를 캐시된 속도로 계속 갱신하는 HSA류 접근과 달리 클린 잠재 예측을 고정한다는 설계 차이도, 시간적 일관성이 중요한 서비스에서 검증할 지점이다.

논문이 명시한 전제와 한계는 다음과 같다. 라우터 학습은 동결된 생성기의 전체 스텝 출력을 참조 삼아 온폴리시로 이뤄지므로, 베이스 생성기의 품질이 곧 라우터의 상한이 된다. 비용 가중치를 과도하게 키우면 추가 가속은 미미하고 4스텝 출력과의 편차만 커졌으며, 더 보수적인 정지 임계값이 반드시 4스텝에 가까운 결과를 주지도 않았다. 또한 본문 후반부는 임계값 분석 문장이 잘린 상태로 제공되어, 해당 절의 나머지 결론과 추가 실험은 원문 전체를 확인해야 한다.