단일 샘플 증류로 양방향 확산 모델을 실시간 자기회귀 비디오 생성기로 바꾼다

무엇인가

자기회귀(AR) 확산 비디오 생성은 프레임이나 청크 단위로 인과적 롤아웃을 수행하면서 각 세그먼트 안에서는 확산 생성을 유지한다. 문제는 여기 쓰이는 few-step 학생 모델을 만드는 과정이다. 기존 AR 증류 파이프라인은 양방향 확산 교사 모델의 오프라인 Probability Flow ODE(PF-ODE) 궤적을 감독 신호로 요구하는데, 대규모 비디오 데이터셋에 대해 이런 궤적을 만들고 저장하는 데 수만 GPU-시간과 테라바이트급 저장공간이 든다. 논문은 이 전처리 병목을 정면으로 다룬다.

어떻게 동작하나

저자들은 감독을 극단까지 줄여 궤적 하나만 쓰는 설정을 시도했고, 그대로는 품질이 심하게 붕괴한다는 것을 확인했다. 원인을 추적한 결과 교사 궤적의 기하 구조에 있었다. 전체 누적 궤적 곡률의 92.5% 이상이 고노이즈 영역(t≥0.9)에 몰려 있고, 고노이즈 구간은 전역 의미 레이아웃과 모션을, 저노이즈 구간은 미세 텍스처를 담당하며 두 영역의 곡률과 최적화 거동이 근본적으로 다르다. 하나의 단일 네트워크가 두 영역을 동시에 맞추려 하면 표현 간섭(representation interference)이 발생한다는 것이 이 논문의 핵심 진단이다.

무엇과 다른가

제안 방법 Glance Forcing은 이 문제를 노이즈 영역별 전문가 분리로 푼다. 사전학습된 교사는 완전히 동결한 채 dual-LoRA 구조를 붙여, 고노이즈 의미 궤적 합성을 담당하는 Slow-LoRA와 저노이즈 디테일 정제를 담당하는 Fast-LoRA로 디노이징 과정을 나눈다. 기본 설정은 ODE 궤적을 N=48 스텝으로 두고 κ=34 시점을 경계로 두 개의 하위 궤적으로 분할하며, 각 전문가는 자신의 구간에 대한 consistency distillation 목적식(EMA 타깃과의 회귀)으로 따로 학습된다. 추론 시에는 샘플링 단계에 따라 두 전문가를 동적으로 전환한다. 여기에 단계별 보조 손실이 더해진다. Slow 전문가에는 시간축 1D-DFT를 적용해 주파수 스펙트럼 크기를 타깃과 정렬하는 Temporal Frequency Spectrum Loss를 걸어 시간적 플리커를 억제하고, Fast 전문가에는 학습되지 않는 2D 라플라시안 커널로 고주파 성분을 비교하는 Spatial High-Pass Loss를 걸어 경계와 텍스처를 선명하게 만든다. 별도의 학생 네트워크를 추가하지 않는다는 점도 강조된다.

어떻게 쓰나

논문은 여기서 한 가지 일반적인 메커니즘도 주장한다. PF-ODE 증류는 주로 few-step 궤적의 기하를 곧게 펴는 역할을 하고, 분포 품질은 뒤따르는 DMD(distribution matching distillation) 단계가 독립적으로 담당한다는 것이다. 궤적 직진도(직선 변위 대 누적 경로 길이 비율)와 스텝별 코사인 유사도로 측정했을 때, ODE 초기화는 4-step 추론에서 두 지표를 크게 개선하지만 궤적 감독을 1개에서 3K개로 늘려도 기하 변화는 미미했다. 즉 궤적 교정은 데이터 양이 아니라 확산 시간 영역을 덮는지에 달려 있다는 것이 저자들의 결론이다.

전제와 한계

실험은 Wan2.1-1.3B를 베이스로 480×832 해상도, 81프레임, 청크 단위 AR 생성을 8×A100에서 수행했다. 평가는 VBench와 VisionReward, 그리고 Causal Forcing의 100개 프롬프트를 사용한 dynamic degree·instruction following이다. 비교 대상은 양방향 확산(Wan2.1-1.3B, LTX-1.9B), AR 확산(SkyReels-V2-1.3B, MAGI-1-4.5B), 증류 AR(CausVid, Self Forcing, Causal Forcing)이다. 초록과 서론 기준으로 단일 PF-ODE 궤적만 써서 VBench Total을 84.04에서 84.22로 올리고 궤적 수집 비용을 수천 GPU-시간에서 A100 약 1시간으로 줄였으며, 학습 예산을 늘리면 84.33까지 도달한다. 본문 4.2절은 단계별로 다른 수치를 보고한다. 단일 샘플만으로 Total 82.09를 얻어 대부분 지표에서 Causal Forcing과 경쟁하거나 앞섰고, 예산을 맞추면 82.69, AR 증류 후에는 84.58에 도달했다. 사람 선호도 pairwise 연구에서는 Self Forcing 대비 91.3%, Causal Forcing 대비 63.3%의 승률을 기록했다.

절제 실험에서 Slow–Fast 분리 최적화는 전체 점수를 83.98에서 84.33으로 올렸고, TFS 손실과 HP 손실이 각각 시간적 일관성과 공간적 선명도에 추가 이득을 줬다. 4-step 청크 내 Slow/Fast 스텝 배분은 기본값 S2–F2가 가장 좋았으며, Slow만 쓰는 S4는 시각적 품질이, Fast만 쓰는 F4는 모션 역학과 의미 일관성이 더 높아 두 전문가의 상보적 강점이 드러났다. 불균형한 S1–F3, S3–F1은 성능이 떨어졌다. 방법의 일반성도 확인했는데, 50-step Wan2.1을 단일 학습 샘플로 8-step 양방향 확산 모델로 증류해 Wan2.1과 비슷한 성능을 5배 이상 낮은 샘플링 비용으로 달성했고, 4 NFE에서는 완만한 성능 저하만 보였다.

개발자 관점에서 이 논문이 유용한 지점은 증류 파이프라인의 전처리 단계를 사실상 제거할 수 있다는 주장이다. 실시간 스트리밍 비디오 생성이나 인터랙티브 월드 모델을 만들 때 궤적 데이터셋 구축이 가장 큰 비용이었다면, 단일 궤적 + dual-LoRA + DMD 조합으로 같은 품질에 도달할 수 있는지 검토할 가치가 있다. 다만 도입 전에 확인할 것은 세 가지다. 첫째, Slow/Fast 경계 시점 κ와 스텝 배분이 베이스 모델과 해상도에 따라 재튜닝이 필요한 하이퍼파라미터라는 점. 둘째, 보고된 VBench 수치가 단계별로 다르게 제시되어 있어(초록의 84.04→84.22와 4.2절의 82.09/82.69/84.58) 어떤 학습 단계의 수치인지 구분해서 읽어야 한다는 점. 셋째, LoRA만 학습하므로 교사 모델의 사전 지식 범위를 벗어난 도메인에는 그대로 적용하기 어렵다는 점이다.

저자들이 밝힌 한계와 전제도 분명하다. 단일 샘플 초기화의 효과는 샘플 특성에 의존한다. 모션·시각적 복잡도·도메인 특수성에 대한 통제 실험에서 Low Motion과 Open Domain은 품질이 높았지만 High Motion과 Specific Domain은 저하가 컸다. 즉 큰 시간적 역학이나 특수한 콘텐츠에서는 단일 샘플 초기화가 민감하게 흔들린다. 다만 뒤따르는 DMD 단계가 모든 샘플에서 품질을 회복·개선했고, 특히 High Motion과 Simple Geometry에서 이득이 두드러졌다. 의미 정합성 점수는 설정 전반에서 비교적 안정적이어서, 단일 샘플 학습으로 생기는 변동은 주로 품질 쪽이라는 것이 저자들의 설명이다.