교사·크리티컬 없이 표현 분포만 맞추는 few-step 인과 비디오 생성 사후학습 ViRDM

무엇인가

이 논문이 다루는 문제는 few-step 자기회귀(AR) 비디오 확산 모델의 사후학습 비용이다. AR 비디오 확산은 프레임이나 시간 블록 단위로 인과적 생성을 하고 KV 캐시를 재사용해 스트리밍 인터페이스를 제공하지만, 각 블록 안의 다단계 디노이징 비용이 실시간성을 막는다. 기존 해법은 양방향 비디오 확산 교사를 few-step 인과 학생으로 증류하는 DMD(Distribution Matching Distillation) 계열인데, 생성된 비디오를 임의 노이즈 레벨로 다시 노이즈화한 뒤 교사 분포 점수와 학습된 크리티컬 분포 점수의 차이로 학생을 업데이트한다. 즉 최종 분포 차이를 직접 재지 않고 노이즈 조건부 점수로 추정하며, Self Forcing이나 Causal Forcing 같은 구현은 업데이트마다 비디오 확산 네트워크 3개를 동시에 띄운다. Wan 2.1 1.3B 생성기를 증류할 때 동결된 14B 교사와 온라인 1.3B 크리티컬이 추가로 필요한 식이다. 저자들은 여기서 "교사-크리티컬 스택을 없애고 사전 계산된 목표 분포에 대고 생성기만 사후학습할 수 있는가"를 묻는다.

어떻게 동작하나

방법의 뿌리는 이미지 one-step 생성용 RDM(Representation Distribution Matching)이다. 동결된 이미지 인코더 φ와 텍스트 인코더 φt로 결합 표현 h(x,c)=[φ(x); βτ(c)]를 만들고(τ는 L2 정규화 텍스트 특징, β=σ/σt), 가우시안 RBF 커널로 생성 집단과 참조 집단 사이의 경험적 제곱 MMD를 최소화한다. 첫 항은 생성 샘플 간 다양성을, 둘째 항은 참조 분포로의 인력을, 셋째 항은 θ에 대해 상수다. 비디오 확장에서는 이미지 x를 완전한 비디오 v로, φ를 동결된 문맥적 비디오 인코더 φv로 바꾼다. 기본값은 V-JEPA 2.1 ViT-L/16으로, 1,024차원 최종 LayerNorm 토큰을 공간·시간에 걸쳐 전역 평균하고 추가 정규화는 하지 않는다. 텍스트는 SigLIP2(ViT-SO400M-16-SigLIP2-256) 텍스트 브랜치의 1,152차원 특징을 L2 정규화해 쓰므로 결합 표현 차원은 2,176이다. 참조 집단은 Causal Forcing이 만든 학습 데이터에서 가져온 6,505개 비디오-텍스트 쌍이며, 오프라인에서 한 번 인코딩해 학습 내내 고정한다.

무엇과 다른가

이미지 RDM을 그대로 옮기면 업데이트 한 번조차 끝나지 않는다. 저자들은 세 가지 장벽을 진단하고 순서대로 해결한다. 첫째는 메모리다. 표현 분포 손실이 다단계 AR 롤아웃, 무거운 비디오 VAE 디코더, 동결 표현 인코더 뒤에 놓여 역전파 그래프가 GPU 메모리를 고갈시킨다. 해법은 일관성 스타일 샘플링과 확률적 종료(stochastic exit)다. RDM은 깨끗한 종점 예측의 분포를 맞추므로 각 디노이징 스텝의 z0 예측이 모두 감독 지점이 될 수 있고, 업데이트마다 분산 마이크로배치가 S~U{1,…,K}를 하나 뽑아(데이터 병렬 랭크 간 동기화, 모든 AR 청크에 동일 S 적용) S 이전 스텝은 그래디언트 없이 진행하고 S의 깨끗한 예측만 청크 출력이 되어 분리된 인과 문맥을 갱신한다. 모든 청크의 선택 예측을 이어 붙여 완성 비디오 하나로 만들고 고정 참조 RDM으로 한 번 채점한다. 학습 전체에서 모든 종료 지점이 분포 감독을 받되 역전파 그래프는 업데이트당 하나만 유지된다. 둘째는 그래프 동시 상주다. 손실에서 시작해 표현 인코더 Φ, 디코더 D, 생성기 Gθ 순으로 한 모듈씩 벡터-야코비안 곱(VJP)을 통과시켜 출력 그래디언트를 입력 그래디언트로 바꾸고, 각 VJP가 끝나면 해당 그래프를 해제한다. 또한 RDM은 픽셀 복원이 아니라 디코딩된 표현 Φ(D(ẑ)) 위에서 평가되므로 디코더는 최적화 대상이 아닌 고정 미분 브리지일 뿐이라는 점을 이용해, 그래디언트 경로의 Wan VAE 디코더를 경량 TAEW2.1 비디오 디코더로 교체한다. 이 조합으로 업데이트당 최대 메모리가 48.3GB가 된다.

어떻게 쓰나

셋째 장벽은 비디오 고유의 최적화 영역과 시간 동역학이다. 이미지 RDM은 2,048개 이상의 새 생성 샘플에서 넓은 최적점을 보고하지만, few-step 인과 비디오에서는 그 정도 생성이 감당 불가능하다. 저자들의 생성 집단 연구에 따르면 새 비디오 배치 8~64개면 충분하고 기본값은 B=64(마이크로배치당 GPU 1개당 비디오 1개 누적)다. 또 이미지 RDM은 사전학습된 다단계 양방향 모델에서 바로 초기화되지만, 인과 비디오에서는 인과적으로 적응된 초기화가 필요하다. RDM은 기존 인과 생성기를 효율적으로 다듬을 뿐 양방향 모델을 인과 모델로 바꾸지는 못한다. 마지막으로 이미지 특징은 주로 외형과 의미를 담고 전역 풀링된 비디오 특징은 시간 감독이 거칠어서, 분포를 맞춰도 시각적으로 그럴듯한 프레임이 나올 뿐 운동 일관성이 보장되지 않는다. 비디오 인코더가 이미지 인코더보다 동역학 신호는 강하지만 민감도가 비선형이라, 준정적 클립은 벌점을 받아도 중간 동역학과 높은 동역학을 안정적으로 구분하지 못한다. 그래서 저자들은 작은 가중치의 명시적 동역학 정규화 항을 더한다. 최종 목적함수는 L = L_RDM + λ_dyn·L_dyn이며 λ_dyn은 작게 유지해 흐름 항이 교정 신호로만 작동하게 하고, 동역학 분기는 사후학습 중에만 쓰여 배포 체크포인트나 추론 비용을 바꾸지 않는다.

전제와 한계

실험은 Wan2.1-T2V-1.3B를 백본으로 832×480 해상도, 81프레임(21 잠재 프레임), 청크당 잠재 프레임 3개인 청크 단위 AR 생성, 디노이징 4스텝(timestep shift 5, 정규화 타임스텝 {1, 0.9375, 0.8333, 0.625})을 쓴다. 기본 모델은 Causal Forcing이 만든 인과 ODE 초기화에서 출발하고, AdamW 학습률 2×10⁻⁶, (β1, β2)=(0.9, 0.95), 가중치 감쇠 없음으로 8개 A100에서 생성기 업데이트 20회만 수행한다. 결과는 공식 VBench 전체 프로토콜에서 Total 84.87로, 이전 최고 4스텝 인과 베이스라인 Causal Forcing의 84.51을 0.36 앞선다. Quality는 85.82로 가장 높고 Semantic은 81.09로 두 번째다. 전체 사후학습은 8개 A100에서 약 2시간(16 A100 GPU-시간), 업데이트당 약 6분, GPU당 최대 메모리 48.3GB이며, 그래디언트 누적을 쓰면 80GB A100 한 장에서도 최대 68.5GB로 가능하다. 3네트워크 DMD 파이프라인과 비교하면 GPU당 최대 메모리를 28.8GB 줄이고 학습 비용을 176 A100 GPU-시간에서 16 A100 GPU-시간으로 낮춘다. 동역학 정규화를 넣기 전에는 Dynamic Degree를 제외한 Total이 85.77로 Self Forcing의 85.34를 넘었지만 Dynamic Degree에서는 DMD 베이스라인보다 낮았다. 정규화를 더한 뒤에는 Total 84.87, Dynamic Degree 72.02가 된다. 통제 비교에서 DINOv2 이미지 마지널을 V-JEPA 2.1 비디오 표현으로 바꾸면 Dynamic Degree가 18.06에서 48.61로 30.55포인트 오르고, 저가중치 흐름 정규화가 23.41포인트를 더해 72.02에 도달한다. 이때 Quality +1.71, Semantic +0.48, Total +1.46이며, Dynamic Degree를 제외하면 Quality는 87.07에서 86.97로 0.10 감소, Total은 85.77에서 85.79로 0.02 증가에 그친다. 즉 정규화는 나머지 VBench 차원을 실질적으로 건드리지 않고 동역학 결손만 복구한다.

저자들은 Dynamic Degree 자체가 광학 흐름 기반이라 지터나 플리커로 점수만 올린 것일 수 있다는 우려를 별도로 검증한다. λ_dyn을 키우면 Dynamic Degree가 48.61에서 88.89까지, Total이 83.41에서 85.64까지 단조 증가하지만, 최대 가중치에서는 Temporal Flickering, Subject Consistency, Background Consistency가 각각 0.91, 0.41, 0.89포인트 떨어진다. 기본값 λ_dyn=5×10⁻⁴는 Dynamic Degree를 23.41포인트, Total을 1.46 올리면서 네 가지 목적함수 외 진단 지표 모두 비정규화 모델 대비 0.18포인트 이내를 유지하는 균형점이다. 25명 참가자가 30개 프롬프트를 평가한 사용자 연구에서 ViRDM은 텍스트-비디오 정렬 40.4%, 시각 품질 43.0%로 가장 높은 선호를 받았고 Self Forcing이 32.6%로 뒤를 이었다. 동역학 정규화 유무를 비교한 2지선다에서는 동역학 판단 85.6%, 시각 품질 76.4%, 정렬 60.8%로 최종 모델이 선호됐다. 확장 실험도 보고된다. 인과 샘플링 예산을 줄인 경우(첫 블록 4스텝, 이후 블록 1~2스텝) 2스텝에서 Quality 85.44, Total 84.42로 Causal Forcing++에 0.01 뒤졌고, 1스텝에서는 Total 84.27, Quality 85.04, Semantic 81.17을 얻었다. 양방향 Wan2.1-1.3B에 같은 레시피를 적용하면 4스텝 Total 84.56/Quality 85.84, 2스텝 Total 84.53/Semantic 80.72, 1스텝 Total 83.12로, 인과 생성 밖으로도 전이 가능함을 보인다.

개발자 관점에서 이 논문의 실용적 핵심은 사후학습 파이프라인의 네트워크 수를 3개에서 1개로 줄였다는 점이다. 교사 모델과 크리티컬을 동시에 올릴 필요가 없어져 GPU당 메모리와 학습 시간이 크게 줄고, 참조 표현 분포는 오프라인에서 한 번만 계산해 고정하면 된다. 다만 그 대가로 전제가 따라온다. 참조 집단(여기서는 6,505개 비디오-텍스트 쌍)과 동결 인코더(V-JEPA 2.1 + SigLIP2)의 귀납적 편향을 그대로 물려받으므로, 도메인이 다르면 참조 분포와 인코더 선택을 먼저 검증해야 한다. 또한 학습 시에만 쓰이는 보조 모듈(경량 디코더, 동역학 분기)이 추론 체크포인트를 바꾸지 않는다는 점은 배포 측면에서 유리하다. 재현 시 확인할 값은 B=64 생성 집단, 확률적 종료 지점 동기화, staged VJP 순서, λ_dyn=5×10⁻⁴, 그리고 인과 ODE 초기화에서 출발하는지 여부다.

저자들이 명시한 한계는 분명하다. ViRDM은 인과 사전학습을 대체하는 방법이 아니라 사후학습 레시피다. 초기화 연구에서 짧은 표현 분포 사후학습만으로 양방향 체크포인트를 인과 생성기로 안정적으로 바꿀 수 없었고, 인과 호환 수송이 이미 존재해야 한다. 동결 표현 인코더와 고정 참조 집단의 편향을 상속하며, 주요 실험은 Wan2.1-1.3B 백본과 81프레임에 한정된다. 더 큰 모델 규모, 더 높은 해상도, 훨씬 긴 지평에서의 검증은 향후 과제로 남겨져 있다.