History Forcing은 긴 영상 월드 모델의 과거 의존 일관성을 증류한다

무엇인가

이 논문은 소수 스텝 자기회귀 비디오 확산 모델이 긴 롤아웃에서 겪는 일관성 붕괴를 다룬다. 생성이 길어지면 피사체와 장면 구조가 점차 드리프트하고, 월드 모델에서는 카메라가 떠난 대상이 한참 뒤에 다시 보일 때 최근 프레임만으로는 그 정보를 복원하기 어렵다. 기존에는 교사 강제, Self Forcing식 DMD, 더 긴 문맥의 교사, 특권 관측 등이 쓰였지만, 저자들은 기존 증류 목표가 역사 정보를 교사의 전체 생성 감독과 분리해 명시적으로 강화하지 못한다고 본다. 역사 조건 교사의 전체 분포를 그대로 맞추면 시간적 일관성 감독과 화질 감독이 결합되는 역사-품질 결합 문제가 생기고, 교사의 화질 약점이 학생을 제약할 수 있다는 것이다.

어떻게 동작하나

History Forcing의 핵심은 같은 노이즈가 주입된 학생 청크에 대해 AR 교사를 두 번 평가하는 것이다. 하나는 추가 역사 h와 공유 조건 c를 함께 주고, 다른 하나는 c만 준다. 두 예측의 점수 차이를 잔차로 계산해 s_HF = s_ref + λ(s_AR+ - s_AR-)로 참조 점수를 보정한다. 이는 참조 분포 p_ref에 두 AR 교사 분포 비율의 λ승을 곱한 목표와 같고, 베이즈 정리로 보면 추가 역사의 로그 사후확률 기울기를 더하는 해석이 된다. 즉 품질 감독은 양방향 참조 교사에 남기고, 역사 감독만 잔차로 분리해 λ로 조절하는 구조다.

무엇과 다른가

긴 영상 생성에서는 DMD의 참조 점수 s_ref를 양방향 확산 교사가 제공하고, 고정된 AR 교사가 역사 잔차를 만든다. 추가 역사는 학생 롤아웃의 앞쪽 연속 청크에서 가져와 누적 드리프트가 덜한 피사체·장면 정보를 활용한다. 두 AR 교사 입력은 최근 6개 학생 잠재 프레임을 공유하고, 역사 조건 입력은 그 앞의 12개 프레임을 추가로 본다. 기본 설정은 λ=1, 확산 타임스텝 750 미만, 무작위 1개 청크만 감독하는 방식이며, 5~15초 롤아웃을 쓰고 마지막 5초에 DMD 감독을 적용한다. AR 교사는 10초 클립으로 추가 미세조정해 장기 의존성 포착 능력을 높인다.

어떻게 쓰나

시야 밖 월드 모델링에서는 학생이 카메라를 돌린 동안의 장면 변화가 별도 문제가 된다. 학생은 주어진 카메라 궤적을 따르지만, 교사는 초기 시점에 카메라를 고정한 롤아웃을 생성해 시야 밖에서 장면이 어떻게 변하는지 모델링한다. 재방문 청크에서는 EMA 교사의 속도 예측을 역사 있음과 없음으로 비교해 v_HF = v_EMA- + λ(v_EMA+ - v_EMA-)를 만들고, 학생 속도 예측을 이 목표에 MSE로 맞춘다. DreamX-World-5B를 LoRA로 100스텝 미세조정하며, 200개 장면 이미지와 4개 카메라 궤적으로 만든 800개 샘플을 쓰고, 재방문 청크의 4개 디노이징 스텝 전체에 감독하며 λ=3을 쓴다.

전제와 한계

실험에서 15초 생성은 VBench 품질 85.07을 기록했다. 역사 감독 추가만으로 84.44에서 84.82로 올랐고, AR 교사를 10초 영상으로 미세조정하자 85.07까지 상승했다. 60초 생성은 1.3B 모델과 최대 15초 학습 롤아웃으로 VBench-Long 종합 79.82를 냈는데, 이는 Rolling Forcing보다 0.60 높고 5B LongLive-2.0의 79.90에 근접한 수치다. 1.3B 교사만으로 14B 교사에서 증류한 1.3B 모델들을 능가한다고 저자들은 강조한다. 시야 밖 평가에서는 PlayWorld의 Evolution Quality가 2.35에서 2.70으로, MemoBench의 Object Consistency가 58.43에서 62.18로 개선됐다. PlayWorld에서는 4개 지표 모두 최고였고 OPSD-V 대비 Evolution Quality와 Subject Identity가 각각 0.28, 0.26 높았으며, MemoBench에서는 9개 지표 모두 개선되고 8개에서 OPSD-V를 앞섰다.

절제 실험은 역사 감독을 낮은 노이즈 구간에 집중하는 편이 낫고 λ=1이 품질 균형에 좋다는 점, 월드 모델에서는 λ=3과 4개 스텝 전체 감독이 유리하다는 점을 보여 준다. 공동 정규화를 쓰면 품질이 84.09에서 84.82로, 동적 정도가 59.72에서 78.06으로 올랐다. 역사 감독을 1개 청크로 제한해 학습 시간과 최대 메모리 증가를 각각 2.31%, 1.99%로 억제한 점도 실무적으로 중요하다. 개발자 입장에서는 DMD나 on-policy 자기증류에 역사 잔차 목표를 추가하되, 최근 문맥 공유 방식과 λ, 타임스텝 구간, 정규화 방식을 함께 조정해야 한다. 장기 롤아웃 드리프트와 시야 밖 재방문 일관성을 평가 항목으로 삼는 것이 좋다.

저자들이 밝힌 한계는 분명하다. 긴 영상 생성 실험은 1.3B 교사와 학생에 한정되고, 월드 모델링은 5B 백본을 쓴다. 역사 감독은 결국 기반 모델이 시간적 역학을 얼마나 잘 포착하는지에 제약을 받는다. 특히 고정 시점 교사 롤아웃의 장면 변화가 제한적이면 시야 밖 상태 변화에 대한 감독이 약해질 수 있다. 향후 과제로 더 큰 교사와 학생, 더 긴 문맥 학습, 물리적으로 그럴듯한 역학 시뮬레이션 능력 개선을 제시한다.