미래 청크 예측 보조 목표가 자기회귀 비디오 생성의 물리적 그럴듯함을 높인다

무엇인가

자기회귀 비디오 확산 모델은 비디오를 청크 단위로 이어 붙이며 생성한다. 문제는 그럴듯한 다음 청크를 만들어내는 능력이 곧 장면이 시간에 따라 어떻게 진화하는지를 학습했다는 뜻은 아니라는 점이다. 저자들은 원인을 표준 교사 강제(teacher forcing) 학습에서 찾는다. 현재 청크를 노이즈 제거할 때 정답 히스토리를 그대로 조건으로 주면, 비디오의 강한 시간적 중복성 때문에 이웃 청크의 외형과 움직임 패턴이 매우 비슷해진다. 결국 모델은 국소적 시각 연속성만으로 현재 청크를 복원하는 지름길에 의존하게 되고, 장면 진화의 역학을 포착해야 할 압력은 줄어든다.

어떻게 동작하나

이 논문이 제안하는 것은 Future Chunk Prediction(FCP)이라는 보조 목표다. 표준 교사 강제 방식이 p(x_{k+1} | x_{≤k}, c)를 모델링한다면, FCP는 관찰된 프리픽스는 그대로 두고 목표만 더 먼 청크로 옮겨 p(x_{k+Δ} | x_{≤k}, c), 즉 Δ>1인 예측을 요구한다. 중간에 끼는 청크 x_{k+1:k+Δ-1}는 조건에서 제외되므로, 국소적 연속성으로는 목표를 복원할 수 없고 시간적 진행에 대한 더 강한 예측 표현이 강제된다. 실제 구현에서는 조건을 생성기의 중간 은닉 상태 h_k로 바꿔 p(x_{k+Δ} | h_k)를 예측한다. 텍스트 조건은 의도적으로 뺐고, h_{≤k} 대신 h_k만 쓴다. 텍스트가 미래 사건의 단서를 직접 흘려보내는 경로를 막고, 더 압축적인 인코딩으로 연산 비용도 줄이기 위해서다.

무엇과 다른가

구조는 다음과 같다. 생성기는 청크 인과 어텐션을 쓰는 표준 비디오 확산 DiT(Wan 계열)이고, 보조 예측기는 생성기에서 초기화한 3개 DiT 블록짜리 경량 복제본으로 파라미터를 따로 갖는다. 각 미래 오프셋마다 별도의 예측기가 h_k에 직접 조건화되는 병렬 설계를 쓴다. 예측기끼리 은닉 상태를 넘기는 체인 설계는 f_{t+2}의 노이즈 입력 정보가 f_{t+3} 예측기로 새어 들어가 지름길을 만들 수 있기 때문이다. 생성기의 여러 레이어에서 특징을 뽑아 채널 축으로 이어 붙이고 MLP로 융합한 뒤, 토큰별 AdaLN 변조로 모든 보조 DiT 블록에 주입한다. 보조 예측기에는 텍스트 크로스 어텐션이 없어, 텍스트가 미래를 암시하는 비대칭 구조를 유지한다. 깨끗한 히스토리 상태 h_k^clean과 노이즈가 섞인 목표 상태 h_k^noisy를 모두 정규화하며, 전체 손실은 교사 강제 손실에 오프셋별 보조 손실(clean/noisy 평균)을 가중 합한 형태다. 보조 손실은 h_k를 거쳐 생성기로 역전파된다. 추론 시에는 FCP 모듈을 전부 버리므로 자기회귀 생성 절차와 비용이 베이스라인과 동일하다.

어떻게 쓰나

실험은 Wan 공식 체크포인트에서 초기화한 이미지-투-비디오 설정으로, 첫 프레임을 고정된 깨끗한 컨텍스트로 두고 3개 잠재 프레임 단위 청크를 생성한다. 학습 데이터는 내부 비디오와 WISA-80K를 섞었고, 5초보다 긴 영상의 앞 약 5초를 사용했다. 물리 시뮬레이터 데이터는 쓰지 않았다. 주 벤치마크는 Physics-IQ Verified이며 WorldModelBench, PAI-Bench-G, PhyGround를 보조로 평가했다. 동일 데이터·예산 통제 비교에서 1.3B 모델의 IQ 점수는 교사 강제 27.6에서 FCP 30.9로 올랐고, 5B 모델은 I2V가 30.4에서 33.8로, V2V가 40.6에서 44.4로 개선됐다. 5B 모델은 Wan2.2-14B, HunyuanVideo-1.5, Cosmos3-Nano 같은 더 큰 양방향 모델과 MAGI-1-4.5B, Helios-Base 같은 자기회귀 베이스라인보다도 높은 점수를 기록했다. 정성적으로는 도미노가 쓰러지는 방향을 유지하고 얼음이 녹으며 수위가 오르는 변화를 포착한 반면, 교사 강제 베이스라인은 도미노가 중앙에서 무너지거나 수위 변화를 놓쳤다.

전제와 한계

절제 실험은 Wan2.1-1.3B에서 이뤄졌다. 깨끗한 컨텍스트 표현만 정규화하면 IQ가 1.2점, 노이즈 목표 표현만 정규화하면 2.3점, 둘을 함께 쓰면 3.3점 올랐다. 병렬 예측은 체인 대비 30.1에서 30.9로 0.8점 앞섰고, 5B 통제 비교에서는 체인 변형(오프셋 3개·5개)이 I2V에서 근소한 향상에 그치고 V2V는 개선하지 못했다. 전체 히스토리 h_{≤k}에 조건화하는 변형과 비교하면, 같은 IQ 29와 30에 도달하는 데 각각 42.6%, 50.7% 적은 학습 연산이 추정됐다. 보조 예측기에 텍스트 조건을 추가하면 오히려 IQ가 1.1점 떨어졌다. 표현 공간 분석에서는 교사 강제가 관련 없는 영역까지 흩어진 유사도 맵을 만드는 반면, FCP는 질의 대상과 시각적으로 관련된 인스턴스에 정렬된 선택적 응답을 보였고 프레임이 움직여도 고유사도 영역이 대응 콘텐츠를 따라갔다.

개발자 관점에서 이 방법의 매력은 추론 파이프라인을 전혀 건드리지 않는다는 점이다. 이미 돌아가는 자기회귀 비디오 생성 학습 루프에 보조 예측기와 손실 항만 추가하고, 배포 시에는 그대로 떼어내면 된다. 다만 보조 손실을 생성기 중간 표현까지 역전파해야 하므로 학습 메모리와 구현 복잡도는 늘어나고, 오프셋 집합과 가중치 w_Δ, 병렬/체인 설계 같은 하이퍼파라미터 선택이 성능을 좌우한다. 또한 이 논문이 측정한 것은 물리적 그럴듯함이라는 특정 축이며, VLM 판정 기반 벤치마크에서는 향상 폭이 상대적으로 완만했다는 점을 감안해야 한다.

저자들이 밝힌 한계도 분명하다. 학습 데이터의 상당 부분이 내부 코퍼스여서 전체를 공개할 수 없고, 따라서 동일 데이터로의 정확한 재현은 불가능하다. 물리 시뮬레이터 데이터를 넣으면 더 나아질 수 있으나 향후 과제로 남겼다. '시각적 진화'를 종합적으로 평가하는 일 자체가 미해결 문제라 물리적 그럴듯함에 평가를 집중했고, WorldModelBench·PAI-Bench-G·PhyGround 같은 VLM 기반 지표는 물리 변화의 타이밍과 크기 차이에 둔감할 수 있어 일부 지표의 개선이 작게 나온 이유일 수 있다고 인정한다. FCP 예측기는 추론에서 버려지며, 이들을 초기 노이즈 제거 가속이나 예측 앙상블을 통한 생성 향상에 활용하는 것은 향후 과제로 남겨두었다.