프레셰 포싱은 단편 클립만으로 4천 프레임 스트리밍 월드 모델을 안정화한다

무엇인가

스트리밍 비디오 월드 모델은 자신이 생성한 과거 청크와 행동 스트림을 조건으로 미래 청크를 이어서 만든다. 문제는 학습이 짧은 클립에서 끝나는데 배포 시에는 자기 예측을 다시 문맥으로 넣는 자기회귀 방식으로 굴린다는 점이다. 작은 예측 오차가 문맥에 재유입되어 누적되면 롤아웃은 대략 학습 클립 길이를 넘어서면서 표류하고, 검게 변하거나 흐려지거나 텍스처로 녹아든다. 행동 조건 월드 모델에서는 기존의 분포 매칭 증류(DMD)도 교사 병목을 만든다. 외부 비디오 모델은 행동을 모르고, 모델 자신의 사전학습 네트워크는 학생과 같은 방식으로 표류한다. 교사 없는 픽셀별 회귀도 기록된 클립 안에서 정답과 짝지을 수 있는 상태만 감독하므로 수천 프레임 뒤의 상태는 직접 감독하지 못한다.

어떻게 동작하나

논문은 긴 롤아웃이 반드시 교사와 일치할 필요는 없고, 자신의 장면을 사실적으로 이어가면서 명령된 행동을 따르면 된다고 본다. 사실성과 장면 충실도는 임의의 지평에서도 유효한 실제 데이터 통계로 측정할 수 있고, 행동 추종은 모델의 조건부 생성 손실이 이미 감독한다는 관점이다. 프레셰 포싱(Fréchet Forcing)은 배포용 다단계 샘플러를 모델과 함께 미세조정하며, 생성적 앵커링, 문맥 충실도, 현실 매칭이라는 세 제약을 단위 가중치로 합친다. 교사도, 온라인 비평자도, 긴 비디오도 필요 없고, 모델 구조와 샘플러는 수정하지 않는다. 유일한 요구사항은 샘플러가 미분 가능하다는 점이다.

무엇과 다른가

생성적 앵커링은 플로우 매칭 손실을 유지하되, 모델 자신의 예측 오차가 섞인 역사를 조건으로 준다. 실제 클립에서 역사 길이 c를 1부터 N까지 균등하게 뽑고, 처음 c개 청크를 t_a=0.7로 노이즈화한 뒤 배포용 계단식 샘플러로 그래디언트 없이 디노이즈한다. 이때 역사의 마지막 청크는 재렌더링된 청크가 아니라 깨끗한 실제 청크로 둔다. 이후 W=4개의 실제 청크에 플로우 매칭 손실을 적용한다. 역사를 실제 데이터로 끝내지 않으면 모델이 청크 경계마다 장면을 새로 그리는 법을 배워 심한 깜빡임이 생기는데, 마지막 청크를 실제 데이터로 복원하면 이 경계 불일치가 사라진다. 논문은 이 변경으로 첫 150 스텝의 중앙 플로우 매칭 손실이 0.26에서 0.15로 낮아졌다고 보고한다.

어떻게 쓰나

분포 매칭은 배포 샘플러로 만든 자유 롤아웃에 직접 적용된다. 각 스텝에서 실제 문맥 잠재벡터 하나로 N개 청크를 자기회귀 롤아웃하고, 마지막 K개 샘플러 스텝만 자동미분 그래프에 남긴다. 완료된 청크는 KV 캐시에 디태치된 채 들어가므로 그래디언트는 마지막 K개 청크로만 흐른다. 디태치된 앞부분은 최적화 대상이 아니라 모델을 배포 시 방문하는 상태로 데려가는 역할을 한다. 각 분포 항은 그래디언트가 흐르는 청크를 고정된 특징 추출기로 임베딩하고, 여러 GPU의 특징을 모아 실제 데이터의 1차·2차 모멘트와 프레셰 거리로 맞춘다. 배치 크기와 유효 표본 크기를 분리하기 위해 지수이동평균 모멘트를 유지하고, FD/sg(FD) 형태의 자기정규화 목적함수로 그래디언트 방향을 로그 FD로 바꾼다.

전제와 한계

문맥 충실도는 각 롤아웃이 자기 장면을 유지하게 만든다. 그래디언트가 흐르는 청크의 각 잠재벡터를 채널별 공간 평균과 표준편차로 요약하고, 연속한 두 잠재벡터의 요약을 이어 붙여 특징으로 만든다. 이 특징에서 해당 클립 자체의 정답 구간 평균을 빼서 클립 중심화한 뒤, 같은 구간 길이의 실제 비디오 세그먼트와 프레셰 거리를 계산한다. 이렇게 하면 롤아웃이 데이터셋 평균 모양으로 끌려가는 것을 막고, 클립별 장면 정체성을 유지한다. 현실 매칭은 마지막 D개 청크를 픽셀로 디코딩하고 시간적으로 서브샘플링한 뒤, 고정된 DINOv2 ViT-B/14의 CLS 토큰 임베딩과 실제 프레임 임베딩 사이의 자기정규화 FD를 최소화한다. 기준 모멘트는 원본 비디오가 아니라 동일한 창과 시간 간격으로 디코딩한 VAE 재구성에서 계산하고, 디코더 통계를 맞추기 위해 채점 창 바로 앞 청크 하나를 추가로 디코딩한 뒤 버린다. 이 항은 어둡거나 흐릿하거나 주기적으로 타일링된 프레임을 실제 분포에서 멀어지게 만든다.

실험은 253프레임 클립으로 사전학습된 MiniWorld-1B를 381프레임 클립에서 최대 36 GPU시간 동안 단일 레시피로 미세조정해 진행됐다. 도메인은 DROID 로봇 조작과 Sekai 카메라 제어 탐험이다. 결과적으로 롤아웃은 사전학습 지평의 10배가 넘는 4,000프레임 이후에도 안정적으로 유지되고 두 도메인 모두에서 행동을 계속 따른다. DROID에서 순방향-역방향 에피소드 재생에 대한 PSNR은 4,000프레임까지 21dB 이상을 유지했고, 베이스 모델은 8.9dB였다. 마지막 구간 FVD는 DROID에서 25배, Sekai에서 2.7배 줄었다.

논문은 자유 롤아웃에 대한 순진한 분포 매칭이 실패하는 방식도 분석한다. 주변 FD만 맞추면 모든 롤아웃이 데이터셋 평균 외형으로 끌려가 문맥 의존 기울기가 50스텝 만에 0.92에서 0.50으로 떨어졌다. 롤아웃 전체 N=40개 청크의 통계를 모으면서 마지막 K=8개 청크에만 그래디언트를 주면, 그래디언트가 닿지 않는 앞부분의 표류를 꼬리 청크가 반대로 과보정해 그래디언트-통계 정렬 코사인이 200스텝에 0.96에서 0.39로 무너졌다. 낮은 차수의 잠재 특징 공간만 쓰면 잠재 FD는 8.4에서 5.8로 줄어도 홀드아웃 CLIP-FD는 50스텝의 371에서 200스텝에 446으로 올라갔다. DINOv2 현실 매칭을 더하면 200스텝에서 509~1,021프레임 CLIP-FD가 215로, FM만 쓴 경우의 423보다 낮아졌고, 1,021~1,789프레임에서는 260으로, 등급화 잠재 FD만 쓴 경우의 446과 FM만 쓴 경우의 479보다 낮았다. 400스텝에서는 원거리 CLIP-FD가 188까지 내려갔다. 또한 역사를 재렌더링해 끝내면 자연 비디오의 청크 경계 깜빡임 비율 0.99~1.03보다 높은 1.31이 첫 125프레임에서 나타났고, 실제 청크로 끝내면 1.07로 줄었다. MiniWorld-1B-FF는 전 지평에서 1.05~1.13을 유지했지만 베이스 모델은 1.16에서 1.45로 악화됐다. 제거 실험에서는 현실 매칭을 빼면 CLIP-FD가 248에서 395, FVD가 463에서 745로 나빠지고 선명도가 0.58로 떨어졌다. 문맥 충실도를 빼면 FVD가 463에서 540, 밝기가 0.94에서 0.74로 떨어졌다. 실제 마지막 청크를 빼면 깜빡임이 1.13에서 1.35로 올라갔고, 자기 생성 역사를 깨끗한 정답으로 바꾸면 밝기가 0.74에서 0.44로 떨어졌다.

개발자 관점에서 이 방법은 행동 조건 스트리밍 월드 모델을 로봇 조작, 카메라 제어 탐험, 인터랙티브 시뮬레이션에 쓸 때 참고할 만하다. 긴 녹화 영상이나 교사 모델, 온라인 비평자 없이 배포 샘플러를 직접 미분 가능하게 두고 미세조정할 수 있다는 점이 실무적이다. 다만 미분 가능한 샘플러, 고정 특징 추출기, 지수이동평균 모멘트 버퍼, 마지막 청크로 잘린 역전파가 필요하고, FVD나 CLIP-FD만 보지 말고 행동 추종과 장기 장면 일관성을 별도로 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 이 방법은 시각적 외형을 제약할 뿐 카메라 이동 크기를 직접 맞추지 않아, 회전은 명령 각도의 49~60%에 그친다. 지각 특징 공간이 거친 공간 스케일이라 일부 밝은 롤아웃에서 미세한 주기 텍스처가 생겨도 지표가 잡지 못한다. 분포 항은 모집단 수준이고 단일 317프레임 학습 롤아웃 안에서 도달한 상태만 채점하므로 더 느린 표류는 간접적으로만 제약된다. 일부 클립은 여전히 흐려지고 1,800프레임 이후 FVD가 점진적으로 오른다. 현실 매칭은 프레임 단위라 장거리 일관성을 보장하지 않아, 나중에 다시 방문한 장면이 같아 보일 필요가 없고 눈처럼 드문 장면은 사실성을 유지한 채 지배적 콘텐츠로 표류한다. DROID에서는 4,000프레임까지 롤아웃의 20%에서 조작 대상이 포화된 덩어리가 되거나 균일 표면에 주기 텍스처가 생기는 국소 아티팩트가 나타났고, 대부분 2,500프레임 이후였다. DROID 정답은 연속 녹화가 아닌 에피소드 재생이고, 홀드아웃 에피소드가 사전학습 데이터에 포함됐으며, 실험은 두 도메인과 단일 모델 크기에 한정된다.