WorldForge V2가 워프 참조의 잡음 불일치를 줄여 카메라 궤적을 맞춘다

무엇인가

비디오 확산 모델은 대규모 영상으로 학습하면서 3D/4D 장면의 사전 지식을 상당히 갖췄지만, 카메라를 원하는 경로로 움직이는 일은 여전히 어렵다. 카메라 운동이 장면 안의 물체 움직임과 뒤엉키고, 시공간 일관성이 깨지며, 시점 제어가 정밀하지 않다. 기존 해법은 두 갈래였다. 자세 조건 인터페이스나 제어 모듈을 붙여 파인튜닝하거나, 후처리로 워핑하는 방식이다. 전자는 궤적-영상 쌍의 대규모 감독을 요구하고 데이터가 적으면 사전 학습된 시각·시간 사전 지식이 약해진다. 후자는 시각적 아티팩트가 생기고 일반화가 나쁘다. WorldForge V2는 워핑-재도색 경로를 택한다. 소스 이미지나 영상, 목표 카메라 경로가 주어지면 기하 워핑으로 궤적 참조와 가시성 마스크를 만들고, 사전 학습 모델은 새로 드러난 영역을 합성한다. 문제는 이 참조를 어떻게 노이즈가 낀 잠재 공간에 넣느냐다.

어떻게 동작하나

논문이 지목하는 핵심 실패 원인은 디노이징 상태 도메인 갭이다. 워핑된 가시 영역을 현재 노이즈 레벨로 다시 노이즈화해 잠재 변수에 직접 끼워 넣으면(식 6), 그 영역은 외부에서 새로 뽑은 가우시안 노이즈를 따르고 나머지 영역은 모델 자신의 디노이징 궤적을 따른다. 같은 잠재 변수 안에 서로 다른 노이즈 상태가 공존하는 것이다. 저자들은 이것이 경계 불연속, 기하 아티팩트, 노이즈 패치, 텍스처 열화로 나타난다고 본다. 따라서 목표는 워핑 참조가 주는 궤적 증거는 살리되, 융합이 만드는 상태 불일치는 줄이는 것이다.

무엇과 다른가

첫 번째 구성 요소인 IRR은 융합 장소를 노이즈 잠재가 아니라 모델이 예측한 깨끗한 추정치로 옮긴다. 각 디노이징 스텝에서 한 단계 깨끗한 추정치를 얻고(식 2), 가시성 마스크 아래에서 워핑 참조와 그 추정치를 합친 뒤(식 7), 하나의 가우시안 노이즈로 현재 노이즈 레벨에 다시 매핑해 속도를 예측한다(식 8). 모든 영역이 같은 노이즈 실현을 공유하므로 상태 갭이 줄어든다. 두 번째, FLF는 VAE 채널마다 담는 정보가 다르다는 관찰에서 출발한다. 인접 프레임 사이의 광류를 Farneback(대안은 RAFT)으로 계산해 정규화된 끝점 오차, 각도 오차, 이상치 비율을 합산한 채널 점수를 만들고(식 9), 평균과 표준편차로 정한 적응 임계값을 넘는 채널에만 궤적 참조를 주입한다(식 10). 초기 고노이즈 스텝에서는 채널을 넓게 잡아 거친 운동을 세우고, 외형 디테일이 나오는 후반에는 선택을 좁힌다. 카메라 운동과 외형 왜곡을 분리하려는 장치다.

어떻게 쓰나

세 번째, DSG는 궤적을 주입한 예측과 주입하지 않은 원래 예측을 나란히 비교한다. 저자들이 측정한 두 속도 벡터의 코사인 유사도는 0.3~0.6, 각도로 50~70도 수준이다. 표준 CFG의 두 분기가 거의 평행한 것과 대비된다. IRR과 FLF가 조건이 아니라 잠재 자체를 바꾸기 때문에 차이가 커진 것이다. 그래서 CFG식 외삽을 그대로 쓰면 업데이트가 과해진다. DSG는 두 속도의 크기를 맞추고 기저 방향에 직교하는 궤적 성분만 반영한다(APG 원리). 네 번째, v-cache는 IRR의 깨끗한 추정치 융합이 만드는 보정을 노이즈 잠재 공간에서 근사한다. 직전 디노이징 예측을 재사용해 추가 모델 평가 없이 보정을 적용하므로 추론 지연이 줄어든다.

전제와 한계

학습 없는 경로 위에 논문은 최적화 기반 확장도 얹는다. 전체 모델 파인튜닝이나 큰 제어 모듈은 제한된 감독을 비효율적으로 쓴다는 판단에서다. FLF가 잠재 채널에서 운동 관련 채널을 찾았듯, 여기서는 네트워크 블록 수준으로 국소화를 확장한다. Shapley 분석으로 각 self-attention 블록이 궤적 감독에 얼마나 반응하는지 점수를 매기고, 상위 블록에만 LoRA를 붙인다. LongCat은 반응 블록이 중간~후반 층에 흩어져 있고, H3는 후반 층에 더 규칙적으로 몰린다. 학습은 2단계다. 먼저 가이드 샘플링 중 기록한 중간 상태에 어댑터를 적응시키는 앵커 워밍업을 하고, 2단계에서 추가 노이즈 레벨의 가이드 입력을 구성해 학습한다. 랭크 128 LoRA에 궤적-영상 쌍 50개가 기본 설정이다.

실험은 DL3DV 장면의 3D 가우시안 스플래팅 표현에서 궤적-영상 쌍을 만든다. 소스 뷰를 목표 경로로 워핑해 부분 참조와 마스크를 얻고, 같은 경로로 렌더링한 영상을 정답으로 쓴다. 주 비교는 40개 장면에서 장면당 무작위 궤적 5개, 총 200개 테스트 케이스이며 시퀀스는 25~93프레임, 학습과 테스트 장면은 분리된다. 정적 3D 생성에서는 See3D, ViewCrafter, ViewExtrapolator, TrajectoryAttention, TrajectoryCrafter, NVS-Solver와 비교해 FID·CLIP 유사도를 포함한 모든 정적 지표에서 최고를 기록했다고 주장한다. 동적 4D 재렌더링에서는 ViewExtrapolator, TrajectoryAttention, TrajectoryCrafter를 상대로 FVD, CLIP-V 유사도, RPE-T, RPE-R에서 앞선다. 다만 제시된 본문 범위에는 표의 절대 수치가 없어, 개선 폭은 원문 표를 직접 확인해야 한다.

Trajectory LoRA 쪽은 LongCat이 8개 장면으로 상위 36개 블록(약 75%)을 1,200회 업데이트, H3가 단일 장면으로 상위 38개 블록을 1,500회 업데이트해 학습했다. 두 모델 모두 UniWorld-View, TrajectoryCrafter, SymphoMotion, Warp-as-History를 상대로 PSNR, SSIM, LPIPS, Vis-LPIPS, Disocc-LPIPS 다섯 재구성 지표 전부에서 앞섰고, H3는 지역 카메라 오차도 가장 낮았다. 절제 실험에서는 FLF나 DSG를 빼면 정적·동적 품질이 떨어지고, DSG를 CFG 형태로 바꾸면 더 나빠졌다. 블록 선택은 상위 3/4만 적응시켜도 전체 블록 적응과 대등하거나 나았고, 같은 블록 수에서 민감한 절반이 무작위 절반보다, 무작위가 저반응 절반보다 좋았다. 장면 다양성은 1개 장면만으로도 동작하며 대부분의 이득은 2~4개에서 나오고 8개로 늘려도 추가 이득은 제한적이었다. 학습 없는 가이드는 U-Net 기반 SVD와 Transformer 기반 LongCat-Video 모두로 전이되고, 깊이·광류 추정기를 바꿔도 유지된다. LongCat 어댑터는 추가 파인튜닝 없이 Warp-as-History와 Go-with-the-Flow에도 붙는다.

실무적으로 이 논문은 두 가지 진입점을 준다. 이미 찍어둔 영상이나 한 장면을 새 카메라 경로로 다시 렌더링하거나, 3D/4D 장면 생성과 월드 모델에서 시점을 통제해야 할 때, 학습 없는 경로는 고정된 백본 위에 바로 얹을 수 있다. 궤적 준수가 더 중요하면 소량의 궤적-영상 쌍으로 궤적 민감 블록만 LoRA로 학습하는 쪽이 선택지다. 도입 전 확인할 전제는 명확하다. 이 파이프라인은 VGGT·UniDepth 같은 기하 추정기에서 얻은 깊이와 포즈로 워핑하기 때문에, 참조에는 구멍, 가려짐 해제, 깊이 경계 오류가 포함된다. 즉 최종 품질은 기하 추정기와 소스 뷰의 품질에 묶인다. 저자들이 밝힌 다음 과제는 장기 시퀀스와 실시간 스트리밍 생성에서의 카메라 제어이며, 학습·추론 효율 수치는 보충자료 표 S4로 미뤄져 본문에는 제시되지 않는다.