GeoFix가 카메라 겹침 편향을 보정해 4D 영상의 기하 일관성을 고친다

무엇인가

비디오 확산 모델은 4D 생성의 사전 모델(prior)로 자주 쓰이지만, 카메라가 움직일 때 배경 구조가 변형되거나 드리프트하는 기하 불일치를 만든다. 장면 구조와 동역학이 시간과 시점에 걸쳐 일관되게 유지되어야 하는 4D 생성에서는 치명적이다. 기존 연구는 기하학적 보상을 설계해 사후학습하는 방식으로 접근했는데, 이런 보상을 직접 최적화하면 텍스처와 세부 묘사가 무너져 외형 보상을 추가로 넣거나 보상 가중치를 정교하게 조율해야 했다. 이 논문은 "단일 기하 보상만으로 기하 일관성과 영상 화질을 동시에 올릴 수 있는가"를 질문하고 GeoFix를 제안한다.

어떻게 동작하나

GeoFix는 FOCAL(FOV-Calibrated geometric reward), 스티칭된 4D 재구성기, 정렬(alignment) 방법 세 가지로 구성된다. 핵심인 FOCAL은 RGB 재구성 오차 대신 정적 장면 영역에서의 시점 간 깊이(depth) 일관성을 측정한다. 반사 하이라이트 같은 시점 의존 효과 때문에 RGB는 기하 일관성의 신호로 불안정하고, 이를 최적화하면 시점 간 매칭이 쉬운 블러 영상이 선호되기 때문이다. 깊이 재투영은 색이나 텍스처가 일치할 것을 요구하지 않는다. 또 사전학습된 모션 세그멘테이션 네트워크로 동적 영역 마스크를 만들어, 정당한 객체 움직임을 기하 불일치로 벌하지 않도록 두 시점 모두에서 정적인 픽셀만 비교한다. 재투영 오차(MSE)를 PSNR 형태의 원점수 R_raw로 변환한다.

무엇과 다른가

여기서 저자들이 발견한 것이 겹침 편향(overlap bias)이다. 깨끗한 실제 영상과 다중 시점 4D 데이터셋조차 카메라 시야(FOV) 겹침이 클수록 깊이 재투영 오차가 작아진다. 즉 카메라를 덜 움직이면 기하가 좋아진 것처럼 점수가 올라가고, 기존 기하 보상들도 같은 경향을 보인다. 저자는 구면 상의 균일 샘플링으로 카메라 FOV의 면적 가중 IoU인 겹침 Ω를 정의하고, 참조 영상들로 R_raw = α + β·log10 max(Ω, ε_fov) 관계를 회귀 적합해 기울기 β̂를 얻는다. 그리고 R_FOCAL = R_raw − β̂·log10 max(Ω, ε_fov), 동등하게 R_FOCAL = 10·log10(D_max² / ((MSE+ε)·max(Ω, ε_fov)^γ))로 보정한다(γ = β̂/10). 보정 계수는 참조 영상에서만 추정해 정렬 과정 내내 고정하며, 보정 후에는 학습에 쓰지 않은 실제·생성 영상에서도 점수-겹침 기울기가 거의 0이 된다.

어떻게 쓰나

보상을 latent에서 직접 계산하기 위해, 저자들은 사전학습된 4D 재구성기(NeoVerse)에 모델 스티칭을 적용한다. 경량 스티칭 레이어 S_φ가 비디오 latent를 재구성기 k번째 레이어 출력의 특징 공간으로 매핑하고, 나머지 레이어 F_{k+1:L}로 초기화한 학습 가능한 모듈 R_ψ가 이를 이어받아 깊이 맵, 카메라 포즈, 내부 파라미터, 4D 가우시안 표현을 한 번에 출력한다. VAE 디코더와 재구성기 초기 레이어를 건너뛰므로 연산이 절약되고, VIST3A가 보고한 대로 latent 섭동에 더 강건하다. 두 모듈은 동결된 교사 모델의 출력을 따라가는 증류 손실 L_stitch로 공동 학습되며, 이렇게 만든 스티칭 재구성기는 원본 RGB 입력 재구성기보다 재구성 충실도가 높다고 논문은 밝힌다(Table 6). FOCAL은 latent에 대해 미분 가능하고 VAE 디코딩이 필요 없어, DiffusionNFT 사후학습, Best-of-N 선택, DPS 스타일 그래디언트 가이던스에 수정 없이 꽂힌다.

전제와 한계

실험은 학습 시 Wan2.2-TI2V-5B를 쓰고 MultiCamVideo·UltraVideo 지도학습 손실과 VideoUFO 프롬프트에서 스텝당 64개 롤아웃을 뽑아 FOCAL로 채점한 DiffusionNFT 손실을 함께 최적화한다. 베이스라인은 베이스 모델, SFT, VIST3A, World-R1이며, 코드와 체크포인트를 공개하지 않은 VGGRPO는 논문에 보고된 수치와 비교한다. 200개 T2V-CompBench 프롬프트로 4DGS 장면을 만들어 렌더링 영상으로 평가했고, WorldScore 3D 일관성 39% 향상과 VBench Quality Score 4% 향상을 보고한다. 추론 시 정렬은 Wan2.2-Fun-5B-Control-Camera에 355개 VBench-I2V 이미지와 10개 카메라 궤적을 짝지어, NFE 50, Best-of-N은 N=20, DPS는 3~17 스텝으로 평가했으며 카메라 정확도와 WorldScore가 함께 개선되고 모션 정확도·크기는 소폭만 줄었다. 4D 장면 생성은 MoGe4D, 4DNeX와 VBench-I2V 100개 이미지로 비교해 일관성 지표에서 가장 좋았다. 다만 Table 1~4의 개별 수치는 발췌된 원문에 제시되지 않았다.

절제 실험에서 보상이 실제로 기하를 재는지 확인한다. 깊이에 사인 변위를 주는 warp, 세로로 늘리는 squeeze, 시차를 뒤집는 depth-layer warp, 깊이는 두고 포즈만 회전시키는 pose drift 네 가지 손상에 대해 FOCAL이 단조 감소했다. 반대로 VBench 보상 다섯 개로 직접 파인튜닝하면 영상이 포화되고 학습을 늘리면 블러와 그리드 아티팩트가 생긴다. FOV 보정을 끄면(γ=0) 모델이 카메라 움직임을 줄여 더 쉬운 보상을 얻으려 해 동적 모션이 사라지고, 보정을 켠 설정은 γ=1과 동적 정도가 비슷하면서 VBench 화질이 가장 높았다.

실무에서는 카메라 제어 영상 생성, 신규 시점 합성, 이미지→4D 장면 생성 파이프라인의 보상 설계에 바로 참고할 만하다. 다만 도입 전에 확인할 전제가 있다. 스티칭 재구성기가 특정 4D 재구성기(NeoVerse)에 묶여 있고 학습·추론 모델이 같은 VAE를 공유해야 하며, 정적 영역 판정이 사전학습 모션 세그멘테이션 품질에 의존하고, 보정 계수 γ는 참조 데이터셋에서 한 번 추정해 고정하는 상수라는 점이다. 발췌된 원문에는 별도의 Limitations 절이 없어 저자가 명시한 한계는 이 전제들 수준이며, VGGRPO 비교가 재현이 아닌 논문 보고 수치에 의존한다는 점도 저자들이 밝히고 있다.