RealMe가 희소 저해상도 촬영을 2K 4D 일관 볼류메트릭 영상으로 확장한다

무엇인가

이 논문이 푸는 문제는 값비싼 dense 다시점 촬영 장비 없이 볼류메트릭 영상을 만드는 것이다. 기존 4D 재구성 기법들은 입력 프레임을 직접 최적화 근거로 쓰기 때문에, 시점이 희소하거나 영상 품질이 낮으면 성능이 급격히 떨어진다. 생성 모델로 촬영 요구사항을 낮추려는 시도들은 시점별로 독립 생성해 시점 간 외관이 어긋나거나, 2단계 파이프라인에서 생성과 재구성 사이에 오차가 누적되는 문제가 있었다. 또 최신 비디오 생성 백본의 네이티브 해상도가 1K 미만이라 볼류메트릭 영상에 필요한 화질에 못 미친다는 점도 저자들이 지적하는 핵심 제약이다.

어떻게 동작하나

RealMe의 절차는 먼저 보조 데이터를 만드는 데서 시작한다. 입력 영상과 카메라 포즈로 coarse 4DGS를 재구성한 뒤, 입력 카메라 포즈를 궤적으로 보간해 N_v개의 신규 시점 포즈를 샘플링하고 그 포즈에서 coarse 4DGS를 렌더링해 신규 시점 영상을 얻는다. 이와 별도로 원본 입력 영상에서 오프라인 검출기로 ROI 박스를 뽑아 크롭 영상을 만든다. 신규 시점 영상과 ROI 크롭 영상은 서로 공간 범위가 다르므로 하나로 이어 붙이지 않고 두 개의 별도 조건 타입으로 취급해 각각 강화한 뒤 통일된 출력 해상도로 변환한다.

무엇과 다른가

생성 모델은 14B FLUX.1 [dev] 이미지 확산 모델을 비디오 확산 모델로 개조한 것이다. 동결된 VAE 인코더로 조건 잠재 z_L을, 동결된 텍스트 인코더로 c_text를 얻고, ControlNet 분기가 각 DiT 블록에 제어 신호를 넣는다. 이미지용 3축 위치 ID는 프레임·시점이 다른 토큰이 같은 격자 좌표를 받아 모호해지므로, 프레임 t, 시점 s, 격자 (u,v)로 이루어진 4차원 layout-aware ID를 정의하고 각 축에 RoPE를 적용한다. 어텐션은 전체 토큰을 평탄화해 한 번에 처리하는 대신, 공간 축을 이미지 패치가 아니라 시점으로 두고 시간 축과 공간 축으로 분해해 적용한다. 이렇게 해야 디노이징 과정에서 시간적 역학과 다시점 관계가 각각 전파된다.

어떻게 쓰나

학습에서는 ControlNet 전체와 일부 DiT 모듈의 LoRA 어댑터만 갱신하고 VAE·텍스트 인코더·나머지 DiT 파라미터는 동결한다. 목적함수는 flow matching 손실에 잠재 주파수 손실을 더한 형태다. 예측된 clean 잠재와 정답 잠재의 FFT에서 저주파·고주파 크기 성분을 각각 L1으로 비교해, 저주파 구조를 유지하면서 고주파 디테일을 복원하도록 잠재 공간에서 직접 감독한다. 최종 4D 재구성은 FTGS를 기반으로 하며, 원본 촬영 8시점과 신규 시점·ROI 조건에서 강화된 40개 생성 시점이 함께 4DGS를 감독한다. ROI 영상은 기록된 크롭 박스를 이용해 전체 프레임 좌표로 되돌려 하나의 장면 표현을 최적화한다.

전제와 한계

실험은 자체 촬영 데이터셋 RealVV와 공개 DNA-Rendering 벤치마크에서 수행했다. RealVV는 20명 배우의 100개 시퀀스, 시퀀스당 48~80시점, 시점당 300프레임으로 총 140만 장 이상의 다시점 이미지를 담고 있고, 평가에는 학습에서 제외한 7개 시퀀스(48시점, 시점당 180프레임, 2560×1440)를 쓴다. DNA-Rendering은 4개 시퀀스를 zero-shot으로 평가하며 1024×1024 해상도, 시점당 120프레임이다. 두 데이터셋 모두 공간적으로 분산된 8개 시점을 입력으로 주고 나머지 시점으로 신규 시점 합성을 평가한다. 비교 대상은 FTGS, DIFIX3D+, 4C4D, 4K4D, Diffuman4D, 그리고 디테일 강화 비교용 STAR·FlashVSR이다. 저자들은 RealMe가 두 데이터셋 모두에서 최고 화질을 달성했다고 서술하며, FTGS는 희소 관측으로 보이지 않는 영역을 제약하지 못해 품질이 낮고, DIFIX3D+는 국소 디테일은 살리지만 장면 외관을 일관되게 유지하지 못하며, Diffuman4D는 전신 인체에 특화돼 배경을 모델링하지 못하고 RealVV의 망원 클로즈업 뷰로 일반화되지 않는다고 지적한다. 4카메라 설정 비교와 생성 영상-입력 영상 간 일관성 비교(PSNR_c, SSIM_c, LPIPS_c), 시간적 안정성(TWE)에서도 우세하다고 보고한다. 다만 본문에는 표의 구체적 수치가 제시되어 있지 않고, 정성적 비교와 표 참조만 있다.

절제 실험에서 입력 시점 수를 4개에서 8개로 늘리면 큰 향상이 있지만 16개로 늘리면 추가 이득이 제한적이어서 8시점을 기본값으로 삼는다. layout-aware 위치 임베딩을 제거하면 PSNR_c가 떨어지고, 분해 어텐션을 전체 어텐션으로 바꾸면 화질과 일관성 지표가 모두 하락한다. 잠재 주파수 손실은 이미지 공간 버전보다 잠재 공간 버전이 가장 좋았는데, 이미지 공간 실험은 2K 학습이 메모리 부족으로 1K 해상도에서 수행했다고 밝힌다. 구현은 DiffSynth-Studio, 8×H100에서 96시간, 유효 배치 8, 학습률 1e-4, 주파수 손실 가중치 0.1, bf16 혼합정밀도와 그래디언트 체크포인팅을 사용했고, 학습 타깃은 2560×1440, 조건 영상은 1280×720으로 맞췄다.

개발자 관점에서 이 논문의 쓸모는 재구성 파이프라인 앞에 생성 모델을 두는 설계 패턴에 있다. 카메라 포즈와 시간, 시점 레이아웃을 위치 임베딩과 어텐션 구조에 직접 반영해야 4D 일관성이 나온다는 점, 그리고 생성 결과와 실제 촬영 사이의 도메인 격차를 잠재 공간 주파수 감독으로 메운다는 점이 실무적으로 참고할 만하다. 다만 14B급 확산 모델을 8×H100에서 96시간 학습시키는 비용이 들고, 추론 시 고해상도 확산 비용이 그대로 남는다는 점은 도입 전에 반드시 따져야 한다. 또한 이 방식은 생성된 시점이 최종 4DGS 최적화의 감독 신호로 들어가므로, 생성 아티팩트가 재구성 결과에 직접 반영될 위험도 함께 검토해야 한다.

저자들이 밝힌 한계는 명확하다. 고품질 다시점 데이터셋 자체가 드물어 학습 데이터가 제한적이고, 큰 장면이나 복잡한 카메라 설정으로의 일반화가 약하다. 입력 촬영이 유효한 coarse 4DGS를 초기화할 만큼의 기하 단서를 주지 못하면 방법 자체가 실패할 수 있다고 인정한다. 학습 데이터 확장과 고해상도 확산 추론 가속을 향후 과제로 남긴다.