비디오 확산 모델을 표정·자세·카메라 제어 아바타로 만든다

무엇인가

이 논문은 단일 인물 사진 한 장을 입력으로 받아, 임의의 표정과 상체 자세, 카메라 시점에서 그 사람을 렌더링하는 아바타 문제를 다룬다. 기존 주류는 3DGS나 복셀 같은 명시적 3D 자산을 만들고 3DMM으로 표정을 구동하지만, 대규모 3D 학습 데이터가 없고 그림자·반사·굴절·머리카락 동역학을 명시적으로 렌더링하기 어렵다. 또 3DMM은 혀와 입 안쪽 같은 표현 범위에 한계가 있고, 2D-to-3D 정합에서 충실도 손실이 생긴다. 저자들은 아바타가 반드시 3D 자산일 필요는 없다고 보고, 인터넷 규모 데이터로 학습된 비디오 확산 모델의 사전 지식을 직접 제어 가능한 아바타로 쓰는 쪽을 택한다.

어떻게 동작하나

제안하는 VDA는 WAN-Animate-14B를 미세조정해 단일 참조 이미지로부터 목표 카메라에서의 비디오를 생성한다. 조건은 프레임별 표정 코드, 목표 카메라로 렌더링한 프록시 메시와 스켈레톤, 참조 이미지다. 명시적 3D 표현을 만들지 않기 때문에 다중 시점 일관성은 구조적으로 보장되지 않고 학습으로 얻어야 한다. 이를 위해 참조·드라이버·타깃 카메라가 서로 다른 카메라 삼중항을 학습 단위로 쓴다.

무엇과 다른가

표정 제어에서는 3DMM 대신 학습된 표현 공간을 쓰되, 저자들이 만든 DISTRACT 벤치마크로 학습된 인코더의 시점 편향을 드러낸다. NeRSemble에서 같은 인물·시점의 다른 카메라, 다른 인물의 같은 표정을 평가하는데, X-NeMo 코드는 시점 불변성 Rank-1이 18%에 그쳤다. 그러나 동결된 잠재에 작은 MLP 프로브를 붙이면 98%까지 올라가므로, 표정 정보는 살아 있지만 시점과 얽혀 있다고 해석한다. 그래서 MLP 기반 분리기 D가 원시 코드를 표정 잠재와 카메라 잠재로 나누고, 결합기 E가 이를 재구성하며, 대조 손실과 순환 일관성 손실로 분리를 학습한다. 분리된 X-NeMo 표정 잠재는 번역기 T를 거쳐 WAN-Animate의 표정 공간으로 옮겨지고, 시점 중립 카메라 코드와 결합해 얼굴 퓨저 블록으로 주입된다. DiT 블록은 동결해 사전 지식을 최대한 보존한다.

어떻게 쓰나

자세와 카메라 제어는 2D 스켈레톤 대신 SAM-3D-Body에서 얻은 3D 스켈레톤과 프록시 메시를 쓴다. 프록시 메시는 FLAME 머리와 SAM-3D-Body 몸통을 결합하고, 각 픽셀을 카메라 광선 방향의 Plücker 좌표 방향 성분과 램버시안 셰이딩으로 색칠한다. 머리 픽셀은 머리 로컬 좌표계, 몸통 픽셀은 골반 정렬 좌표계로 방향을 표현해, 머리와 몸통의 색 대비가 목 자세를 담고 카메라 시점과 목 회전을 분리 가능하게 만든다. SAM-3D-Body의 프레임별 잡음을 줄이기 위해 골반 고정 운동학 피팅을 도입하며, 앉은 촬영 설정을 가정하지만 추론에서는 시간적 평활화로 완화할 수 있다고 밝힌다.

전제와 한계

학습은 rectified-flow 매칭 손실로 수행하고 보조 손실은 쓰지 않는다. 목표 잠재에 가우시안 노이즈를 더한 뒤 디노이저가 속도를 예측하며, 가중치는 sigma=0.5에서 봉우리인 종형을 쓴다. 참조 이미지 잠재는 노이즈 잠재에 연결하고 손실에서는 제외한다. NeRSemble과 AVA-256 같은 공개 다중 시점 데이터로 단일 A100에서 34시간 학습하고, 추론은 20 디노이징 스텝이다. 카메라 삼중항 덕분에 드라이버와 타깃 시점이 달라 표정 코드 안의 시점 정보가 오히려 방해가 되고, 학습이 이를 억제한다는 것이 저자들의 설명이다.

실험은 BecomingLit, Multiface, VFHQ-test에서 단일 이미지 3D 아바타인 LAM, FlexAvatar, UIKA와 증류 기반 CAP4D, MVP4D를 비교한다. FaceCam은 표정 제어가 없어 다중 시점 일관성 프로브에만 포함한다. 저자들은 BecomingLit에서 얼굴 LPIPS를 29% 줄이고 JOD를 66% 높였다고 보고하며, 두 데이터셋의 모든 지표에서 모든 베이스라인을 앞선다고 주장한다. 정적 3DGS 재구성 프로브에서도 생성 결과로 닫힌 타원 궤적을 따라 3DGS를 피팅한 뒤, 생성 궤적에 없는 16개 실제 리그 카메라에서 렌더링해 비교했을 때 모든 지표에서 베이스라인을 앞서고 더 선명했다. 이는 생성 결과가 시점 간에 일관적이라는 증거로 제시된다. 절제 실험에서는 프록시 메시 없이 ViT-Pose 스켈레톤만 쓰면 PSNR이 4.1dB 떨어지고 AKD가 0.055에서 0.072로 나빠졌으며, 표정 충실도는 0.912 대 0.920이었다. 분리기와 카메라 삼중항을 모두 빼면 성능이 크게 떨어지지만, 분리기 없이 삼중항만 써도 거의 동등했고, 삼중항 감독만으로 DISTRACT Rank-1이 0.244에서 0.792로 올랐다. 자기 구동 학습은 0.486에 머물렀다.

개발자 관점에서 VDA는 실시간 3DGS 아바타를 대체하는 모델이라기보다, 단일 사진 기반의 고품질 오프라인 아바타 생성 파이프라인에 가깝다. 표정·목 자세·카메라를 분리 제어하는 조건 설계와 공개 다중 시점 데이터만으로 34시간 학습하는 레시피는 사내 아바타 시스템을 비교할 때 유용한 기준이 된다. 다만 매 클립마다 확산 추론 비용이 들고, 긴 시퀀스의 시간적 드리프트와 조명이 참조 이미지에 고정되는 문제를 확인해야 한다. 코드와 체크포인트를 공개하겠다고 밝혔으므로 재현성과 라이선스, 학습 데이터 동의 범위를 함께 검토할 필요가 있다.

저자들이 밝힌 한계는 명확하다. 한 A100에서 576×1024, 77프레임 생성에 약 12분이 걸리고, 긴 시퀀스는 시간적 드리프트가 생기기 쉽다. 이를 완화하려고 Self Forcing으로 4스텝 자기회귀 VDM 프로토타입을 만들었고, 288×512에서 초당 4.8프레임, 1000프레임 이상 시간적 안정성을 보였지만 품질 손실이 조금 있다. 조명은 참조 이미지에 baked되고, 표정 공간은 고정되어 end-to-end로 학습되지 않으며, 방법은 WAN-Animate-14B에 묶여 있다. 윤리적으로는 한 장의 사진으로 사실적인 제어 영상이 만들어져 사칭과 비동의 합성 미디어 위험이 커진다고 명시하며, 학습과 평가는 참가자 동의를 받은 공개 연구 데이터셋에서만 수행했다.