MLLM 잠재표현을 실제로 쓰게 만드는 3단계 학습으로 시네마틱 영상 생성

무엇인가

시네마틱 영상 생성은 두 가지를 동시에 요구한다. 하나는 대본과 몇 장의 참조만으로 행동 순서와 카메라 움직임을 추론하는 것(프레임 단위 지시가 없는 희소 입력), 다른 하나는 캐릭터·장면·행동·카메라를 각각 지시대로 바꾸면서 나머지는 보존하는 팩터 인식 제어다. 멀티모달 대형언어모델(MLLM)의 은닉 상태를 커넥터로 투영해 비디오 Diffusion Transformer(DiT)에 조건으로 넣는 최근 방식들은 이 둘 모두에 유용한 사전지식을 제공할 것처럼 보인다. 하지만 논문은 MLLM 특징을 '사용 가능하게 만드는 것'과 '생성에 실제로 유효하게 만드는 것'이 다르다고 지적한다. DiT가 원래 갖고 있던 텍스트 인코더 경로와 VAE 참조 경로만으로도 손실을 충분히 줄일 수 있어 MLLM 잠재표현을 우회한다는 것, 그리고 비디오 단위 감독만으로는 어떤 조건 변화가 어떤 출력 변화로 이어져야 하는지 명시되지 않는다는 것이 두 가지 장애물이다.

어떻게 동작하나

1단계는 'MLLM 전용 생성기 접지'다. MLLM과 커넥터를 얼린 채 DiT만 학습시키되, 텍스트 인코더와 VAE 참조 조건을 아예 비활성화하고 MLLM 잠재표현만을 유일한 콘텐츠 조건으로 준다. 관측 모드는 두 가지로, 설명문만 주는 텍스트 전용 입력과 설명문에 완전한 영상까지 붙인 입력을 같은 목표 영상에 대해 함께 학습한다(가중치 합이 1). 대체 경로가 없으니 DiT는 두 모드 모두에서 MLLM 잠재표현을 해독하는 법을 배울 수밖에 없다.

무엇과 다른가

2단계는 팩터 인식 제어다. 캐릭터·장면·행동·카메라 네 팩터별로 소스-타깃 영상 쌍을 만들고, 캡션을 네 개의 순서 있는 필드로 재작성해 편집된 팩터의 필드만 바꾼 설명문을 얻는다. 필드 라벨과 경계를 이용하면 MLLM 은닉 상태와 투영된 잠재 시퀀스에서 해당 팩터의 토큰 구간을 주소처럼 특정할 수 있다. 학습 시에는 커넥터 이후·DiT 이전 단계에서 A의 팩터 k 구간을 B의 같은 구간으로 통째로 교체하고, 교체된 조건을 상대편 영상에 대해 감독한다. 양방향으로 수행하며, 토큰 수가 달라도 되도록 구간을 제거·삽입하고 시퀀스 길이와 마스크를 갱신한다. 특징 분리 목적함수 없이 생성기의 반응을 통해 팩터 감각을 학습시키는 것이 핵심이다.

어떻게 쓰나

3단계는 제한된 입력으로부터의 예측이다. 2단계까지 학습한 DiT를 얼려두고, 이번에는 MLLM과 커넥터를 역으로 최적화한다. 텍스트 전용 관측과 텍스트+완전 영상 관측이 동일한 목표 영상을 공유하며, 그래디언트는 얼린 DiT를 통과해 MLLM까지 흐른다. 텍스트 전용 모드는 적은 증거로 예측하는 법을, 완전 영상 모드는 같은 생성 인터페이스를 통한 재구성 감독을 제공한다. 추론 시에는 구조화 프롬프트의 해당 필드만 바꿔 재인코딩한 뒤 원래 잠재표현의 대응 구간만 교체하는 방식으로 팩터 편집을 수행하고, 멀티샷 생성은 샷별 설명과 공유 참조로 독립 생성한다.

전제와 한계

실험은 13B DiT 기반 UniVideo 위에 FAPL을 얹고, 원본 UniVideo와 Omni-Video 2(1.3B, 14B)를 베이스라인으로 비교했다. 학습 데이터는 CoinVE-200K를 주 소스로 OmniVBench 공개 학습 데이터를 보강해 만든 10만 개의 품질 필터링된 소스-타깃 영상 쌍(팩터당 2만5천 개)이다. 평가는 CineFactor-10K에서 희소-투-비디오 5천 케이스, 팩터 편집 5천 케이스(팩터당 1,250), ShotVerse-Bench 100개 시퀀스의 멀티샷 생성으로 나뉜다. 멀티샷에서 FAPL은 FaceSim-Arc 0.523을 기록해 Omni-Video 2(1.3B) 0.412, Omni-Video 2(14B) 0.468, UniVideo(13B) 0.451을 앞섰다.

절제 실험 수치도 구체적이다. 2단계에서 팩터 스왑 없이 같은 쌍 데이터와 예산으로 학습하면 ∩-Acc가 48%인데, 스왑을 넣으면 57%가 된다. 다만 Motion Order와 카메라 오차는 이 대조군 대비 개선되지 않아 이득이 팩터 편집에 집중된다. 3단계에서 텍스트 전용 학습 대신 혼합 관측 학습을 쓰면 Motion Order가 57%에서 61%로, 이동 오차가 0.0629에서 0.0586으로, 회전 오차가 1.26라디안에서 1.02라디안으로 개선됐고 편집 정확도는 57%에서 58%로 비슷하게 유지됐다. 1단계만으로도 사전학습 모델 대비 행동 순서가 좋아지고 카메라 오차가 줄었다.

개발자 관점에서 이 논문의 실용적 메시지는 아키텍처를 바꾸지 않고도 조건 경로를 통제하는 학습 순서만으로 MLLM 조건의 효용을 끌어올릴 수 있다는 것이다. 멀티모달 인코더를 생성 모델에 붙였는데 결과가 프롬프트만 반영하는 것처럼 보인다면, 텍스트·참조 경로를 학습 중 차단해 조건을 강제하는 1단계와, 조건 표현의 국소 구간을 교체해 출력 변화와 연결짓는 2단계를 그대로 이식할 수 있다. 또한 인코더와 생성기를 번갈아 얼리는 3단계 구성은 제한된 입력에서 추론 능력을 요구하는 응용에 참고할 만하다. 다만 3단계는 DiT를 고정하므로 생성기 자체의 표현력이 최종 성능 상한을 결정한다는 점을 확인해야 한다.

저자들이 밝힌 한계는 명확하다. FAPL이 기존 MLLM 조건부 DiT의 근본적 약점을 완화하지만 성능은 기반 모델에 묶여 있다. 현재 MLLM은 3D 블록아웃을 해석하거나 복잡한 카메라 움직임을 추론해 DiT를 제어하는 데 어려움을 겪고, 사전학습된 DiT는 시각적 충실도와 사실적인 연기 같은 복잡한 팩터 구현을 제한한다. 향후 과제로 더 강력한 MLLM과 더 유능한 비디오 생성기를 결합하는 것을 제안한다.