SolarRenderer가 임의 구조 영상을 4스텝 실사 비디오로 렌더링한다

무엇인가

이 논문은 게임 엔진이나 코딩 에이전트가 장면의 레이아웃, 물체 움직임, 카메라 경로를 이미 정해 둔 상황에서 그 거친 구조를 따라가면서 재질·조명·작은 디테일은 채워 넣는 구조 조건부 비디오 렌더링을 다룬다. 기존 렌더러는 특정 엔진의 표현에 묶여 있고, 수십 번의 디노이징 스텝이나 비싼 자체 증류가 필요하며, 학습 조건이 목표 비디오와 프레임 단위로 정렬되지 않는 문제가 있다고 지적한다. SolarRenderer는 이 세 문제를 각각 임의 구조 제어, 4스텝 가속, 프레임 정렬 데이터로 풀겠다고 주장한다.

어떻게 동작하나

방법의 중심은 고정된 MiniMax-H3 33B Ref2VA 백본에 두 개의 가벼운 LoRA를 붙이는 것이다. 구조 비디오는 백본의 네이티브 레퍼런스 경로로 들어가고, k번째 구조 잠재 프레임은 그것이 설명하는 k번째 타깃 잠재 프레임의 RoPE 위치를 받는다. 참조 토큰에는 타입 식별자나 모달리티 임베딩을 붙이지 않고, 각 표현을 고정 문장으로 프롬프트에 설명해 하나의 제어 LoRA가 블록아웃, 시맨틱 맵, 셰이딩된 지오메트리, 바디 메시 등을 모두 따르게 한다. 첫 프레임과 텍스트는 선택적으로 함께 들어가며, 구조+첫 프레임, 구조만, 첫 프레임만, 텍스트만의 네 입력 조합을 모델링한다.

무엇과 다른가

학습은 제어와 가속을 분리한 2단계다. 1단계에서는 플로우 매칭 목적으로 제어 LoRA를 학습해 W=W0+ΔW_ctrl로 백본을 적응시키고, 손실은 타깃 비디오 토큰에만 계산한다. 2단계에서는 같은 백본의 사전학습된 4스텝 DMAD LoRA(랭크 128)를 랭크 384 가속 LoRA의 첫 128랭크로 초기화하고 나머지는 0 업데이트로 시작해 W=W0+ΔW_ctrl+ΔW_acc로 합성한다. 이때 제어 LoRA는 고정하고 가속 LoRA만 구조 유도 분포 매칭으로 업데이트한다. 교사는 고정된 1단계 풀스텝 모델이고, 가짜 점수 LoRA는 교사에서 초기화해 생성기 업데이트 5회당 1회, 학습률 2×10^-6과 10^-5로 갱신하며 w=1.5, 800회 반복한다. 교사 예측을 z0^w = z0(C)+(w-1)(z0(C)-z0(C_empty))로 외삽해 구조 비디오가 기여하는 윤곽·레이아웃·캐릭터 위치 신호를 증폭한다. 결과적으로 4스텝 렌더링이 50스텝 샘플링보다 12.3배 빠르면서 학습된 제어를 보존한다고 주장한다.

어떻게 쓰나

스트리밍을 위해 같은 설계를 블록 인과 어텐션으로 확장한다. 클립을 최대 5개 잠재 프레임 블록으로 나누고, 각 블록이 프롬프트, 첫 프레임, 자기 블록과 앞선 5개 블록의 구조 및 깨끗한 프레임에만 어텐션하도록 교사 강제로 인과 제어 LoRA를 적응시킨 뒤 고정한다. 이어 양방향 4스텝 LoRA에서 초기화한 별도 가속 LoRA를 학생의 블록별 롤아웃에 대해 후학습한다. 추론에서는 가속 LoRA를 백본에 병합하고 제어 LoRA는 붙인 채 블록마다 4스텝 샘플링하며, 고정 윈도 키-값 캐시와 스트리밍 VAE 디코더로 768p 비디오를 최대 28FPS로 실시간 렌더링한다고 보고한다.

전제와 한계

학습 데이터는 게임 엔진, 시뮬레이터, YouTube에서 모은 136K 클립, 약 243시간 분량이다. 각 클립은 24fps, 768p의 158프레임 윈도이고, Magpie, CARLA, 엔진 녹화, Blender, UnrealZoo, YouTube, WildWorld, OmniWorld의 8개 소스를 쓴다. 조건이 목표와 시간·내용에서 맞고 충분한 구조를 담을 때만 구조 감독으로 사용하며, 67.1%는 구조와 첫 프레임을 함께 제공한다. Magpie는 44,266개 중 32,027개를 동기화 감사로 남겼고, 엔진 녹화는 84개 모션 윈도 중 80개의 최적 오프셋이 0이었으며 깊이-카메라 재투영 중앙 오차는 0.06%, 근거리 깊이 변환은 13,702개 중 13,700개를 유지했다. YouTube는 559개 중 137개만 명확한 주인공이 있어 남겼다.

실험은 정답 비디오가 있는 in-distribution 테스트셋과 16개 구조 표현을 포함하는 일반화 벤치마크에서 진행됐고, 그중 11개는 학습에서 보지 못한 표현이다. 저자들은 4스텝 모델이 기존 가속 LoRA와 공식 백본을 능가하고 기존 구조 조건부 렌더러를 넘어 구조 조건부 비디오 렌더링의 새로운 SOTA를 달성한다고 주장한다. 학습에 없는 표현만 모은 74개 사례에서 구조 평가는 1360으로 LynnReal-Omni의 1275보다 높았고, 전체 평가는 그 경쟁자보다 6점 낮았지만 품질 평가는 더 높고 첫 프레임 평가는 약간 낮았다. 4스텝 모델은 일반화 벤치마크의 네 질문 모두에서 1단계 모델을 개선했고 자동 총점은 70.6 대 70.4였다. 기존 방법과의 직접 비교에서 두 테스트셋 모두 승-패 마진이 음수가 아니었고, LynnReal-Omni와는 일반화 벤치마크 전체가 비슷했지만 구조 마진이 +0.27이었으며 in-distribution에서는 네 질문 모두 우세했다. 다른 15개 연구의 86개 데모 사례 비교에서는 49승 13무 24패, 순점수 +0.29를 기록했다.

개발자 관점에서 이 논문은 엔진이나 코딩 에이전트가 만든 거친 장면 구조를 빠르게 실사 프리비주얼라이제이션으로 바꾸는 파이프라인에 의미가 있다. 엔진별 분기나 조건 타입 식별자 없이 단일 제어 LoRA로 여러 구조 표현을 처리하고, 4스텝 및 블록 인과 스트리밍 추론을 노린다는 점이 실무적이다. 다만 도입 전에는 구조 프레임과 타깃 프레임의 시간·공간 정렬, 고정 설명 문장, 첫 프레임 유무, 해상도와 스트리밍 지연을 확인해야 한다. 저자들이 밝힌 한계로는 일부 개별 포맷, 예컨대 컬러 매핑 깊이, 복셀, 연필 스토리보드는 여전히 풀스텝 샘플링이 더 낫고, 후학습이 안정성과 첫 프레임 보존을 낮추며, 실제 비디오에서 추정한 조건은 추정기 오차를 갖기 때문에 엔진 수출 또는 피팅된 프레임 정렬 데이터가 중요하다는 점이 남는다. 또한 0.25m 블록으로 만든 더 세밀한 프록시는 깜빡임이 4~7배 높아 채택하지 않았다고 밝힌다.