UniAVC가 비대칭 노이즈 스케줄로 오디오와 비디오 생성을 한 모델에 통합한다

무엇인가

오디오-비디오 생성은 지금까지 몇 갈래로 따로 발전해 왔다. 한 번에 영상과 사운드를 함께 합성하는 조인트 생성기, 한쪽 양식을 다른 쪽 조건으로 삼는 크로스모달 모델, 텍스트 지시로 기존 클립을 고치는 인스트럭션 편집기, 그리고 사전학습 백본에 제어 어댑터를 붙이는 방식이다. 각 갈래는 자기 가중치와 학습 코퍼스, 담당 과제 범위를 따로 갖고 있어서 실무에서는 조인트 모델로 영상을 만든 뒤 다른 편집기로 손보는 직렬 파이프라인이 되기 쉽다. 논문이 지적하는 핵심 손실은 여기다. 편집기가 사운드를 인지하지 못한 채 화면만 수정하면 생성 단계에서 맞춰둔 동기화가 곧바로 깨지고, 앰비언스 노이즈를 바꾸거나 화면 스타일을 바꾸는 반복 편집마다 오차가 누적되어 결국 별도의 재동기화 모듈이나 정렬 손실로 수습해야 한다. UniAVC는 텍스트 조건 조인트 생성, 양방향 크로스모달 생성, 그리고 오디오·비디오 양쪽에 대한 지시 기반 편집을 하나의 가중치 집합으로 처리하려는 시도다.

어떻게 동작하나

논문은 통합 모델을 직접 만드는 일이 왜 어려운지를 두 가지로 정리한다. 첫째는 쌍을 이룬 오디오-비디오 감독 데이터의 희소성이다. 정밀한 오디오-비주얼 정렬과 편집 지시 쌍을 함께 갖춘 고품질 데이터는 단일 모달리티 코퍼스에 비해 훨씬 작다. 그런데 기존 방법들은 이 귀한 페어 데이터를 사실상 단일 모달리티 기초 능력(그럴듯한 움직임 렌더링, 깨끗한 음향 합성)을 가르치는 데 낭비하고, 정작 단일 모달리티 데이터로는 절대 배울 수 없는 크로스모달 결합에는 충분한 용량을 쓰지 못한다. 둘째는 오디오와 비디오 표현 사이의 정보 비대칭이다. 비디오 레이턴트는 매 프레임의 조밀한 시공간 구조를 유지하는 반면 오디오 코덱은 훨씬 희소한 시퀀스로 압축하므로, 한 클립의 비주얼 토큰 스트림은 음향 토큰보다 한 자릿수 이상 많다. 그런데 기존 조인트 구조는 두 모달리티를 하나의 공유 노이즈 스케줄로 오염시킨다. 비디오는 전역 텍스처와 아이덴티티, 모션을 세우기 위해 오래도록 높은 노이즈가 필요한 반면 오디오는 훨씬 이른 시점에 최종 음향 내용으로 수렴한다. 공유 스케줄을 비디오에 맞추면 이미 수렴한 오디오가 인위적으로 계속 노이즈 상태에 머물러 비디오 쪽에 깨끗한 크로스모달 조건을 주지 못하고, 반대로 오디오에 맞추면 비디오가 전역 구조를 세우기 전에 세부 디테일에 조기 확정을 강요받는다. 더 근본적으로, 두 모달리티가 각자 독립적인 노이즈 레벨을 가지므로 학습 중의 진짜 상태 공간은 2차원인데, 공유 스케줄은 이 공간의 대각선 위만 걷게 만든다. 즉 한쪽이 완전히 깨끗한 상태에서 다른 쪽을 복원하는 비대각선 구성은 학습 중에 한 번도 노출되지 않고, 추론 시점에 분포 이동으로 나타난다.

무엇과 다른가

구조는 LTX-2.3 백본 위에 세워진다. 비디오와 오디오 토큰은 각각 전용 셀프어텐션과 피드포워드, adaptive normalization을 갖춘 별도 트랜스포머 스택으로 처리되고, 둘 다 공유 텍스트 임베딩에 어텐션한다. 두 브랜치는 블록마다 놓인 브리지에서만 교차하는데, 비디오 쿼리가 오디오 키·밸류를 보는 오디오→비디오 크로스어텐션과 그 반대 방향 레이어가 한 쌍을 이룬다. 각 브리지는 게이트가 걸린 잔차 모듈이고, 그 scale·shift·gate는 노이즈 레벨로부터 adaptive normalization으로 유도된다. 여기서 중요한 설계는 어느 쪽 노이즈 레벨이 어느 경로를 변조하느냐다. 오디오에서 비디오로 흐르는 정보 게이트는 오디오의 노이즈 레벨 σ_a의 함수이고, 그 거울상은 σ_v에 의존한다. 참조 조건화는 별도 입력 브랜치를 추가하는 대신 인컨텍스트 방식으로 처리한다. 참조 레이턴트를 같은 인코더로 패치화해 해당 모달리티의 타깃 시퀀스 뒤에 붙이고, 참조 로터리 임베딩에 시간 오프셋을 주고 학습된 토큰 타입 임베딩으로 두 구간을 분리한다. 기존 인컨텍스트 비디오 편집이 참조 토큰에 타깃과 똑같은 위치를 부여해 입출력의 엄격한 시공간 정렬을 강제하는 것과 달리, 이 논문은 콘텐츠 재배치나 변형이 필요한 편집 지시에서는 그런 강제가 실패한다고 본다. 또한 순진한 연결은 참조 토큰이 노이즈 낀 타깃 토큰을 보게 해서 노이즈가 커질수록 조건 신호가 흔들리므로, 타깃 쿼리는 전체 시퀀스를 보되 참조 쿼리는 오염되지 않은 참조 구간만 읽도록 어텐션 마스크를 건다. 이 격리는 크로스모달 브리지에도 그대로 적용된다.

어떻게 쓰나

학습은 두 단계로 나뉜다. 1단계에서는 각 브랜치를 단일 모달리티 데이터로 따로 학습시켜 생성과 편집 능력을 완전히 갖추게 하고, 2단계에서 두 사전학습 브랜치를 이중 브랜치 백본으로 통합한 뒤 크로스모달 브리지와 그 adaptive normalization 파라미터만 업데이트한다. 브랜치는 동결되므로 희소한 페어 데이터는 오직 크로스모달 정렬과 시간적 동기화 학습에만 쓰인다. 논문에 따르면 정렬 파인튜닝은 단일 모달리티 사전학습 전체의 1% 미만 예산으로 끝난다. 조건화 드롭아웃도 설계되어 있는데, 텍스트 프롬프트와 참조 레이턴트를 학습 중 독립적으로 랜덤 드롭하기 때문에 추론 시 가이던스 축이 하나가 아니라 두 개로 갈린다. 텍스트 축은 지시 준수, 참조 축은 원본 충실도를 담당해 샘플링 중에 두 신호를 명시적으로 맞바꿀 수 있다. 여기에 참조를 타깃 레이턴트로 지정하고 편집 지시를 비우는 재구성 서브태스크를 넣어, 지시 튜닝 모델이 프롬프트에 언급되지 않은 영역까지 건드리는 경향을 직접 억제한다.

전제와 한계

비대칭 스케줄러는 이 논문의 핵심 기여다. 표준 확산 모델은 σ_v = σ_a라는 제약을 암묵적으로 걸지만, 여기서는 노이즈 레벨 쌍 (σ_a, σ_v)로 매개되는 오염 분포를 정의하고 각 브랜치가 상대 스트림의 해당 노이즈 레벨을 조건으로 자기 속도를 회귀한다. σ_a = 0이면 상대가 완전히 깨끗해 비디오 브랜치가 오디오를 오염되지 않은 제약으로 쓸 수 있고, σ_a = 1이면 상대가 순수 노이즈가 되어 텍스트 조건만으로 분기를 한다. 여기에 하나의 스텝 인덱스 i는 유지하되 각 모달리티의 노이즈 레벨 매핑을 따로 왜곡하는 이중 스케줄 시프팅을 얹는다. 워핑 함수 S_k(σ) = kσ / (1 + (k−1)σ)를 각 브랜치에 적용해 σ_v와 σ_a를 같은 스텝 인덱스에서 서로 다른 값으로 사상하고, 말단 노이즈 레벨은 공유하도록 재스케일한다. S_k가 k에 대해 단조 증가이므로 k_v > k_a로 두면 내부의 모든 스텝에서 σ_a < σ_v가 되어 스케줄이 대각선 아래로 내려간다. 실제 설정은 k_v = 9, k_a = 2다. 그 결과 오디오가 비디오보다 먼저 해소되고, 크로스모달 브리지는 점점 더 깨끗해지는 음향 표현을 비디오 브랜치에 전달한다. 수동 스테이징 없이 두 개의 왜곡된 스케줄과 하나의 인덱스만으로 자연스러운 시간 순서가 생기는 셈이다. 연속 스케줄은 한쪽 σ가 정확히 0이 되는 경계면에 거의 닿지 않으므로, 학습 샘플의 일부를 한 스트림을 깨끗한 레이턴트로 고정하고 그 손실을 마스킹하는 클린 브랜치 서브태스크에 할당해 경계 상태를 명시적으로 감독한다.

이 학습 설정 덕분에 추론에서 두 가지 전용 모드가 가능해진다. 하나는 의도 인지 편집으로, 보존할 모달리티를 σ = 0에 고정한 채 다른 쪽만 디노이징한다. 보존 브랜치에는 디노이징 스텝이 전혀 적용되지 않으므로 샘플러는 근사 재합성이 아니라 원본 레이턴트를 그대로 반환하고, 보존은 구조적으로 보장된다. 예컨대 대사를 유지한 채 화면만 리스타일링할 때 비디오 브랜치는 매 스텝 깨끗한 오디오 레이턴트를 직접 조건으로 받아 음향 타이밍과 온셋, 입모양을 참조한다. 다른 하나는 자기 정제로, 조인트 생성 결과에서 한쪽만 만족스러울 때 만족스러운 쪽을 유지하고 나머지만 다시 만든다. 1차 패스가 끝난 뒤 채택된 레이턴트를 노이즈 레벨 λ로 재오염시키고, 반대 브랜치를 σ = 0으로 깨끗하게 고정한 상태에서 재스케일된 스케줄 λσ(i)를 따라 다시 디노이징한다. λ는 0.5다. 단일 궤적 안에서 조건을 조정하는 2단계 추론 가이던스와 달리, 이 방식은 첫 패스의 생성 레이턴트를 핀 고정 대상으로 삼아 궤적 자체를 새로 실행한다.

실험은 720p, 121프레임, 24fps, 16kHz 모노 오디오 조건에서 AdamW(학습률 1×10⁻⁵, weight decay 0.01, bf16)로 수행됐다. 1단계에서 비디오 브랜치는 Boogu-Image, Ditto, OpenVE-3M으로 구성된 1,530만 풀에서 3,430만 샘플을, 오디오 브랜치는 AudioSet, VGGSound, WavCaps, Emilia, LibriTTS, AudioEdit, ISCSLP 2026 CoT-TTS Challenge로 구성된 1,490만 풀에서 5,490만 샘플을 소비하며 페어 샘플은 전혀 쓰지 않는다. 2단계 정렬 파인튜닝은 TAVGBench, JAVEdit, InsAVE-80K로 만든 74만 풀에서 뽑은 67만 페어 샘플을 쓴다. 추론은 30 디노이징 스텝, 비디오 CFG (3.0, 2.0), 오디오 CFG (1.5, 3.0)이다. 평가는 조인트 편집에 JAVEditBench와 InsAVE-80K 홀드아웃 분할, 조인트 생성에 Verse-Bench, 크로스모달 생성에 AVTok 프로토콜을 적용한 VGGSound 테스트셋을 사용했고, 베이스라인으로 AVED, AVI-Edit, JAVEdit, InstructAV2AV, MiniMax-H3, 캐스케이드 방식과 Ovi, JavisDiT, UniVerse-1, JoVA, LTX-2.3, MiniMax-H3, 그리고 MMAudio·VinTAGe·AVTok·TempoTokens 같은 전문 모델을 비교 대상으로 삼았다. 저자들이 보고한 결론은 조인트 편집 지표 대부분에서 기존 방법을 앞서고 조인트·크로스모달 생성 양쪽에서도 경쟁력 있는 결과를 낸다는 것이지만, 본문에 포함된 원문 발췌에는 표 2·3의 구체적 수치가 실려 있지 않아 개선폭은 확인할 수 없다. 소거 실험에서는 점진적 학습이 단일 단계 파인튜닝보다 모든 지표에서 우수하고 그 이득이 시각 품질보다 크로스모달 지표(AVQ, AQ)에 집중된다는 점, 의도 인지 편집이 깨끗한 원본 레이턴트 조건화로 오디오 품질을 올리고 자기 정제가 지시 준수에서 가장 큰 이득을 준다는 점, 두 모드를 함께 쓸 때 AVS·AVQ 동기화가 최고치를 찍는다는 점, 스케줄 비대칭을 제거하면 시각 품질은 거의 그대로인 채 AQ·AVQ가 뚜렷이 떨어진다는 점, 시프트 강도를 과도하게 올리면 대부분 지표가 오히려 나빠진다는 점이 보고된다.

개발자 관점에서 이 논문의 실질적 메시지는 노이즈 스케줄이 멀티모달 시스템의 숨은 병목이라는 것이다. 영상과 사운드를 별도 모델로 만들고 이어붙이는 파이프라인을 운영 중이라면, 편집 단계에서 동기화가 깨지는 원인이 편집기 성능이 아니라 애초에 두 모달리티를 같은 속도로 복원하도록 학습되지 않았다는 데 있을 수 있다. 반대로 단일 모델로 통합하려는 경우, 페어 데이터를 기초 능력 학습에 쓰지 말고 브리지 학습에만 배분하는 2단계 레시피와, 한쪽을 σ = 0으로 고정하는 클린 브랜치 서브태스크가 편집·크로스모달 추론을 같은 분포 안에 두는 방법이라는 점을 참고할 만하다. 다만 저자들이 결론에서 밝힌 한계는 분명하다. 이 방식이 커버하는 노이즈 상태 공간은 2차원 전체가 아니라 1차원 궤적과 두 개의 경계면에 국한되며, 크로스모달 브리지는 표현을 정렬할 뿐 단일 모달리티 자체의 결함을 고치지는 못한다. 즉 브랜치 하나의 생성 품질이 나쁘면 통합 구조가 그것을 메워주지 않는다.