AVC-Reward가 이벤트 단위로 오디오와 영상 일관성을 채점한다

무엇인가

합동 오디오-비디오 생성 모델이 강해지면서 장면은 세 가지 방식으로 복잡해졌다. 한 클립 안에 여러 이벤트가 동시에 일어나는 다중 이벤트 구성, 물리적 장면음에 보이스오버와 배경음악이 섞이는 다층 오디오, 그리고 화면 밖 소리처럼 시각적 증거 없이도 성립하는 비대칭 관계다. 문제는 평가 지표가 이 변화를 따라가지 못한다는 점이다. 기존 지표는 클립 전체를 하나의 단위로 보고 의미 유사도나 시간 동기화 같은 미리 정의된 단순 관계만 확인한다. ImageBind 계열은 클립이나 시간 윈도우를 공유 임베딩 공간에 넣고 전체 유사도를 재기 때문에 지배적인 의미가 맞으면 국소적 이벤트 불일치가 있어도 점수가 높게 남는다. Synchformer/DeSync는 섞인 사운드트랙에서 오디오-비디오 시간 오프셋을 예측할 뿐 레이어를 분리하지 않아, 시각 동작과 맞아야 하는 물리음이 그럴 필요가 없는 보이스오버·BGM과 함께 채점된다. AV-Align은 오디오 온셋과 시각 모션 피크를 매칭하므로 시각 증거가 없는 정당한 화면 밖 소리를 오히려 벌점화할 수 있다.

어떻게 동작하나

논문은 이벤트 중심(event-centric) 평가 관점을 제안한다. 클립의 오디오와 비디오를 먼저 개별 이벤트로 분해해 각각 독립적으로 분석하고, 그다음 모달리티를 넘나들며 관계를 교차 검증한 뒤, 판단을 거친 단계에서 세밀한 단계로 집계한다. 구체적으로 MLLM을 5단계 추론 프로토콜로 유도한다. 1·2단계는 각 모달리티를 따로 분석해 H^A=(G^A, E^A), H^V=(G^V, E^V)를 만든다. G는 전역 장면·내용 정보, E는 이벤트 집합이며 각 이벤트는 시간 구간과 속성을, 오디오 이벤트는 추가로 소스 역할을 기록한다. 3·4단계는 추출된 이벤트를 상대 모달리티에 대해 검증한다. R(A→V)=F(A→V)(H^A, V)는 오디오 이벤트에 대한 시각 증거를, R(V→A)=F(V→A)(H^V, A)는 시각 이벤트에 대해 기대되는 소리를 확인하며, 어떤 증거가 필요한지는 각 오디오 이벤트의 역할에 달려 있다. 검증 레코드 r_k=(e_i^A, e_j^V, ρ_k)는 관련된 오디오·시각 이벤트와 그 관계·증거를 담고, 증거가 없거나 관계가 비대칭이면 한쪽 이벤트가 비어 있을 수 있다. 마지막 단계에서 세 점수를 낸다. S_mac=Φ_mac(G^A, G^V)은 서사·개체·환경·정서의 전역 조화, S_temp=Φ_temp(R)는 이벤트 존재와 온셋·오프셋·지속시간 정렬, S_attr=Φ_attr(R)는 검증을 통과한 관계 안에서의 속성 정합(소리-재질 일치, 입모양-발화 일치, 화면 밖 소리에 대한 그럴듯한 반응 등)을 잰다. 세 점수는 모두 [0,1]이고 서로 합치지 않고 따로 유지되며, 종합 점수가 필요할 때만 산술평균 S_AVC=(S_mac+S_temp+S_attr)/3을 쓴다.

무엇과 다른가

이 지표를 학습 가능한 보상 모델로 구현한 것이 AVC-Reward다. Qwen3-Omni-Thinking에서 초기화해 두 단계로 학습한다. 먼저 5단계 프로토콜을 그대로 따르는 구조화 추론 데이터 약 8천 개로 SFT 콜드 스타트를 한다. 이 데이터는 Gemini 2.5 Pro와 Qwen3-VL-Max를 상호 보완 주석자로, 무음 검출기를 보조 시간 단서로 사용해 만들고, 5개 구조화 레코드를 Qwen3-235B가 하나의 SFT 타깃으로 이어 쓴다. 다음으로 사람이 보정한 약 1만 개 샘플에 GRPO를 적용한다. 사람 주석은 세 일관성 차원에 걸친 39개 레이블 분류체계로 구성되며, 레이블과 차원 점수를 함께 매긴 다중 주석자 부분집합을 Qwen3-235B가 (S_mac, S_temp, S_attr)와 진단 결론 κ로 매핑한다. GRPO 보상은 5단계 형식을 강제하는 구조 보상 r_struct와 사람 보정 점수와의 일치를 재는 증류 보상 r_distill=(1/3)Σexp[-w_i(pred_i-ref_i)^2]를 합쳐 r_total=(2·r_struct+r_distill)/3으로 정의한다.

어떻게 쓰나

평가를 위해 AVC-Benchmark를 구축했다. 저자들에 따르면 자동 일관성 지표와 사람 인식의 정합을 재기 위해 여러 유형의 모델 생성 오디오-비디오 데이터를 주 재료로 삼은 첫 벤치마크다. A2V, V2A, JAVG 모델 산출물에 실패 사례 분포를 균형 있게 하려고 통제된 네거티브를 소량 더했고, 각 샘플을 주석자 3명이 독립적으로 세 차원 점수로 평가했다. 지표는 사람 점수 대비 pairwise accuracy(여러 점수차 임계값), SRCC, PLCC로 비교한다. 베이스라인은 타이밍 기반(AV-Align, DeSync), 임베딩 기반(ImageBind, JavisScore, AVHScore), 학습된 평가자(PEAVS, AVSyncEvaluator, AV-Consistency Evaluator, AGAV-Rater), 제로샷 MLLM 판정자(Gemini-3.1-Pro, Qwen3-Omni)다. AVC-Reward는 S_AVC를 종합 예측으로 쓰며, 논문은 네 가지 측정치 모두에서 최고 결과를 냈다고 보고한다(Table 2). 사람 점수 차가 Δ보다 큰 쌍만 채점하는 Δ-Pairwise에서 Δ=0.2를 기본으로 했고, Δ가 커질수록 사람 차이가 명확해져 정확도가 오르는 경향도 함께 제시한다.

전제와 한계

보상으로서의 유용성도 확인했다. LTX-2용 온라인 RL 프레임워크 OmniNFT의 기존 오디오-비디오 보상 DeSync를 AVC-Reward의 S_AVC로 교체하고, 학습률과 가중치만 보상에 맞게 조정했다. 평가 프롬프트셋은 JavisBench를 피하고 AV-Phys-Bench, VABench-T2AV, AVGen-Bench를 썼다(학습 샘플 수집에 JavisBench 프롬프트 일부가 쓰였기 때문). 결과는 모든 프롬프트셋에서 외부 일관성 지표가 일관되게 올랐다. IB-AV 20.65~28.35%, AV-Align 18.78~59.47%, JavisScore 20.47~28.74%, AVHScore 22.00~26.80% 개선이다. OmniNFT가 직접 최적화하는 DeSync에서도 이쪽은 그에 준하는 향상을 유지했고, CAVP는 두 방법 모두 1.7% 미만 변화로 분리도가 제한적이었다. 텍스트 정렬(T-A, T-V)은 목표가 완전히 정렬되지 않아 소폭 하락할 수 있으나 ImageBind 기준 AV 이득이 그 하락분을 넘고 단일 모달리티 품질은 OmniNFT 수준을 유지한다고 밝힌다. 사람 평가에서는 AVGenBench, AV-Phys-Bench, VABench에서 100개 프롬프트를 무작위 추출해 학사 이상 주석자 10명이 블라인드 비교했고, 제안 방법이 오디오-비디오 일관성과 전체 품질 모두에서 가장 높은 선호를 받았다. 절제 실험에서는 GRPO 단독보다 SFT+GRPO가 사람 정합이 좋았고, 세 차원 평균이 단일 차원보다 Δ-Pairwise가 높았다.

실무적으로 이 논문이 주는 것은 두 가지다. 하나는 생성 파이프라인의 평가 지표로, 다른 하나는 RL 보상으로 쓸 수 있는 모델이다. 기존 파이프라인에서 ImageBind 유사도나 DeSync 오프셋 하나로 품질을 재고 있다면, 다중 이벤트·다층 오디오·화면 밖 소리가 섞이는 장면에서 그 점수가 왜 실제 사람 인식과 어긋나는지 이 논문의 실패 분석이 직접적인 설명을 준다. 또 AVC-Reward는 스칼라 하나만 내는 블랙박스가 아니라 어느 이벤트가 시간적으로 어긋났는지, 어떤 소리가 환각인지 짚어 주는 구조화된 자연어 근거를 함께 내놓기 때문에 실패 원인을 로컬라이즈하는 디버깅 도구로도 쓸 수 있다. 다만 세 차원 점수를 따로 유지하고 종합은 평균이라는 단순 규칙을 쓴다는 점, 그리고 학습·평가 데이터가 특정 생성 모델 산출물에 기반한다는 점은 자신의 도메인에 적용할 때 확인해야 할 부분이다.

저자들이 명시한 전제와 한계는 다음과 같다. 구조화 주석 파이프라인은 확장성이 좋지만 점수가 주석 모델의 지각 능력에 묶여 있고 단계를 거치며 오차가 누적될 수 있어, 사람 주석으로 점수를 보정하는 절차를 따로 둔다. 생성 최적화에서는 텍스트 정렬 목표와 오디오-비디오 목표가 완전히 정렬되지 않아 AV를 강하게 최적화하면 텍스트 정렬이 소폭 나빠질 수 있고, CAVP에서는 두 방법의 차이가 1.7% 미만으로 분리되지 않았다. 또한 학습 데이터에 JavisBench 프롬프트 일부가 포함되어 있어 평가에서 JavisBench를 의도적으로 배제했다. 세 차원의 종합 점수는 학습된 가중치가 아니라 산술평균이라는 고정 규칙이며, 벤치마크 통계상 대부분 샘플이 전역 장면·서사 일관성은 높게 유지되어 전역 차원의 점수 분포가 좁고, 시간·속성 두 차원이 훨씬 넓은 범위를 갖는다.