AV-FABLE과 NFSR로 롱폼 영상의 오디오·비주얼 조작 구간을 분리 탐지한다

무엇인가

이 논문은 롱폼 영상에서 몇 초짜리 국소 조작이 전체 의미를 바꾸는 상황을 다룬다. 기존 오디오·비주얼 딥페이크 벤치마크는 주로 짧은 토킹헤드 클립에 치우쳐 있고, 롱폼 시간적 포렌식은 비주얼 중심이었다. 그러나 오디오와 비주얼 편집은 시간적으로 겹치거나 비동기로 발생하고 한쪽 모달리티에만 일어날 수 있다. 비디오 수준 진위 라벨만으로는 언제, 어느 트랙이 조작됐는지 알 수 없으므로 논문은 오픈 장면 롱폼 영상의 희소 조작을 오디오와 비주얼 타임라인으로 분리해 위치를 찾는 문제를 설정한다. 네이티브 트랙 평가는 같은 시각이라도 비주얼 예측이 오디오 이벤트를 맞힌 것으로 인정하지 않아 모달리티 정체성을 보존한다.

어떻게 동작하나

AV-FABLE은 16,650개의 원본-조작 쌍, 33,300개 영상, 998.1시간으로 구성된다. 10,306개 오디오 이벤트와 11,847개 비주얼 이벤트가 27개 편집 구성에 걸쳐 있다. 영상 중앙값은 88초이고 조작 구간 합집합의 중앙값은 영상의 9.45%, 91.5%는 조작 시간이 30% 이하다. 이벤트 중앙값은 약 9초이며 4,903개 오디오 단독, 6,376개 비주얼 단독, 5,371개 양 트랙 조작이 있고, 561개 양 트랙 영상은 오디오와 비주얼 이벤트가 겹치지 않아 각 트랙의 경계가 따로 필요하다. SEE-Forge 파이프라인은 캡션·음성 전사·음향 온셋·움직임·객체 상호작용으로 이벤트 목록을 만들고, 계획 모델이 트랙·구간·의미 변화·보존 내용을 정한 뒤 생성기로 편집해 원본에 재삽입한다. 원본 쌍은 같은 크롭·재삽입·내보내기 과정을 거치고, 메타데이터만 쓰는 분류기는 최대 54.6 AUROC에 그쳤다. 라벨은 실행된 편집 기준이며 인간 검토자 둘이 22,153개 이벤트를 확인했고 불일치 7.7%는 제3자가 판정했다.

무엇과 다른가

데이터 분할은 10,954/2,347/2,347/1,002 쌍으로 학습·검증·도메인 내 테스트·OOD 테스트에 배정되고, 한 호스트 영상의 파생본은 모두 같은 분할에 남는다. 27개 편집 구성 중 23개가 학습에 나오고 4개는 보류된다. OOD는 HDTF와 TASLE의 소스 불일치 부분집합으로의 소스 전이, 본 적 있는 경로에서의 생성기 보류, 생성기와 경로를 함께 보류한 TI2V의 세 가지다. 평가는 위치 찾기, 탐지, 모달리티 귀속, 설명을 포함하고 결정 임계값은 소스 검증 데이터에서 고정한다.

어떻게 쓰나

핵심 발견은 AV-LLM의 제로샷 언어 출력과 내부 특징의 격차다. Qwen2.5-Omni와 Qwen3-Omni에 제로샷 프롬프트를 주면 탐지 AUROC가 51~52, 두 트랙 어느 쪽도 mAP가 최대 0.30에 그쳤다. 반면 동결된 지각 특징에 선형 프로브를 붙이면 조작·원본 구간 분리가 오디오 90.8, 비주얼 80.8 AUROC까지 올라갔다. Qwen3-Omni 타임스탬프 SFT도 A-mAP 57.30, V-mAP 18.30에 머물렀다. 저자들은 증거가 표현에는 인코딩되지만 언어 출력으로 잘 드러나지 않는다고 보고 NFSR을 제안한다. NFSR은 Qwen3-Omni의 동결 오디오·비주얼 인코더에서 중간층 특징과 언어 인터페이스로 넘어가는 인터페이스 특징을 함께 뽑아 0.25초 간격으로 정렬하고, 게이트 투영으로 256차원 특징을 만든다. 이어 호스트 영상의 채널별 평균·표준편차로 FiLM 변조를 적용하고, 오디오와 비주얼에 독립 파라미터를 가진 두 시간 디코더를 붙인다. 각 디코더는 마스크된 팽창 합성곱의 시간 피라미드로 경계까지의 좌우 거리와 분류 로짓을 예측하고 Soft-NMS로 다중 스케일 제안을 합친다. 학습은 모달리티별 포컬 손실과 1차원 DIoU 손실을 합치며 원본 영상과 수정되지 않은 트랙을 음성으로 감독한다. 탐지는 각 트랙 최고 제안 신뢰도를 256개 원본 검증 영상 기준 상위 꼬리 확률로 바꾸고 S_any = -min(p_a,p_v)로 계산하며, 두 트랙 결정으로 clean·audio-only·visual-only·both-track 귀속을 정한다.

전제와 한계

도메인 내에서 NFSR은 AV-mAP 91.30으로, 같은 동결 특징을 쓰는 UMMAFormer의 84.76을 넘었다. 탐지 AUROC는 96.04로 UMMAFormer보다 6.86포인트 높고, 비주얼 트랙에서 V-mAP가 10.74포인트 올랐으며 양 트랙 Event-IoU와 귀속 F1도 개선됐다. 트랙별로는 A-mAP 92.24, V-mAP 90.36을 기록했다. OOD 세 설정 모두에서 AV-mAP가 가장 높았고, 주로 V-mAP 상승으로 같은 특징의 UMMAFormer를 앞섰으며 HDTF 오디오에서는 대등했다. 세 OOD 설정 모두 귀속 F1과 Event-IoU도 UMMAFormer보다 높았다. 재보정 없이 실현 FAR은 모든 평가 세트에서 2.97~4.67%로 5% 예산에 가까웠다. 다만 비주얼 커버리지는 분포 이동에서 여전히 약해 V-IoU가 26.42~41.21%였고, 소스 전이에서 DAV-Det 두 행은 더 많은 비주얼 이벤트를 덮었지만 FAR이 24.03%와 40.45%였다.

베이스라인 비교에서 AASIST는 75.95 AUROC이지만 윈도→구간 변환 후 A-mAP 0.06이었고, ActionFormer는 V-mAP 89.22와 NFSR보다 높은 V-IoU를 냈지만 비주얼 단독 출력이라 AV-mAP가 낮았다. NFSR의 비주얼 예측만으로도 64.04 Joint-mAP에 도달해 모든 비주얼 단독 베이스라인을 넘었지만 A-mAP는 0이었다. 이는 조인트 타임라인 평가가 놓치는 모달리티 누락을 네이티브 트랙 평가가 드러낸다는 논문의 주장을 뒷받침한다.

절제 실험에서 중간층 특징을 빼면 AV-mAP가 도메인 내 6.55포인트, OOD-All 8.72포인트 떨어졌다. 인터페이스 특징 제거는 도메인 내 영향이 작았지만 OOD-All AV-mAP를 4.07포인트 낮추고 OOD FAR를 두 배 이상 높였다. 호스트 조건화 제거는 OOD-All AV-mAP를 4.73포인트 낮췄다. 오디오 단독 음성 교체에서 분리 판독의 비주얼 가지는 편집 영상과 원본 쌍 모두 2.9%에서만 발화했지만, 크로스모달 어텐션으로 정보를 교환하는 판독의 비주얼 헤드는 원본 4.6%, 편집 영상 11.8~15.1%에서 발화했다. 저자들은 이로써 모달리티 분리 판독이 트랙별 결정을 보존한다고 주장한다.

개발자 관점에서 이 논문은 롱폼 영상 모더레이션·포렌식에서 비디오 단위 분류만으로는 부족하고, 오디오와 비주얼을 별도 트랙으로 평가해야 함을 보여준다. 제로샷 AV-LLM 프롬프트에 의존하기보다 동결된 지각 특징 위에 감독형 시간 판독을 올리는 설계가 실용적이며, 임계값은 원본 검증 데이터에서 5% 오경보 예산으로 한 번 보정해 재사용하는 방식이 제시된다. 운영에서는 FAR만 보지 말고 귀속 F1과 Event-IoU 같은 커버리지를 함께 봐야 하며, 분포 이동 시 비주얼 커버리지가 낮아질 수 있음을 전제로 검증해야 한다. 한계로 저자들은 라벨 구간이 지각적 경계가 아니라 실행된 편집 구간이라는 점, 벤치마크가 생성 모델 기반 편집 과정에 한정된다는 점, 일부 이벤트는 설명 근거가 없어 탐지·위치 평가에만 남는다는 점, 설명이 가장 어려운 차원이라는 점을 밝힌다. 향후 과제로 더 넓은 실제 편집 과정, 지각적 경계 주석 개선, 미디어 손상 견고성, 근거 기반 설명의 충실도 향상을 든다.