Venus-DefakerOne2가 이미지·비디오 디지털·물리 위조를 통합 탐지한다

무엇인가

이 논문이 푸는 문제는 실제 위조가 한 종류가 아니라는 점이다. 위조는 픽셀이나 잠재 공간에서의 디지털 조작(스플라이싱, 인페인팅, AI 생성 이미지)뿐 아니라 마스크 제시 공격, 문서 재촬영 같은 물리적 형태로도 나타나고, 매체도 정지 이미지와 비디오로 나뉜다. 기존 탐지기는 특정 조작 유형, 고정된 매체 형식, 좁은 촬영 조건에 맞춰져 있어 학습 분포 밖으로 일반화하기 어렵고, 디지털 이미지 포렌식·얼굴 안티스푸핑·문서 사기 탐지·비디오 포렌식이 각자의 벤치마크와 가정, 모델 설계를 유지해 왔다. 선행 DefakerOne도 디지털 이미지 위조를 하나의 모델로 묶는 데 그쳤다. 저자들은 {디지털, 물리} × {이미지, 비디오}의 전체 조합을 한 모델로 처리하는 비전 포렌식 파운데이션 모델이 아직 없다고 보고, 약 5천만 개의 공개·자체 구축·수동 주석 온라인 공격 샘플로 MLLM을 학습한 Venus-DefakerOne2를 제안한다.

어떻게 동작하나

탐지 쪽은 Qwen3.5-2B를 MLLM 백본으로 쓴다. 고정 프롬프트로 이미지나 비디오가 진짜인지 가짜인지 묻고 Real 또는 Fake 한 토큰으로 답하게 해 추론 비용과 신뢰도 안정성을 확보한다. 픽셀 수준 위치추정을 위해 DINOMAC 기반 Anomaly Magnifier를 보조 인코더로 붙인다. DINOMAC은 DINOv3-Large에 LoRA 어댑터와 포렌식 학습 전략을 적용한 백본이다. MLLM 비전 인코더 특징과 Anomaly Magnifier 특징을 여러 합성곱 층의 마스크 디코더에 넣어 변조 영역 마스크를 만든다. 여기에 전역 판단과 픽셀 판단을 연결하는 보정 루프가 들어간다. MLLM이 낸 이미지/비디오 수준 위조 확률 p에 대해 임계값을 τ(p)=0.75-p/2로 정한다. p가 1에 가까우면 임계값이 0.25로 낮아져 약한 변조 단서도 살리고, p가 0에 가까우면 0.75로 높아져 정상 이미지의 과분할을 줄인다. p=0.5에서는 0.5로 중립이다. 로짓 공간에서 이 보정은 ±log3 범위의 가산 편향으로 작동해, 전역 오류를 강제로 덮어쓰지 않는 소프트 사전확률로 쓰인다. 탐지 손실은 결정 토큰의 교차엔트로피, 세그멘테이션 손실은 BCE다.

무엇과 다른가

학습은 Tide-Style Tuning으로 세 단계를 오간다. 1단계 Adaptation Ebb에서는 Qwen3.5 백본을 고정하고 LoRA 어댑터만 초기 1,500만 샘플에 가벼운 DINOMAC 적대적 노이즈와 함께 학습해 저비용으로 과제 적응과 일반화를 얻고 치명적 망각을 막는다. 2단계 Full-Parameter Flood에서는 LoRA 가중치를 백본에 병합한 뒤 전체 파라미터를 5천만 코퍼스에 중간 강도 노이즈로 파인튜닝해 큰 이질적 데이터에 대한 피팅 능력을 최대화한다. 3단계 Hard-Sample Ebb에서는 백본을 다시 고정하고 새 LoRA를 붙여 새로 수집된 샘플과 어려운 샘플을 강한 노이즈로 학습한다. 이 단계는 계속 학습 비용을 줄이고, 이미 충분히 맞춘 쉬운 샘플에 과적합하지 않게 하며, 백본이 학습한 일반 특징 위에 새 샘플을 적응시키는 정규화 역할을 한다. 저자들은 이 교대 방식이 전체 파라미터 학습의 망각·과적합과 LoRA만으로는 부족한 피팅 용량 사이의 딜레마를 완화한다고 주장한다.

어떻게 쓰나

비디오에서는 공간 단서와 시간 단서가 항상 함께 강하게 나타나지 않는다. 프레임을 독립 이미지로 보면 생성 지문이나 경계 불연속 같은 세밀한 공간 흔적에 집중할 수 있지만 프레임 간 역학을 버린다. 클립을 네이티브 비디오로 보면 깜빡임이나 운동 불일치 같은 시간 문맥을 얻지만 중복 시간 토큰이 주의를 분산해 미세한 프레임 흔적이 약해질 수 있다. 저자들은 이를 샘플별 추론 시점 결정으로 바꾼다. 학습 때는 같은 비디오를 네이티브 클립과 Ada-FPS로 추출한 프레임 시퀀스 두 양상으로 동시에 제시하고, 같은 정답에 대해 각각 탐지 손실을 계산해 합산한다. Ada-FPS는 기본 1 FPS에서 출발해 소스별 프레임 수가 상한 Nmax와 하한 Nmin 사이에 오도록 소스별 프레임 레이트를 조정하고 최대 10 FPS로 제한해, 소스 간 프레임 수 불균형을 줄인다. 추론 때는 비디오 앞뒤 10%를 버리고 중간 80%를 Ada-FPS로 샘플링한 뒤 두 양상의 예측과 신뢰도를 얻고, 각 예측의 이진 Real/Fake 분포 섀넌 엔트로피를 계산해 더 낮은 엔트로피, 즉 더 확신하는 양상의 예측을 최종 결정으로 채택한다. 추가 학습이나 라우팅 모듈 없이 샘플마다 증거가 강한 양상으로 보내는 방식이다.

전제와 한계

데이터는 약 5천만 샘플 규모로 공개 데이터셋, 엔진 합성 데이터, 수동으로 큐레이션한 인더와일드 공격 샘플을 합쳐 만들었다. 기능적으로는 AI 생성 이미지, 딥페이크 얼굴, 변조 문서, 조작된 자연 이미지, 얼굴 안티스푸핑(이미지·비디오), 문서 안티스푸핑(이미지·비디오), AI 생성 비디오의 아홉 도메인을 아우른다. 또한 공개 비디오 포렌식 데이터셋의 가짜 비디오가 1년 이상 지난 생성기로 만들어졌다는 문제를 지적하며, SeeDance 2.5 같은 최신 폐쇄형 7개와 Minimax-H3 같은 최신 오픈소스 4개 생성기로 만든 Realistic Rumor Video Benchmark(RRVBench)를 새로 구축했다. 평가는 비주얼 미디어 위조 탐지 53개 벤치마크와 위조 위치추정 14개 벤치마크에서 이뤄졌다. 단일 2B 파라미터 모델이 여덟 도메인 모두에서 1위를 주장하고, 40/53과 11/14 벤치마크에서 SOTA를 달성했으며, 선행 DefakerOne 대비 이미지 평균을 80.4에서 90.9로, 비디오 평균을 57.6에서 95.7로 올렸다. 물리 위조 범주의 평균은 50.7에서 87.2로 상승했고, RRVBench에서는 95.3을 기록해 7B 파라미터 비디오 포렌식 MLLM의 최고 69.8보다 높았다. 논문은 또한 딥페이크 얼굴 96.7%, AI 생성 이미지 93.3%, 변조 문서 87.6%, 조작된 자연 이미지 89.6%, 물리 스푸핑 93.1%, AI 생성 비디오 96.0%를 보고한다. 저자들은 해당 도메인 전문가 모델이 그 도메인에서 이 모델을 능가한 적이 없고, 도메인 간 성능 편차도 크지 않다고 강조한다.

개발자 입장에서 이 논문의 실무적 의미는 위조 탐지 모델을 도메인별로 여러 개 운영하던 구조를 하나의 2B 모델로 접을 수 있는지 검토할 근거를 제공한다는 점이다. 얼굴·문서·자연 이미지·AI 생성 이미지·비디오·물리 스푸핑이 한 인터페이스로 들어오고, 탐지와 위치추정을 함께 낼 수 있으며, 비디오에서는 별도 라우터 없이 두 입력 양상 중 확신도가 높은 쪽을 고른다. 다만 실제 도입 전에는 자사 데이터에서 분류 성능과 함께 위치추정 마스크의 신뢰도를 봐야 한다. 저자들이 위치추정을 분류의 보조로 두고, 두 결과가 어긋날 때는 분류를 우선하라고 명시했기 때문이다. 또한 비디오 추론은 두 양상을 모두 평가하므로 지연시간과 비용을 측정해야 하고, 공격자가 모델을 화이트박스로 아는 상황을 가정한 방어 범위도 확인해야 한다.

저자들이 밝힌 한계는 분명하다. DefakerOne2는 넓은 비전 포렌식 범위를 한 모델로 덮는 첫 시도이며, 사람 눈에 뚜렷한 이상이 보이는 샘플에서도 실패할 수 있다. 이런 실패는 문제 사례와 유사한 특성을 가진 표적 데이터를 추가하면 줄일 수 있다고 한다. 배포된 온라인 모델에 대한 화이트박스 공격을 완화하려고 학습에는 오래된 사내 데이터의 일부만 사용했다는 제약도 있다. 세그멘테이션 모듈은 영역 단위로 변조된 샘플에만 학습되었고 정상 샘플이나 완전 생성 샘플은 포함하지 않았다. 그래서 위치추정 예측이 분류 예측과 불일치할 수 있고, 그때는 분류 예측이 우선한다. 마스크는 이미 위조가 의심되는 이미지에서 단서를 강조하는 용도이지, 단독으로 진위를 뒤집는 판단 근거가 아니다. 저자들은 이 모델을 모든 경우에 완벽한 완성품이 아니라, 더 적은 과제별 데이터로 다운스트림 포렌식 성능을 얻기 위한 출발점인 비전 파운데이션으로 규정한다.