PhyProbe가 생성 영상의 물리 위반 심각도를 0~1 점수로 측정한다
PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos
무엇인가
생성 영상 모델은 시각적 품질과 시간적 일관성에서 빠르게 좋아지고 있지만, 물리적 일관성은 여전히 측정하기 어려운 축이다. 영상이 선명하고 움직임이 매끄러워도 물체가 중력을 무시하거나 고체를 통과하고 형태가 갑자기 바뀔 수 있다. 논문은 이 문제를 측정 문제로 규정한다. 물리 위반이 있는지 없는지 이진 판정하는 것으로는 부족하고, 위반의 심각도를 연속적이고 일관된 스케일로 정량화해야 한다는 것이다. 기존 접근은 두 갈래로 나뉜다. 범용 VLM을 프롬프트로 활용하는 방식은 물리 역학에 근시안적이고, 인간 주석으로 파인튜닝한 평가기는 데이터셋 특유의 단서에 과적합해 분포 이동에서 성능이 급락한다. 게다가 기존 감독 신호는 상대 순위나 절대 점수 중 하나만 안정적으로 주고, 다양한 설정에서 둘 다를 신뢰성 있게 주지는 못한다.
어떻게 동작하나
PhyProbe의 구조는 의도적으로 단순하다. 입력 영상은 고정 길이 클립으로 잘라 종횡비를 패딩으로 유지한 뒤 정규화하고, 동결된 사전학습 시공간 인코더(주로 Perception Encoder, 20억 파라미터)에 통과시켜 특징 z=f(v)를 얻는다. 프레임별 특징은 시간축에 대해 평균·표준편차·최댓값을 각각 구해 이어 붙이는 통계 풀링으로 하나의 영상 수준 기술자로 요약된다. 이 기술자는 GELU 활성화를 쓰는 3층 MLP 스코어링 헤드(약 100만 파라미터)를 거쳐 스칼라 위반 점수 s(v)로 매핑된다. 즉 시공간 모델링은 동결 백본이 담당하고, 헤드는 매끄럽고 일관된 스케일의 점수 함수만 학습한다. 추론 시에는 clip(s(v), 0, 1)로 잘라 [0,1] 범위로 보고한다.
무엇과 다른가
학습 데이터는 7개 출처에서 모은 약 37만 1천 개의 영상 쌍이다. 실제 대 생성 비교(의미 대응이 있는 경우와 없는 경우 모두), 보정용 실제 대 실제 쌍, 합성 실패 사례, 인간 주석 판단이 섞여 있다. 의도적으로 이질적으로 구성해 의미적 지름길에 의존하지 못하게 만든다. 감독 신호는 세 가지 손실로 나뉜다. 첫째, Bradley-Terry 공식에 기반한 순위 손실 L_rank는 s(v_i)-s(v_j)의 로지스틱 시그모이드로 i가 j보다 더 위반됐을 확률을 모델링하며, 실제-실제 쌍에는 라벨 0.5를 줘 두 점수를 같게 밀어붙인다. 둘째, 잡음 섞인 스칼라 주석에 대한 Huber 회귀 손실 L_mag가 위반의 크기 정보를 제공한다. 데이터셋마다 척도가 달라 단조 변환으로 통일 범위에 맞추고, 명시적 점수가 없으면 주석된 오류의 공간적 범위와 지속 시간 같은 신호에서 근사 크기를 유도한다. 셋째, 앵커 손실 L_cal은 실제 영상은 0, 명백한 위반 영상은 1로 매핑해 절대 스케일을 고정한다. 전체 목적함수는 L = L_rank + λ_mag·L_mag + λ_cal·L_cal이다.
어떻게 쓰나
평가는 의미 대응 수준이 다른 네 개 쌍별 벤치마크에서 이뤄졌다. ImplausibleBench(이미지·텍스트 대응, 실제-생성 쌍), VideoPhy2(텍스트 대응, 생성-생성 쌍), PhyDetEx(의미 대응 없음, 실제-생성 쌍), VideoFeedback2(대응 없음, 생성-생성 쌍)다. PhyProbe는 네 개 중 세 개에서 최고 쌍별 정확도를 기록했고, 실제-생성 쌍에서 98.0~98.9%, 더 어려운 생성-생성 쌍에서 66.1~75.2%를 냈다. 기존 평가기들이 대응 여부에 따라 성능이 크게 흔들리는 반면, 대응이 없거나 생성-생성인 조건에서도 강했다. 인간 판단과의 상관도는 VideoFeedback2에서 스피어만 ρ 0.596, 피어슨 r 0.604로 가장 높았고, VideoPhy2에서는 ρ 0.293으로 중간 수준이었다. 비교 대상인 VideoPhy2-AutoEval은 VideoPhy2에서 ρ 0.359로 가장 높지만 VideoFeedback2로 일반화되지 않았고, VideoScore2는 VideoFeedback2에서 ρ 0.462로 강하지만 VideoPhy2에서 ρ 0.197로 떨어졌다. 같은 V-JEPA2-H/16 인코더를 쓰면 PhyProbe가 V-JEPA Surprisal보다 네 벤치마크 모두에서 13.9~48.1포인트 앞선다. 물리 일관성만 학습했는데도 일반 선호도 벤치마크에서 MonetBench 72.7%(VisionReward 68.2%, VideoReward 56.1%, 동점 포함), Rapidata-I2V 62.7%, RewardBench 65.3%(동점 제외 종합)를 기록했다.
전제와 한계
소거 실험은 세 손실이 각각 다른 역할을 한다는 것을 보여준다. L_rank를 빼면 VideoPhy2와 PhyDetEx에서 순위 성능이 떨어진다. L_mag를 빼면 순위 정확도는 대체로 유지되지만 점수 범위가 폭발한다. L_cal을 빼도 범위가 폭발하고 실제-생성 쌍 정확도가 무너진다. 백본 비교에서는 약지도 사전학습 시각 인코더인 Perception Encoder가 쌍별 평가와 인간 상관도 모두에서 가장 강하고 일관됐고, V-JEPA2도 경쟁력이 있었다. 재구성 위주로 최적화된 Wan-2.2 VAE 잠재 표현은 전이가 약했다. 시공간 집계는 평균·표준편차·최댓값을 이어 붙이는 통계 방식이 정확도와 계산 비용의 균형에서 가장 좋았다.
실무 관점에서 PhyProbe는 영상 생성 파이프라인의 자동 평가 지표로 쓸 수 있다. 참조 영상이나 프롬프트 정렬 없이 단일 영상만으로 점수를 내므로, 생성-생성 비교나 프롬프트가 다른 영상끼리의 비교처럼 기존 평가기가 약한 조건에서 유용하다. 점수가 [0,1]로 고정돼 있어 데이터셋이나 시점이 달라도 절대값을 비교할 수 있고, 이는 모델 버전 간 회귀 추적에 특히 중요하다. 다만 점수가 인간이 인지한 그럴듯함을 근사하도록 학습됐기 때문에 물리 위반과 전반적 화질 저하가 얽혀 있다. 물리 일관성만 따로 분리해 측정하고 싶다면 화질·장면·프롬프트·생성기를 고정한 통제 실험이 필요하다.
저자들이 밝힌 한계는 다음과 같다. 현재의 시공간 표현은 장거리 인과 의존성을 완벽하게 모델링하지 못해, 긴 시간에 걸쳐서만 드러나는 위반은 과소 인코딩될 수 있다. 반대로 아주 짧거나 순간적인 위반(급격한 상태 변화 등)은 집계 표현에 잡힐 만큼 지속되지 않아 놓칠 수 있다. 실제 영상에 있는 특이하지만 물리적으로 타당한 움직임이 높은 점수를 받는 실패 사례도 있다. 또한 PhyProbe는 기존 벤치마크가 쓰는 조작적 정의, 즉 인간이 인지한 그럴듯함을 근사하도록 학습됐고 그 판단은 전반적 품질 같은 다른 지각 요인과 상관돼 있어, 모델이 물리 위반이 아닌 품질 신호를 부분적으로 학습했을 수 있다. 물리 일관성만 변화시키고 품질·장면·프롬프트·생성기를 고정한 통제 평가가 더 강한 증거가 되겠지만, 신뢰할 만한 인간 주석을 갖춘 그런 벤치마크는 현재 없다고 저자들은 밝힌다.