비디오 월드모델의 예측 오차는 물리 위반을 재지 못한다
When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?
무엇인가
비디오 월드모델이 내놓는 예측 오차는 흔히 '물리적으로 놀라운 장면'의 지표로 쓰인다. 생성 영상 중 물리적으로 그럴듯한 것을 고르거나, 예상 밖 사건을 찾아내거나, 계획 에이전트의 보상으로 쓰는 식이다. 이 논문은 그 관행에 정면으로 질문을 던진다. 저자들은 예측 오차 점수를 S(x,a)=d(p(f_C(x),a), f_T(x))로 정식화한다. 컨텍스트 표현 f_C와 타깃 표현 f_T, 예측기 p, 선택적 행동 a, 거리 d로 이루어진 이 값은 어디까지나 '선택한 표현 공간에서의 예측 난이도'이며 물리적 불일치만을 반영하지 않는다. 큰 값은 물리 위반일 수도 있지만 외형, 정적 내용, 움직임, 모델의 평범한 오류일 수도 있다. 표현이 물리 정보를 담고 있는지와 그 표현 위의 예측 오차가 물리적 놀라움을 재는지는 별개의 문제라는 것이 논문의 출발점이다.
어떻게 동작하나
논문은 평가를 세 층으로 분리한다. 첫째는 표현 읽기(readout)다. 동결된 인코더 위에 선형 프로브를 얹어 물리적 가능/불가능 라벨과 외형 라벨을 각각 얼마나 복원할 수 있는지 본다. 둘째는 잠재 기하다. 색조·밝기·물체 색 변화가 표현을 얼마나 멀리 옮기는지, 그 이동 방향이 장면을 가로질러 얼마나 일관적인지, 그 방향이 물리적 변화의 방향과 얼마나 겹치는지를 층별로 측정한다. 셋째는 모델 자신의 예측 오차다. 행동, 외형, 움직임, 물리적 타당성을 통제한 뒤 오차가 어떻게 반응하는지 본다. 각 파이프라인의 인코더·토큰 선택·정규화·고유 거리는 그대로 유지하고, 점수의 절대 크기는 같은 모델 안에서만 비교한다. 불확실성은 장면·매치 페어·에피소드 단위 부트스트랩으로 추정하고, 임계값과 회귀 계수는 평가 데이터와 분리된 데이터에서 적합한다.
무엇과 다른가
IntPhys2 읽기 결과는 담담하다. V-JEPA2-G의 선형 프로브는 가능/불가능 이진 분류에서 약 58% 정확도로, 우연 수준 50%를 조금 웃돈다. 반면 4-class 외형 라벨은 약 98% 정확도로 쉽게 복원된다. 마스크 픽셀 복원으로 학습한 VideoMAE2-G와 단순 시각 통계(PixelSummary)도 외형 라벨은 잘 읽힌다. 물리 라벨에서는 V-JEPA2-G가 각 비교 대상보다 짝지은 우위를 보였고 그 구간이 0을 배제했지만, 저자들은 아키텍처와 사전학습이 함께 달라지는 비교이므로 JEPA 목적함수 자체의 효과로 해석하지 않는다고 못박는다. 기하 분석에서는 층이 깊어질수록 외형 변화의 상대적 크기가 줄어든다. V-JEPA2-G의 색조 변화 비율은 첫 층 약 57%에서 최종 층 약 8%로 떨어지고, 외형 부분공간과 물리 변화의 겹침은 최종적으로 약 6%까지 내려간다(차원을 맞춘 무작위 기준 약 0.28%보다는 높다). 다만 이 기하 특징을 회귀에 넣어도 물리 마진 예측의 R²는 약 0.771에서 0.774로 거의 변하지 않았고, 개선폭의 조정 구간은 0을 포함했다. 외형 점수 차이를 예측할 때는 두 모델 모두 기준선보다 나빴다.
어떻게 쓰나
가장 중요한 결과는 모델 자체의 오차를 직접 건드린 실험에서 나온다. Kubric으로 구가 받침대 위에서 멈추거나 구멍으로 떨어지는 장면을 렌더링하고, 256개 구성에 원본 외형, 클립 전체에 걸친 30도 색조 이동, 타깃 구간부터 시작하는 급격한 색조 이동을 곱해 3,072개 클립을 만들었다. 모델은 48프레임 중 앞 12프레임만 보고 나머지 36프레임에 대한 오차를 낸다. 결과적으로 '멈춤'은 받침대가 있는 설정과 없는 설정 모두에서 더 높은 평균 오차를 기록했다. 즉 오차 순서는 물리적 타당성이 아니라 궤적 정체성을 따라갔다. 받침대 위에서는 불가능(통과)에서 가능(멈춤)을 뺀 값이 음수, 구멍 위에서는 양수로 부호가 뒤집힌다. 별도 24개 구성으로 적합한 단일 임계값은 균형 정확도 53.9%[52.1, 55.8]에 그쳤고, 설정별로는 구멍 위 80.7%, 받침대 위 27.1%로 갈렸다. 이 임계값은 정상 클립의 약 69%를 위반으로 오탐했으며, 받침대 위의 정상 멈춤은 전부 오탐이었다. Physion++ Mass 192개 영상에서도 첫·중간·마지막 프레임을 반복하는 정지 화면 베이스라인이 원본보다 높은 평균 오차를 냈고, 윈도우의 약 84%가 자기 정지 베이스라인 평균 이하의 점수를 받았다. 클립 전체에 걸친 색조 이동과 픽셀 어둡게 하기는 오히려 평균 오차를 낮췄다.
전제와 한계
행동 조건 모델도 같은 그림이다. LeWorldModel, DINO-WM, JEPA-WM 세 모델 모두 관측 결과를 고정한 채 잘못된 행동(0 또는 역방향)을 주면 예측 오차가 커졌다. 그러나 시뮬레이터 상태를 고정하고 색만 바꿔도 오차가 커졌고, PushT 60도/0.75 매치에서 DINO-WM은 색조로 0.04977, 행동 불일치로 0.00307이 올랐으며 JEPA-WM은 0.01738 대 0.00284였다. 행동을 맞히는 능력이 곧 물리 이해는 아니라는 뜻이다. PushT 색 역할 실험에서는 에이전트 파란색 블록이 새로운 주황색 블록보다 높은 오차를 냈고, 타깃 전용 파랑/주황 격차는 256개 에피소드 중 233개에서 양수였다.
개발자 관점의 결론은 분명하다. 월드모델의 네이티브 예측 오차를 그대로 임계값 기반 이상 탐지기나 물리 위반 검출기로 쓰면, 장면 조건이 바뀌는 순간 오탐과 미탐이 커진다. 특히 같은 궤적에 물리적 타당성만 뒤집은 반사실 쌍을 만들어 오차 순서가 올바른 방향으로 가는지 확인해야 하고, 단일 임계값을 다른 조건으로 전이할 때 정상 클립 오탐률과 위반 미탐률을 조건별로 재야 한다. 표현 위에 프로브를 얹어 물리 라벨이 읽힌다는 사실은 그 정보가 표현에 있다는 것일 뿐, 오차가 그 정보를 쓴다는 증거가 아니다. 강화학습 보상이나 안전 신호로 쓰려면 대상 환경에서 별도 검증이 필요하다.
저자들이 밝힌 한계도 분명하다. 받침대 실험은 카메라·색·조명이 제한된 하나의 절차적 장면군만 표집했으므로 실제 세계나 재질 일반화는 검증되지 않았다. 재질 외형이 질량·마찰 단서를 담을 수 있고 학습 다양성이 커지면 외형 민감도가 달라질 수 있다는 점도 남겨둔다. IntPhys2 읽기와 기하-오차 전이 분석은 사후 분석으로, 구간이 적합된 모델에 조건화되어 재적합 불확실성을 포함하지 않는다. Physion++는 접촉 라벨만 있고 물리 위반 라벨이 없으며, 전체 클립을 먼저 인코딩하는 점수 구현 탓에 타깃 프레임 정보가 컨텍스트 토큰에 영향을 줄 수 있다. 모델 비교도 아키텍처·사전학습·용량·점수 스케일이 함께 달라 일반적인 한계를 추정하지 않는다.