MIST는 비디오 월드 모델의 기억 실패를 실행 누락으로 먼저 분리한다

무엇인가

이 논문은 비디오 월드 모델의 기억 평가가 왜 잘못 해석되는지를 다룬다. 기존 평가는 장면이 설정됐는지, 요청한 변화가 실제로 수행됐는지, 마지막 프레임이 그 결과를 보여주는지를 하나의 점수로 합친다. 그래서 점수가 낮으면 모델이 잊어버린 것으로 읽기 쉽지만, 요청한 변화가 수행되지 않으면 숨은 상태 전이가 화면에 나타날 수 없고 기억은 아직 시험되지 않은 것이다. 논문은 아이가 앉지 않았는데 카메라가 떠나고, 사탕이 깨지지 않았는데 돌아오고, 상자가 닫힌 채 남는 예를 들어 점수가 기억보다 먼저 실행 단계에서 떨어진다고 주장한다.

어떻게 동작하나

MIST는 이 문제를 장면 설정과 지연된 상태 공개로 분리한다. 각 사례는 5초짜리 세 샷으로 구성된다. 첫 샷은 장면을 세우고, 둘째 샷은 불투명한 갭을 지나며, 셋째 샷에서만 요청한 변화를 보여 달라고 한다. 기준 프롬프트와 갭에는 정답이 들어가지 않고, 공개 비교는 같은 첫 두 샷을 고정한 채 마지막 샷만 다시 생성한다. 평가는 세 관문을 구분한다. 요구된 동작이 일어났는지 I_act, 마지막 프레임을 읽을 수 있는지 I_vis, 그 프레임이 목표 상태와 맞는지 match다. 점수는 세 항의 곱이지만, 논문은 곱만 보고하지 않고 설정, 누출, 공개, 내부 일치를 따로 보고한다. 닫힌 뚜껑은 동작 클래스로 따로 세며, 낮은 평균 공개 점수를 곧바로 '열지 않음'으로 해석하지 않는다. WRBench와 MBench-T는 하나의 연속 클립에서 a에서 출발해 판정 불가까지 가고, 복귀한 뒤 마지막 프레임을 유지하는 경로를 요구하며, MIST는 이들을 대체하지 않는다.

무엇과 다른가

사전 실험은 Wan TI2V-5B에서 43개 사례로 진행됐다. 대부분 첫 샷의 장면 설정은 높아서 43개 중 38개가 설정 점수 0.8 이상이면서 기준 공개 점수는 0.3 미만이었다. 그런데 기준 클립 43개 중 41개는 끝까지 열리지 않았고, 하나는 비었거나 가려진 화면을 열었고, 하나만 맞았다. 닫힌 41개 중 38개는 손이 와도 열지 않았고, 3개는 아무도 오지 않았으며, 잘못된 물체를 연 경우는 없었다. 갭 누출은 0/43이었다. 마지막 샷을 보고 실패한 동작을 진단해 그 샷만 재작성하면, 사례당 한 클립을 유지하는 조건에서 공개가 43개 중 35개 상승, 6개 동일, 2개 하락했고 짝지은 평균 변화는 0.34(95% CI 0.24~0.45)였다. 존재·개수 과제는 0.132에서 0.549로, 바인딩은 0.147에서 0.464로, 히스토리 업데이트는 0.163에서 0.454로 올랐고 설정 점수는 평평했다. 정답만 넣는 답안 전용은 best-of-five 0.684였고, 진단 기반 재작성은 0.763이었다. 정답을 빼고 같은 재작성을 하면 0.174에 그쳤고 43개 중 28개 뚜껑이 닫힌 채 남았다.

어떻게 쓰나

M3-Agent는 이 진단을 테스트타임 워크플로로 만든다. 먼저 과제 카드에서 행위자나 물체, 필요한 바인딩, 동작, 마지막 프레임 x_T에 나타나야 할 증거를 짧은 기록으로 만든다. 다음으로 VLM이 생성된 마지막 프레임을 그 기록과 대조해 동작 없음, 잘못된 바인딩, 출발 누락, 온전한 물체로의 복귀, 가려진 시야 같은 실패 모드를 붙인다. 셋째로 정답을 덧붙이는 대신 실패한 동작을 재작성하고, 같은 고정 생성기로 새 후보를 만든다. 재작성은 행위자, 물체, 목표 상태, 시간 순서를 보존하고 실패한 동작과 마지막 프레임 증거 조항만 바꾼다. 진단은 렌더링된 x_T만 한 번 읽고 생성기의 숨은 상태는 보지 않는다. K개 후보 중에서는 score(x^(k), s_T*)가 가장 큰 클립을 고르며, 원래 후보도 계속 선택지에 남긴다. 여기서 점수는 결과를 보고하는 바로 그 검사이므로, best-of-K와 공식 keep-best는 배포 가능한 비평기가 아니라 오라클 커버리지 추정이다.

전제와 한계

실험 결과는 MIST 공개 점수가 기준 0.147에서 0.492로 오르고, WRBench의 T가 0.452에서 0.570으로 26.1% 상승(n=40), MBench-T의 U가 0.292에서 0.446으로 52.7% 상승(n=30, 30개 중 23개는 기준 클립 유지)했음을 보고한다. WRBench의 상승은 프레임이 더 좋아 보여서가 아니라 카메라가 출발과 복귀를 완료해서 생긴다. 짝지은 이득의 95% 부트스트랩 구간은 +0.070에서 +0.166이고, 구성 요소 감사는 ΔT의 약 3~4%를 시각 품질, 55~56%를 출발 검사 D5', 41%를 복귀 검사 D6'에 돌린다. 복귀 관문 40개 중 18개는 열린 채 유지, 13개는 새로 열림, 닫힌 경우는 없음, 9개는 닫힌 채 남았다. 두 번째 지시 세트는 총점을 0.550에서 0.547로 낮출 수 있고 마지막 단계가 0.570으로 복원하므로, 기술 추가가 단조롭지 않다. MBench-T에서는 30개 중 14개가 여전히 어렵고, 고정 leave-return은 기준 상태 점수가 1.0인 8개를 해친다. 마지막 프레임 락만 단일 클립으로 쓰면 U=0.228이고, 선택은 기준 23개, leave-return 5개, 마지막 프레임 락 2개를 유지한다. 한 항목당 한 클립은 0.443이고 발표된 0.446은 상태 선택과 정답성 선택을 평균한 값이다. 텍스트만으로 정답을 맞히는 8B 리더는 금색 문장이 제거되거나 섞이면 무너지고, 잠긴 마지막 프레임에서는 122B 내부 검사와 비슷하게 추적하지만 공식 관문과의 일치는 훨씬 낮아 공식 스코어러를 대체하지 않는다.

개발자에게 이 논문의 핵심은 영상 월드 모델의 낮은 기억 점수를 곧바로 망각으로 해석하지 말라는 것이다. 평가 로그를 만들 때 장면 설정, 요청한 변화의 실행 여부, 마지막 프레임의 가시성과 목표 일치를 분리해 남겨야 하며, 특히 요청한 동작이 실제로 일어났는지 먼저 확인해야 한다. M3-Agent는 메모리 모듈을 추가하거나 학습하지 않고 고정 모델의 프롬프트를 테스트타임에 재작성하는 방법이라, 영상 생성 파이프라인에서 실패한 동작을 디버깅하고 더 엄격한 베이스라인을 세우는 데 바로 참고할 수 있다. 다만 후보 선택이 결과를 보고하는 스코어러에 의존하므로, 실제 서비스에서는 정답을 보지 않는 비평기와 별도 검증이 필요하다.

저자들이 밝힌 한계는 분명하다. MIST와 M3-Agent는 모델이 목표 상태를 저장했다는 것을 보여주지 않는다. 공개 점수가 높다는 것은 기억 주장이 아니며, 요청한 변화가 일어나지 않으면 클립이 닫혀 있든 잘못된 상태로 열리든 지속성은 시험되지 않는다. keep-best는 작은 후보 풀에 대한 오라클이고, 재작성은 정답을 이름으로 넣을 수 있으며 정답을 뺀 통제에서는 실패한다. 점수를 보지 않는 마지막 프레임 리더는 기준을 안정적으로 이기지 못하고, 재작성이 맞는 사례를 망칠 수 있어 원래 클립을 남긴다. 주 연구는 하나의 생성기 계열을 내부 및 공식 프로토콜에서 다루고, MiniMax-H3 결과는 내부 정성 파일럿이며, held-out 판정 검사는 인간 검증이 아니다. 저장 주장을 하려면 기준을 이기는 target-blind 선택기, held-out 사례, 노출된 상태에 대한 인간 라벨이 필요하다.