시각 메모리는 긴 영상 생성의 재현율을 높이지만 현재 장면 정확도를 떨어뜨린다

무엇인가

이 논문은 긴 영상 생성기가 과거의 시각 관찰을 검색해 정체성 드리프트를 줄이는 흐름을 문제 삼는다. 더 많은 과거를 보면 일관성이 좋아진다는 직관은 그럴듯하지만, 과거에 충실한 이미지가 현재 장면에는 틀릴 수 있다. 저자들은 시각 메모리가 언제 도움이 되고 언제 간섭을 일으키는지를 분리하기 위해 VMem-Bench라는 두 트랙 진단 연구를 구성한다. 핵심은 과거 외형과의 유사성, 현재 이야기 상태의 정확성, 원치 않는 개체의 배제를 같은 점수로 뭉개지 않는 것이다.

어떻게 동작하나

방법은 메모리에서 참조를 고르는 단계와 생성기가 그 참조로 영상을 만드는 단계를 나눈다. n번째 단계에서 메모리 M_n이 검색 정책 R(g_n)을 거쳐 참조 C_n을 만들고, 생성기 G(g_n)가 영상 x_n을 낸다는 식으로 전체 파이프라인을 본다. Track-A는 생성을 실행하기 전에 어떤 참조가 선택되는지만 본다. BlenderOpenMovies와 LSMDC에서 92편 영화, 16,548개 세그먼트, 2,803개의 타입 지정 개체를 사용한다. Track-B는 30개의 사람이 쓴 이야기를 2,824개의 5초 세그먼트로 확장해 폐루프로 생성한다. 재등장 간격은 최대 77세그먼트이며, 152개 캐릭터, 300개 소품, 120개 장소 레코드가 포함된다. 미래 세그먼트를 보지 않는 인과 평가 계약을 따르고, 점수용 골드는 일반 정책에 숨기며 last-seen 진단만 골드 개체 ID를 쓴다.

무엇과 다른가

비교 조건은 네 가지 검색 정책과 메모리 없음, 골드 정보를 쓰는 last-seen 통제다. 정책은 Text-frame, Seg+uniform, Seg+DINO-key, Seg+frame이며, 공유 생성기는 FLUX.2 키프레임 구성과 Wan2.2-TI2V-5B 5초 영상 생성을 결합한다. Track-A는 참조 상한 B=16, Track-B는 각 조건이 자신의 생성 이력에서 K=3 참조를 쓴다. Track-B는 재현율, 정밀도, F1, 금지 개체 회피 Avoid-OK를 보고, 과거 등장과의 정체성 연속성은 DINOv3, 얼굴은 ArcFace, 장소는 MegaLoc 등으로 측정한다. 각 조건이 자신의 출력으로 메모리를 갱신하므로 이 비교는 단일 스텝 개입이 아니라 정책 전체의 비교다.

어떻게 쓰나

첫 번째 발견은 검색이 재현율과 외형 연속성을 높인다는 것이다. 공유 생성기에서 캐릭터·소품 통합 재현율은 메모리 없음 0.559에서 검색 사용 시 0.628~0.693으로 올랐다. 과거 등장과의 DINOv3 유사도는 0.35에서 0.49~0.57로 증가했다. 1~4세그먼트의 짧은 간격 캐릭터 재등장에서는 메모리 없음 0.553 대비 0.698~0.749를 기록했다. 그러나 긴 간격 캐릭터·소품에서 네 정책 모두 안정적인 이득을 세우지 못했고, 짧은 간격 소품에서도 이득이 없었다. 또한 긴 간격의 성공은 프롬프트 정보와 얽힌다. 메모리 없음 재현율은 1~4 간격에서 0.58이었지만 30 이상에서는 0.89까지 올라갔는데, 그 구간의 프롬프트가 외형이나 변경된 모습을 더 자주 설명하기 때문이다. 62개 긴 간격 캐릭터 재등장에서 외형 설명을 제거하면 메모리 없음 존재율이 0.984에서 0.565로 떨어졌고, Seg+DINO-key의 차이는 +0.016에 그쳐 95% 신뢰구간이 0을 포함했다.

전제와 한계

두 번째 발견은 과거 충실성이 현재를 해칠 수 있다는 것이다. 통합 정밀도는 메모리 없음 0.977에서 검색 사용 시 0.915~0.938로, 금지 개체 회피는 0.968에서 0.845~0.898로 떨어졌다. 예를 들어 Seg+DINO-key는 재현율 +0.133(95% CI +0.111~+0.155)을 얻었지만 정밀도 -0.057(-0.066~-0.048), Avoid-OK -0.114(-0.132~-0.098)를 기록했다. 파괴되거나 사망한 개체를 금지하는 deprecation 계열의 회피율도 0.964에서 0.829~0.889로 하락했다. 더 미묘하게는 상태가 바뀐 재등장에서 낡은 외형을 강화한다. 62개 긴 간격 캐릭터 재등장 중 61개가 새 외형을 설명하는 상태 변경을 겪었는데, 메모리 없음의 설명 일치 존재율은 0.984였고 네 검색 정책 모두 0.03~0.18만큼 낮췄다. 두 정책은 신뢰구간이 0 아래였다. 61개 변경 재등장에서 이전 모습과의 DINOv3 유사도는 0.19에서 +0.15~+0.20만큼 올라, 폐기된 외형에 더 가까워졌다. 골드 ID 기반 last-seen도 재현율/정밀도/Avoid-OK 0.639/0.964/0.941로 간섭을 줄이지만 없애지는 못했다.

세 번째 발견은 검색 관련성이 곧 생성 효용이 아니라는 점이다. Track-A에서 Seg+DINO-key는 BlenderOpenMovies 0.923, LSMDC 0.849의 가장 높은 참조 재현율을 냈지만 정밀도는 0.579/0.484로 Text-frame의 0.692/0.630보다 낮았다. Text-frame은 F1 0.817/0.670으로 가장 좋았다. 생성 후 품질 지표도 개체 정확성과 분리된다. 메모리 없음 조건은 재현율이 낮아도 피사체·배경 일관성 점수가 더 높았고, Seg+DINO-key는 이미징·미학 점수가 더 높았다. 어떤 품질 지표도 조건별로 클립 단위 개체 재현율과 ρ=0.17을 넘는 양의 상관을 보이지 않았다. 장소도 425개 재등장에서 MegaLoc 장면 유사도를 +0.15~+0.21 올렸지만, 이는 장소 정확성이 아니라 장면 유사성을 측정한 것이다.

개발자에게 이 논문의 실무적 교훈은 메모리 정책을 붙일 때 세 가지를 분리해 평가하라는 것이다. 첫째, 현재 프롬프트가 이미 외형을 설명하는데도 과거 이력이 실제로 무엇을 더하는가. 둘째, 검색된 과거가 지금도 유효한 시간적 상태인가. 셋째, 유용해 보이는 참조가 폐기된 인물, 파괴된 물체, 금지된 개체를 함께 끌고 오지는 않는가. 재현율이나 과거 외형 유사도, 최종 영상 일관성만으로 메모리 효용을 판단하면 상태 변경과 금지 개체 회피 실패를 놓칠 수 있다. no-memory와 last-seen 대조, 외형 설명 제거 실험, 변경 상태 재등장과 deprecation 스트레스를 평가 로그에 함께 두는 것이 안전하다.

저자들이 밝힌 한계도 분명하다. Track-B는 30개 인가 이야기와 조건·이야기당 한 번의 롤아웃에 기반해 영화 장르 분포를 대표하지 않는다. Track-A와 Track-B는 서로 다른 인스턴스를 측정하는 보완적 경계이며, 정책 비교는 동일 이력 안의 단일 참조 선택 개입이 아니라 각자 이력을 갱신하는 전체 정책 비교다. last-seen은 배포 가능한 베이스라인이 아니라 골드 ID를 쓰는 진단 통제이고 성능 상한도 아니다. 판정 모델에 따라 절대 수치는 달라져 Qwen3-VL에서 메모리 없음 재현율 0.559였던 것이 InternVL3.5에서는 0.361이었고, 필수 존재 일치도 70~75%, κ=0.43~0.52에 그쳤다. MiniMax-H3 백엔드 확인은 8개 이야기로 제한되며, 이 연구는 검증된 메모리 컨트롤러나 보편적 메모리 용량 법칙이 아니라 평가 원칙을 제시한다.