ATAS가 장면·사건 메모리로 장편 영상의 시공간 일관성을 지킨다

무엇인가

이 논문은 대본 한 편을 여러 개의 숏으로 나눠 영상을 만드는 에이전트형 영상 생성에서, 서로 떨어져 있는 요청 사이의 공간·시간 일관성을 어떻게 유지할지 다룬다. 예를 들어 이야기가 어떤 방에서 시작해 다른 장소로 이동한 뒤 다시 그 방으로 돌아오거나, 앞서 일어난 사건을 다른 카메라 시점에서 재현해야 하는 경우다. 기존 시스템은 직전 프롬프트나 최근 프레임, 텍스트 요약, 검색된 참조 이미지를 다음 숏에 넘기는 방식으로 연속성을 유지한다. 저자들은 이런 단서가 연속된 숏에는 효과적이지만 과거 관측을 하나의 공유 좌표계와 시간 축에 정리하지 못하므로 비연속적인 재방문 요청을 지원하지 못한다고 지적한다.

어떻게 동작하나

제안하는 ATAS는 세계 상태(world state)를 중심에 둔다. 세계 상태는 장면 메모리와 사건 메모리 두 가지의 쌍으로 정의된다(W_t = (S_t, E_t)). 장면 메모리는 장면을 시작하는 소스 관측을 등록해 만든 장면 좌표계 안에 정적 기하 구조를 포인트 클라우드로 저장하고, 사건 메모리는 장면·사건·시간 식별자와 함께 프레임 단위 RGB-D, 마스크, 동적 포인트 클라우드 같은 동적 관측을 기록한다. 대본은 숏 단위 요청으로 컴파일되는데, 각 요청은 지역 숏 설명, 장면 식별자, 장면 좌표계 안의 공간 앵커, 목표 카메라, 요청 시간 구간, 선택적 사건 식별자를 담는다.

무엇과 다른가

생성 전에는 이 상태에서 증거를 조회한다. 장면 참조는 저장된 좌표를 요청된 앵커와 카메라로 다시 렌더링해 얻고, 사건 참조는 요청에 사건 식별자가 있을 때 장면·사건·시간으로 해당 레코드를 검색해 얻는다. 이렇게 만든 문맥과 숏 프롬프트를 짧은 영상 생성기에 넣어 클립을 만든다. 생성 후에는 클립을 곧바로 상태로 믿지 않고 후보 관측으로 취급해 재구성하고 장면 좌표계에 정합시킨 뒤 검증한다. 이때 세 가지 판정이 분리된다. f는 최종 영상으로의 채택, r은 좌표계 정합 성공, a는 영구 상태로의 편입 여부다. 세 판정이 모두 통과할 때만 세계 상태가 갱신되고, 그렇지 않으면 상태는 그대로 유지되지만 클립은 영상에는 남을 수 있다. 즉 영상 납품과 상태 갱신이 독립적인 출력이다. 같은 워크플로가 공간 재방문과 과거 사건 재현이라는 두 가지 질의를 지원한다.

어떻게 쓰나

실험은 VBench, ST-Bench, ViStory-Self, ViStory-Cross 벤치마크를 공식 입력과 평가기로 사용하고, MiniMax-H3, Wan 3.0, HappyHorse 1.0, Wan 2.7 네 생성기를 백본으로 삼는다. 비교 대상은 I2V Extension, VGoT, Mora, MovieAgent, ReCA 등이다. 저자들에 따르면 ATAS는 MiniMax-H3, Wan 3.0, HappyHorse 1.0에서 보고된 모든 종합 점수 1위를 차지했고, Wan 2.7에서는 VBench에서 뒤졌지만 ST-Bench와 ViStory 일관성 두 지표에서는 앞섰다. 오픈소스와 상용 백본 모두에서 같은 경향이 나온 것을 두고, 성능 향상이 특정 렌더러가 아니라 지속적인 멀티숏 상태에서 온다고 주장한다.

전제와 한계

공간 재방문 과제에서는 생성된 복귀 시점 영상을 목표 이미지와 공통 가시 영역 마스크 아래에서 비교해 PSNR_C 15.968, SSIM_C 0.385, LPIPS_C 0.284를 기록하며 비교한 멀티숏·3D 가이드 방법을 앞섰다. 사건 재현 과제는 동기화된 정답 영상 없이 소스 사건 프레임, 사건 설명과 시간 구간, 요청 카메라, 생성 클립을 VLM 심판에게 주는 방식으로 평가했고, 사건 정체성 0.750, 시간 순서 0.688, 시점 구현 0.650에서 앞섰으며 캐릭터·사물 일관성은 ReCA와 0.917로 동률, 행동-상태 보존은 0.688 대 0.700으로 근소하게 뒤졌다. 사람 평가에서는 여섯 기준 모두에서 가장 높은 평균을 받았고, 대본 충실도 4.40, 캐릭터 일관성 4.22, 시각적 매력 4.10이 높은 반면 배경 일관성 3.62와 서사 일관성 3.77은 상대적으로 낮았다.

효율 분석은 트레이드오프를 분명히 보여준다. 메모리를 쓰면 샷당 재시도가 1.00회에서 0.54회로 줄고 재시도 반영 납품 시간이 샷당 359초에서 339초로 감소하지만, 스토리당 런타임은 51.9분에서 64.9분으로 늘고 처리량은 시간당 7.28샷에서 6.21샷으로 떨어지며 메모리 오버헤드는 샷당 98초에 이른다. 영상 검토 단계의 후보 거부율은 메모리가 없을 때 52.6%에서 전체 상태일 때 36.8%로 단조 감소했다. 절제 실험에서는 C-Top10이 0.536에서 0.719로, 사건 점수가 0.452에서 0.739로 오르고 LPIPS_C가 0.341에서 0.284로 내려갔으며, 장면 메모리는 공간 지표를, 사건 메모리는 재현 지표를 주로 개선하고 재귀적 컴파일이 이를 증폭한다고 보고한다.

개발자 관점에서 이 논문의 쓸모는 이전 장면으로 돌아가기와 같은 사건 다시 찍기를 기능으로 만들 때의 상태 설계도에 있다. 정적 기하와 동적 관측을 분리해 저장하고, 요청을 장면·공간 앵커·카메라·시간 구간·사건 식별자로 명시적으로 컴파일하며, 생성 결과를 검증 게이트를 통과할 때만 메모리에 넣는 구조는 기존 프레임 전달 방식 위에 얹기 쉬운 패턴이다. 다만 메모리 편입 여부와 최종 영상 채택을 분리한 설계를 그대로 가져가야 하며, 메모리 계층이 늘어나는 만큼 런타임과 처리량 비용을 함께 계산해야 한다. 사건 재현 평가가 정답 영상 없이 VLM 심판에 의존한다는 점도 자체 파이프라인에 적용할 때 평가 신뢰도를 별도로 확인해야 할 부분이다.

저자들이 밝힌 한계도 분명하다. 사건 재현에서 남은 어려움은 요청된 사건이나 시점을 찾아내는 것이 아니라 행동-상태를 정확히 재현하는 일이며, 사람 평가에서도 배경 일관성과 전체 서사 일관성이 다른 기준보다 낮게 나왔다. 사건 메모리는 정체성을 해석한 모션 모델이 아니라 프레임 국소적 동적 증거를 유지하는 수준이고, 메모리 사용은 재시도를 줄여주는 대신 총 연산량을 늘린다. 저자들은 위치와 과거 사건을 이야기 전반에서 주소 지정 가능하게 유지하는 이 구조가 인터랙티브 영화 제작, 에피소드형 콘텐츠, 프리비주얼라이제이션 도구의 토대가 될 수 있다고 전망한다.