고정 보조 카메라로 다중 에이전트 월드 모델의 일관성을 높인다

무엇인가

이 논문은 비디오 월드 모델을 다중 에이전트로 확장할 때 생기는 일관성 문제를 다룬다. 기존 모델은 한 에이전트의 자기중심 시점 스트림을 예측하는 데 강하지만, 여러 에이전트가 같은 세계를 공유하려면 시간에 걸친 세계 일관성과 시점 간 에이전트 일관성이 동시에 필요하다. 논문은 세계 일관성을 장면 요소와 과거 사건의 효과가 남아 재방문 시 역사가 반영되는 것, 에이전트 일관성을 서로 다른 관측에서 행동과 상태가 일치하는 것으로 정의한다. 기존의 스트림 연결·공유 어텐션·타일링·순열 대칭 인코딩은 모든 기준 프레임이 움직이는 부분 관측이고, 편집 가능한 지도와 추정 포즈를 쓰는 방식은 외형이 아니라 기하를 모델링하며 포즈 드리프트에 취약하다. OverSeer는 고정 자세 보조 카메라 시점을 세계 중심 상태의 실용적 대리로 추가해 이 문제를 푼다.

어떻게 동작하나

구현은 Wan2.2-TI2V-5B 기반 잠재 비디오 확산 모델이다. 입력 관측은 사전 학습된 비디오 VAE로 잠재 공간에 매핑되고, 모델은 미래 에이전트 잠재, 보조 시점의 첫 프레임 앵커, 압축된 보조 동역학을 초기 에이전트 프레임·행동·보조 카메라 포즈에 조건으로 공동 예측한다. 보조 시점을 프레임마다 모델링하지 않고 첫 프레임 잠재를 고정 앵커로 두고 이후 변화는 δ-VAE 잔차 코드로 표현한다. 학습은 확산 강제로 하며 시간 위치별 확산 타임스텝을 독립 샘플링하고 초기 조건 프레임은 깨끗하게 둔다. 모든 잠재는 같은 DiT 차원으로 투영되고 시점 식별 임베딩이 더해지며, 에이전트 행동은 짧은 텍스트로 만들어 동결된 T5 인코더를 거쳐 교차 어텐션으로, 보조 카메라 포즈와 내부 파라미터는 Plücker 광선 맵으로 만들어 AdaLN 스케일·시프트로 주입된다. 모든 토큰은 공유 자기 어텐션과 인과적 시간 마스크를 통과한다.

무엇과 다른가

δ-VAE는 비디오 VAE 위에 얹는 2단계 VAE다. 각 보조 시점의 첫 비디오 VAE 잠재를 정적 기준 앵커로 보관하고, 이후 시퀀스를 τ프레임 단위의 겹치지 않는 Q개 청크로 나눈다. 각 청크에서 앵커와 대상 잠재를 함께 인코딩해 H/s×W/s×C_d 크기의 잔차 코드를 만들며, 이는 원래 잠재 대비 s²배 공간, τ배 시간 토큰 감소를 준다. 디코더는 잔차 코드와 앵커로 대상 청크를 재구성하고, 앵커를 τ개 시간 위치로 반복한 뒤 학습 가능한 시간 위치 임베딩을 더해 교차 어텐션으로 잔차와 결합한다. 손실은 재구성 L1, KL, REPA에서 착안한 특징 정렬로 구성된다. 정렬 손실은 앵커와의 채널별 잠재 거리로 만든 공간 변화 가중 맵을 대상 VAE 특징에 곱해 동적 영역에 가중치를 주고, 이를 풀링한 목표와 잔차 코드의 선형 투영을 맞춘다. 잠재 거리는 동적 영역을 분리하는 데만 쓰고, 정렬 목표는 대상 VAE 특징 자체로 만든다. δ-VAE는 보조 스트림에서 따로 학습해 동결한 뒤 세계 모델 학습에 쓰이며, 세계 모델 학습 때 정답 보조 영상은 앵커와 잔차 코드로 인코딩되어 미래 에이전트 잠재와 함께 확산 목표가 된다.

어떻게 쓰나

실험은 Minecraft와 Doom에서 진행됐고, 실제 세계 다중 카메라 캡처인 Replay에서는 게임 엔진에 묶이지 않음을 보이는 정성 결과만 제시됐다. Minecraft에서는 Solaris 벤치마크와 새로 설계한 MAC-Bench를 썼다. MAC-Bench는 시작 지점 재회, 먼 곳 재회, 동적 사건의 세 과제로 구성된다. Doom에서는 6개 맵에서 두 가지 재회 과제를 수행했다. 지표는 VLM 에피소드 정확도와 프레임 FID이며, VLM은 Claude Opus 5에 정답 카메라 포즈와 환경 이벤트 로그를 조건으로 주어 평가했다. Minecraft는 과제당 32개, Doom은 과제당 100개 에피소드를 평균냈다. 베이스라인은 Minecraft의 Solaris와 γ-World이고, 모두 비증류·인과 미세조정 체크포인트에 동일한 조건 프레임과 행동을 주며 추론 시 보조 시점 없이 비교했다.

전제와 한계

MAC-Bench에서 OverSeer는 기존 베이스라인 최고치 0.0%, 6.2%, 12.5%를 세 과제에서 60.2%, 37.9%, 40.5%로 끌어올렸고 모든 과제에서 가장 낮은 FID를 기록했다. Solaris 벤치마크에서는 현재 시점 밖의 공간 추론이 필요한 grounding, memory, consistency에서 앞섰지만 단기 자기중심 스트림에 의존하는 building과 movement에서는 최고 베이스라인에 뒤졌다. 논문은 FID가 구조적 기억 실패를 반영하지 못한다는 사례도 든다. 시작 지점 재회에서 Solaris의 FID는 17.06으로 OverSeer와 3.1점 차이였지만 에피소드를 하나도 맞히지 못했고, 기존에 남긴 장면을 재구성하지 못하거나 파트너 에이전트를 빠뜨렸다. 시야가 겹치지 않으면 기존 스트림 결합 방식은 합의를 강제하지 못해 γ-World는 재회 과제를 하나도 달성하지 못했다. 시작 지점 재회 60.2와 먼 곳 재회 37.9의 차이는 샘플링된 카메라가 시작 영역을 주변부보다 촘촘히 덮기 때문이라고 설명한다.

절제 실험은 설계의 비용과 효과를 보여준다. δ-VAE를 제거하면 시각 품질과 Doom의 일관성은 오르지만 576×384에서 보조 스트림 토큰이 프레임당 108개에서 864개로 8배 커진다. 이 트레이드오프는 도메인에 의존하며, 잔차 코드는 장면이 정적 앵커에 가까울수록 충실하다. Doom의 빠른 조명 변화와 적 움직임은 Minecraft의 느린 블록 동역학보다 큰 잔차 업데이트를 만든다. 보조 카메라 수를 늘리면 Solaris의 grounding·memory·consistency와 MAC-Bench의 세 재회 과제가 꾸준히 좋아지고 movement·building은 평평하며, 시각 커버리지가 포화되면 이득이 둔화된다. 잠재 압축 실험에서는 압축을 높일수록 PSNR은 낮아지지만 다른 장면의 앵커로 잔차를 디코딩할 때 donor 배경 누출이 줄었다. 전이된 이동체의 위치 정밀도와 정체성 보존은 8배 압축까지 개선되어 Import IoU 26.7, Mover Id. 0.66에서 정점을 찍고 16배에서 나빠졌다. 논문은 8배를 기본으로 쓰며, 정적 배경을 담기엔 좁은 정보 병목이 동적 요소에 용량을 배분하게 만들어 동적·정적 분리가 생긴다고 해석한다. 보조 시점 6개는 에이전트 2개 스트림 대비 37.5%의 토큰 오버헤드만 낸다.

개발자에게 이 논문은 다중 에이전트 시뮬레이션·게임·로봇 학습·합성 데이터 생성에서 시점 간 일관성을 얻는 패턴을 준다. 에이전트 시점만 연결하는 대신 장면에 고정된 외부 카메라를 함께 생성하고, 그 보조 시점을 공유 기준으로 삼으면 시야가 끊긴 뒤 재회하는 상황에서도 장면과 파트너를 복원하는 데 도움이 된다. 추론 시 정답 보조 영상은 필요 없지만, 보조 카메라 포즈는 학습 포즈에서 추정한 장면 독립 사전에서 뽑아 시야 커버리지를 최대화하도록 탐욕적으로 선택해야 한다. 평가에서는 FID만 보지 말고 재방문·재회·동적 사건처럼 내용 수준의 질의를 넣어야 구조적 기억 실패를 잡을 수 있다. 한계도 분명하다. 실제 세계 결과는 정성적이며, 보조 카메라 사전은 장면 특화 입력 없이 고정되고 커버리지가 포화되면 이득이 둔화된다. δ-VAE 압축은 시각 품질과 Doom 일관성을 다소 희생할 수 있고, 잔차 표현은 장면이 정적 앵커에서 크게 벗어나면 충실도가 떨어진다. 단기 자기중심 스트림이 중요한 building·movement에서는 베이스라인보다 뒤졌다는 점도 함께 봐야 한다.