비디오 DiT를 마스크 전송으로 재활용해 자아·외부 시점 객체 추적을 통합한다

무엇인가

이 논문은 자아 시점(ego)과 외부 시점(exo) 영상이 주어졌을 때 한 시점의 첫 프레임 객체 마스크를 다른 시점과 이후 시간으로 일관되게 전파하는 문제를 다룬다. 기존 연구는 프레임 단위 매칭이나 순차 추적에 의존해 외형 변화·가림·부분 관측이 생기면 오류가 시간축으로 전파된다. 저자들은 이를 ‘교차 시점 시간 객체 대응’으로 정식화하고, 에고·엑소 영상과 한쪽 첫 프레임 마스크로부터 양쪽 시점의 시간적으로 일관된 마스크 시퀀스를 예측하는 것을 목표로 둔다. Ego2Exo와 Exo2Ego 두 방향이 모두 포함된다.

어떻게 동작하나

제안 방법 XTrack의 핵심은 사전학습 비디오 Diffusion Transformer(DiT)를 노이즈에서 RGB를 생성하는 모델이 아니라 RGB 잠재에서 마스크 잠재로 이동하는 모델로 재활용하는 것이다. 표준 흐름 매칭에서 z0=z_rgb, z1=z_mask로 두고 v*=z_mask−z_rgb를 예측하도록 학습한다. 즉 장면 구조와 객체 외형이 이미 담긴 RGB 잠재에서 출발해, 마스크로 변환하는 방향장만 학습하므로 비디오 DiT의 시공간·의미 사전지식을 유지한다. 두 시점은 하나의 디프티크(diptych)로 공간 결합되어 공유 토큰 공간에서 처리되고, 질의 마스크는 질의 쪽에만 주어지며 반대쪽은 빈 마스크를 받는다. 전체 self-attention 안에서 시점 내 주의와 시점 간 주의가 매 레이어 함께 계산되므로 매칭과 시간 전파가 분리되지 않는다.

무엇과 다른가

다만 일반 비디오 DiT는 질의 객체와 의미적으로 비슷한 다른 객체에 주의할 수 있다. 저자들은 이를 보완하려고 세 가지 접지 설계를 넣는다. 첫째, 초점 교차 시점 주의 정렬은 대상 시점의 전경 토큰이 질의 시점의 전경 토큰에 주의하도록 손실을 주되, 이미 잘 정렬된 경우에는 약하게 작용하는 focal weight를 쓴다. 둘째, 하드 네거티브 조건화는 올바른 질의 마스크와 다른 객체의 잘못된 마스크를 각각 조건으로 넣고 두 예측이 충분히 달라지도록 margin loss를 적용해 인스턴스 수준 구분을 강제한다. 셋째, 작은 객체를 위해 객체 중심 국소 크롭을 추가 조건으로 넣고, 크롭 토큰의 RoPE 위치를 원 프레임 좌표에 맞춰 전역 장면과의 공간 정합을 유지한다.

어떻게 쓰나

학습은 두 단계다. 먼저 2D 사전학습에서 에고·엑소 프레임 쌍을 사용해 한 시점의 마스크를 반대 시점으로 예측한 뒤 다시 원래 시점으로 되돌리는 순환 일관성 손실을 건다. 잘못된 대응은 되돌아왔을 때 원 질의 마스크를 복원하지 못하므로 정체성 보존을 유도하고, 시간 변화를 제거해 시점 간 매칭에 집중하게 한다. 이후 비디오 수준 미세조정에서 밀도 있는 의사 라벨로 시간 추적을 학습한다. Ego-Exo4D는 30 FPS 영상이지만 마스크 주석은 1 FPS라 밀도 있는 감독이 없다. 저자들은 SAM2 단독 전파가 특히 에고 시점의 가림과 큰 시점 변화에서 불안정하다고 보고, 전방·후방 양방향 전파의 mIoU 불일치로 불신 구간을 찾고, VGGT 특징과 정적 외부 시점 기준으로 기하 검증한 뒤, DINOv3 의미 유사도로 주변 앵커와의 일관성을 확인해 의사 라벨을 정제·제거하는 파이프라인을 만든다.

전제와 한계

실험은 Ego-Exo4D 검증 분할의 일부에서 수행되며, 평가 샘플은 에고 시점·엑소 시점·객체 튜플로 구성되고 밀도 주석은 큐레이션 파이프라인과 추가 인간 검증으로 만든다. 지표는 영역 유사도 J, 윤곽 정확도 F, 평균 J&F, 위치 오차 LE, 가시성 정확도 VA, 초기 매칭 성공 후 추적 유지율을 보는 mR@IoU다. 비교는 공식 베이스라인 3개와 기존 모델 4개를 Track-then-Match 및 Match-then-Track 파이프라인으로 묶어 수행한다. 원문 본문에는 표의 구체 수치가 제시되지 않았지만, 저자들은 Track-then-Match가 대상 시점의 시간 맥락 없이 프레임별로 매칭해 VA와 mR@IoU가 크게 낮아진다고 보고, Match-then-Track은 SAM2의 강한 전파 덕에 프롬프트가 맞으면 마스크 품질이 높다고 설명한다. XTrack은 특히 VA와 mR@IoU에서 경쟁력 있는 성능을 보이며, 대신 비디오 DiT의 압축된 잠재 공간 때문에 작은 객체의 미세 경계가 희석되어 프레임별 J&F에서는 트레이드오프가 있다고 밝힌다.

절제 실험은 설계 기여를 분리한다. 통합 RGB-to-mask 예측만 둔 기준선에 비해 교차 시점 주의 정렬 손실을 더하면 질의 쪽과 대상 쪽 예측이 모두 좋아지고, 하드 네거티브 조건화를 더하면 마스크 품질이 크게 오른다. 국소 컨텍스트 크롭까지 더한 구성이 가장 좋고, 사전학습 가중치를 제거하면 성능이 뚜렷이 떨어진다. 이는 비디오 DiT의 사전지식과 인스턴스 수준 접지가 모두 중요하다는 저자들의 주장을 뒷받침한다. 다만 이 본문에는 절제 실험의 구체 수치도 제시되지 않았다.

개발자 관점에서 이 논문은 에고·엑소 영상 추적, 다중 시점 장면 이해, 로봇·AR에서의 객체 대응 시스템을 만들 때 SAM2 전파와 프레임 매처를 이어 붙이는 복합 파이프라인을 하나의 비디오 생성 모델로 대체할 수 있는지 검토할 근거를 준다. 특히 매칭과 추적을 분리하지 않고 한 토큰 공간에서 함께 갱신한다는 설계, 의사 라벨 큐레이션으로 희소 주석을 밀도 감독으로 바꾸는 절차, VA와 mR@IoU 같은 추적 중심 지표를 J&F와 분리해 보는 평가 방식이 실무적으로 참고된다. 도입 시에는 비디오 DiT의 연산·메모리 비용, 압축 잠재가 작은 객체 경계에 주는 손실, 의사 라벨 검증 임계값의 재현성, 외부 시점이 정적이라는 데이터 전제를 확인해야 한다.

저자들이 명시한 한계는 주로 정밀도 트레이드오프다. 비디오 DiT의 고압축 잠재 때문에 객체의 존재 위치는 잘 맞추지만 작은 객체의 정확한 윤곽을 그리는 데 약할 수 있고, 이는 J&F 하락으로 나타난다. 또한 학습 감독이 Ego-Exo4D의 희소 주석을 양방향 전파·VGGT 기하 검증·DINOv3 의미 검증으로 만든 의사 라벨에 의존하며, 벤치마크 구축에도 추가 인간 검증이 들어간다. 외부 시점이 정적 카메라라는 가정과 임계값 기반 후보 선택도 큐레이션의 전제이므로, 다른 데이터셋에서는 전파 안정성과 검증 기준을 다시 점검해야 한다.