공간 VLM의 인터페이스 편식을 시간순 재생으로 푸는 ChronoReplay

무엇인가

이 논문이 다루는 것은 스트리밍 공간 VLM, 즉 카메라 스트림을 인과적으로만 관찰하면서 공간 질문에 답하는 모델이다. 같은 관찰 이력 h_t 위에서 "거울이 내 왼쪽이냐 오른쪽이냐"(범주형 옵션), "소파까지 몇 미터냐"(단위와 정밀도를 가진 수치), "식물은 언제 지나갔냐"(타임스탬프)라는 세 가지 형식의 질문이 동시에 들어온다. 저자들은 기존 연구가 대부분 단일 인터페이스(single-interface)라고 지적한다. 하나의 답변 형식만 감독하고 그 형식을 쓰는 벤치마크만 보고하는 식이라, 정성·정량 질문을 섞은 레시피조차 단일 이미지 위에서 학습되기 때문에 하나의 인과적 이력 위에서 범주형·메트릭·시간형 질의를 한 체크포인트가 모두 감당할 수 있는지는 검증되지 않았다는 것이다.

어떻게 동작하나

논문의 출발점은 실측된 실패 패턴이다. Qwen3-VL-8B-Instruct에서 범주형(categorical) 데이터만 학습하면 OVO-S는 58.03까지 오르지만 OST는 50.52에서 47.48로 떨어지고, 궤적(trajectory) 데이터만 학습하면 OST가 51.03으로 거의 제자리다. 저자들은 이렇게 학습이 특정 읽기 인터페이스에 집중되고 다른 인터페이스로의 전이가 약하거나 퇴화하는 현상을 '인터페이스 록인(interface lock-in)'이라 부른다. 두 번째 문제는 메트릭·시간형 정답이 그것을 만들어낸 이력에 종속된다는 점이다. 북쪽을 본 뒤 전진한 관찰자와 동쪽을 본 뒤 전진한 관찰자는 최근 관측과 국소 변위가 같아도, 나중에 이전에 본 물체의 위치를 물으면 답이 달라진다. 정답을 유효한 인과적 접두사에서 떼어내면 그 자체로 모호해진다.

무엇과 다른가

첫 번째 구성 요소는 Causal Replay 구성이다. 에피소드를 E_i = (c_ij, q_ij, y_ij, κ_ij)로 정의하는데, c_ij는 j번째 턴에서 합법적으로 사용 가능한 인과적 접두사이고 c_ij ⪯ c_i,j+1로 접두사들이 중첩된다. 즉 여러 턴의 주석을 독립적인 질의-응답 쌍으로 평탄화하지 않고, 원래 순서와 평가 프로토콜이 쓰는 합법적 조건화 이력을 그대로 유지한 채 재생한다. 접두사가 중첩되므로 에피소드 하나가 같은 원점을 공유하고 이력 길이만 늘어나는 m_i개의 감독 상태를 만들어내고, 모델은 고립된 스냅샷이 아니라 누적 자체, 턴마다 변위나 사건 순서가 어떻게 달라지는지를 학습한다. 이 과정에서 z_ij = F_θ(c_ij)로 유도되는 상태 궤적은 VLM 내부에 암묵적으로 남으며, 지도나 메모리 모듈, 보조 상태 손실은 전혀 추가되지 않는다.

어떻게 쓰나

두 번째 구성 요소는 패밀리 균형 학습이다. 데이터는 단일 턴 보존(preservation) 패밀리 33,180개(범주형 30,635, 수치형 2,545)와 순서 있는 궤적(trajectory) 패밀리 6,381개 에피소드(메트릭·카운팅·판단·시간형 감독 턴 45,006개)로 구성된다. 원시 행 수를 그대로 쓰면 한쪽이 공유 파라미터를 지배해 공동 학습 안에서 인터페이스 록인이 재현될 수 있으므로, 각 패밀리 내부에서 리스크를 정규화한 L_P와 L_T를 만든 뒤 L_replay = (1-λ)L_P + λL_T, λ = α/(1+α)로 명시적으로 비율을 정한다. 주 실험은 α=0.5로 궤적에 전체 손실 질량의 1/3, 보존에 2/3(범주형·수치형 균등 분할)을 준다. 추가로 답변 길이 정규화가 각 감독 턴에 평균 토큰 손실을 부여해 긴 응답이 토큰 수만으로 손실을 지배하지 못하게 하고, 궤적 패밀리 내부에서는 턴마다 동일 가중치를 준다.

전제와 한계

실험은 모두 공식 Qwen3-VL-8B-Instruct 리비전에서 시작해 언어모델과 비주얼 머저를 학습하고 비주얼 인코더는 동결했으며, 장면 단위 분리로 테스트 장면이 학습에 들어가지 않게 했다. 관찰 접근을 Uniform-128로 고정한 조건에서 OVO-S는 48.98에서 53.89로 올라 공개된 Qwen3-VL-235B-A22B 참조와 수치적으로 비슷한 수준이 됐고, 12개 하위 패밀리가 모두 개선됐다(가장 어려운 L4도 35.16→40.17). 장면 분리 OST 프로토콜에서는 50.52에서 63.93으로 13.41점 올랐고 15개 서브타입 전부 양수였으며, 증가폭은 Direction Estimation +26.86, Order Judgement +20.57, Distance Temporal Localization +18.36 순으로 컸다. 즉 현재 화면이 아니라 누적된 다중 턴 상태로부터 답을 조합해야 하는 항목에서 이득이 집중됐다. UCS는 45.33에서 52.77로 7.44점 올랐고 8개 하위 범주가 모두 개선됐으며 quantity +10.73, object trajectory +8.46, observer trajectory +7.38이 두드러졌다.

통제 실험은 효과의 출처를 분리한다. 단일 패밀리 변형들의 3-벤치마크 평균이 50.74(범주형만), 50.76(궤적만)인데 ChronoReplay는 56.86으로 가장 높다. 동일한 공동 데이터·접두사·네이티브 정답·학습 예산을 고정한 비교에서 일반 토큰 SFT는 51.8/60.7/49.8(평균 54.10), 자연스러운 턴 가중치는 52.9/62.3/51.5(평균 55.57), ChronoReplay는 53.89/63.93/52.77(평균 56.86)로, OST 기준 각각 3.23점·1.63점 앞선다. 자연 턴 가중치 대비 우위는 3쌍의 시드에서도 반복됐다(OVO-S +0.92±0.27, OST +1.43±0.19, UCS +1.17±0.25). 답변 형식 통제에서는 Native가 UCS에서 2.92점, 두 벤치 평균에서 58.75 대 58.03으로 앞서지만 Canonical은 OST에서 1.48점 앞서는 교차 결과가 나왔다. 형식은 모든 지표를 고르게 올리는 것이 아니라 이득을 재분배한다는 뜻이다. 순서 통제에서는 턴 블록을 순환 회전시킨 Shifted보다 시간순 재생이 두 시드 쌍에서 OST 2.42점·2.41점(평균 2.41) 앞섰고, α=0.5가 α=1.0보다 OVO-S–OST 평균이 높았으며(61.20 대 60.92), 8-GPU 대신 4-GPU로 재학습해도 3-벤치 평균이 0.34점 이내로 재현됐다. 추론 시점에 학습된 모델을 고정한 채 적용하는 adaptive frame selection은 OVO-S에서 학습 이득 4.91점 위에 4.09점을 더 얹었고, 평균 80.50 프레임을 쓰면서 L1 +8.66, L4 +2.13을 기록했다.

개발자 관점에서 이 논문의 실용적 메시지는 멀티태스크 공간 파인튜닝에서 '무엇을 감독하는가'뿐 아니라 '어떤 형식으로 남기는가'와 '어떤 순서로 먹이는가'가 성능을 좌우한다는 것이다. 하나의 체크포인트로 방향 판단, 거리 추정, 시점 회상을 모두 처리해야 하는 로봇·웨어러블 카메라 파이프라인이라면, 패밀리별 손실 정규화와 α 비율, 턴당 평균 토큰 손실 정규화를 그대로 차용할 만하다. 또한 OVO-S 시스템 점수를 학습 효과와 추론 시점 프레임 선택 효과로 분리해 보고한다는 점은, 자체 평가에서 관찰 접근과 학습 기여를 섞어 해석하는 흔한 실수를 피하는 데 유용하다.

저자들이 명시한 한계도 분명하다. 평가는 실내 장면에 한정되며 다른 환경은 검증되지 않았다. 메커니즘 주장은 동일 Qwen3-VL-8B 기반의 매칭 비교에 의존하고, 공개 모델들은 각자의 프로토콜 아래 참조점일 뿐이다. 단일 패밀리 비교는 소스와 과제 커버리지가 달라 답변 인터페이스 하나를 단일 인과 요인으로 분리하지 못하며(부록 D.7), 순서 회전 통제는 시간 원점 정렬 구성 규칙 전체를 검증할 뿐 특정 잠재 원점 표현을 규명하지 않는다. Native 형식이 보편적으로 우월한 인코딩이라는 주장도 아니고, 13.41점 전체 이득을 어느 한 구성 요소에 귀속시키지도 않는다. 윤리 진술에서도 감시나 안전 임계 배포에 대한 적합성을 감사하지 않았으며 그런 용도를 주장하지 않는다고 밝힌다.