DynThinker가 정적 3D와 동적 4D 공간 추론을 한 모델로 통합한다

무엇인가

이 논문은 멀티모달 대형 언어모델이 정적 3D 구조와 동적 4D 환경을 함께 이해하고 추론하는 통합 공간지능을 다룬다. 기존 모델은 둘 중 하나에 특화되는 경향이 있다. 3D 중심 후학습은 정적 3D 추론을 올리지만 사전학습에서 얻은 동적 4D 능력을 떨어뜨리고, 4D 특화 모델은 정적 3D 추론이 약하다. 저자들은 Qwen3-VL-8B와 3D 특화 모델 GeoThinker 사이를 체크포인트 보간해 VSI-Bench는 꾸준히 오르지만 VLM4D는 계속 내려가는 반대 추세를 확인한다. 정적 성능은 중간 보간 계수에서 포화되는데 동적 성능은 3D 특화 체크포인트 쪽으로 계속 하락한다. 파라미터 그룹 복원 실험에서는 후반층 MLP를 사전학습 값으로 되돌리면 동적 성능이 크게 회복되지만 정적 3D 이득도 일부 되돌아간다. 즉 공간-동적 간섭은 파라미터 그룹마다 불균일하고 특히 후반층 MLP에서 크다.

어떻게 동작하나

제안하는 DynThinker는 이 간섭을 두 축으로 다룬다. 하나는 공간-동적 융합(SDF)으로 정적·동적 능력을 함께 강화하고, 다른 하나는 분리형 지수이동평균(D-EMA)으로 간섭에 민감한 사전학습 파라미터를 보존한다. 기본 골격은 Qwen-VL 계열이고, 동적 기하 인코더로 VDPM을 쓴다. VDPM은 VGGT 기반 백본과 시간 가변 디코더로 구성되며, 인코더 특징은 공간 기하 사전을, 디코더 특징은 시퀀스의 시간 변화를 제공한다. 계산량을 줄이기 위해 n개 프레임을 모두 인코딩하되 디코더는 시간 순서 부분집합 K의 m개 프레임만 처리하고, 선형 시간 보간으로 n개 프레임에 맞춘 뒤 VLM의 시각 토큰 그리드로 리샘플링한다.

무엇과 다른가

SDF는 선택된 중간 LLM 층에서 이미지 토큰 은닉 상태 H_j^img를 의미 맥락으로 사용한다. 각 층에서 경량 병목 MLP와 시그모이드로 공간 중요도 맵과 동적 중요도 맵을 따로 예측한다. 정렬된 인코더 특징과 디코더 특징을 각각 LayerNorm한 뒤 해당 중요도 맵을 원소별로 곱하고, 학습된 투영으로 LLM 은닉 공간에 사상해 더한다. 기존처럼 크로스 어텐션을 쓰지 않고 두 스트림을 직접 합치는 방식이다. 합쳐진 사전은 tanh(g)로 스케일된 잔차로 시각 은닉 상태에 주입되며, 게이트 g는 0으로 초기화되어 학습 시작 시 SDF가 항등 매핑이 된다. 사전이 기존 시각 표현에 직접 들어가므로 LLM 시퀀스에 추가 토큰을 만들지 않는다.

어떻게 쓰나

D-EMA는 온라인 최적화를 제약하지 않으면서 사후학습 궤적을 그룹별 시간 평균으로 통합한다. 경계 b로 LLM의 MLP 블록을 이른 그룹과 늦은 그룹으로 나누고, 늦은 그룹의 학습 가능한 사전학습 MLP 파라미터를 민감 그룹으로 둔다. 나머지 사전학습 파라미터는 기본 그룹, SDF를 포함해 새로 도입된 파라미터는 신규 그룹이다. 각 그룹의 그림자 파라미터는 θbar_t = ρ θbar_{t-1} + (1-ρ) θ_t로 갱신한다. ρ_base ≤ ρ_sens < 1, ρ_new = 0으로 두어 민감 그룹을 더 강하게 보존하고 신규 파라미터는 평균에서 제외한다. 학습 스케줄이 달라져도 초기 가중치 기여가 같도록 λ = -N_ref log ρ, ρ' = exp(-λ/N_target)로 감쇠를 정규화한다. 학습 후에는 통합된 파라미터를 그대로 평가·추론에 쓰며 모델 구조는 바뀌지 않는다.

전제와 한계

실험은 약 268만 샘플의 혼합 데이터로 진행됐다. 배치 크기 64, 학습률 1e-5, 장면당 입력 32프레임, VDPM 디코딩 8프레임, 융합 비율 0.5, D-EMA 경계 b=4, 사전학습 파라미터 감쇠 0.999834를 쓴다. D-EMA는 150 최적화 스텝 뒤부터 10스텝마다 갱신하고, 96GB 메모리의 PPU-ZW810E 16대로 학습한다. 평가는 정적 3D 쪽 ReVSI, VSI-Bench, MMSI-Bench, MindCube-Tiny, ViewSpatial, SITE, CV-Bench와 동적 4D 쪽 VLM4D, DSR-Bench, DSI-Bench의 샘플별·그룹별 프로토콜을 포함한다. 본문 Table 1 기준 8B 모델은 평균 60.3으로 비교 오픈소스 모델 중 최고 점수를 기록한다. 같은 Qwen3-VL-8B 백본을 쓰는 GeoThinker보다 평균 11.2점 높고 네 가지 동적 지표를 모두 개선한다. VLM4D는 42.4에서 60.0으로, DSR-Bench는 30.9에서 67.7로 오른다. 일반 VLM인 Qwen3-VL-8B의 평균 44.0을 60.3으로 올리고 GPT-5.6 Sol보다 0.8점 높다고 주장한다. ReVSI에서는 128프레임 예산에서 Cambrian-P를 4.0%포인트 앞서고 GeoThinker의 55.9%를 소폭 넘는다. 추론 시 토큰 압축을 끄면 평균이 60.3에서 60.5로 오르고 VLM4D는 60.0에서 62.3으로 오르지만 VSI-Bench는 69.3에서 67.8로 내려간다.

절제 실험은 Qwen3-VL-4B 백본에서 GeoThinker에 D-EMA를 더하면 VSI-Bench가 51.31에서 53.14로, VLM4D가 45.20에서 53.57로 오른다고 보고한다. 기하 인코더를 VDPM으로 바꾸고 인코더 쪽 공간 사전과 디코더 쪽 시간 사전을 함께 넣으면 4B 전체 모델이 VSI-Bench 56.56, VLM4D 59.74에 도달한다. 8B로 키우면 각각 58.16과 61.78이 된다. 동적 데이터 스케일링에서는 같은 Qwen3-VL-8B 백본과 데이터로 VLM4D Real 분할에서 80만 샘플로 63.82를 내며, MLLM-4D가 보고한 2M SFT 59.7과 RFT 63.1을 앞선다. 100만에서 200만 샘플 구간에서는 62.51에서 63.17 사이로 안정적이고, 전체 VLM4D에서는 150만 샘플 모델이 66.74로 MLLM-4D RFT의 61.0을 앞선다.

개발자 입장에서 이 논문은 3D 공간 추론 파인튜닝이 동적 4D 능력을 조용히 깎을 수 있다는 점을 보여준다. 공간지능 VLM을 만들 때 정적 벤치마크만 보지 말고 VLM4D, DSR-Bench, DSI-Bench 같은 동적 지표를 함께 추적해야 한다. D-EMA는 리플레이 데이터나 추가 정규화 목적 없이 최적화 단계에서 그룹별 EMA로 기존 능력을 보존하고, 추론 시 구조 변경이 없다는 점이 실무적으로 매력적이다. SDF는 동적 기하 인코더의 사전을 중간층에 주입하므로 추가 토큰 없이 기하 정보를 넣을 수 있지만, VDPM 같은 별도 인코더와 프레임 정렬·리샘플링 파이프라인이 필요하다. 토큰 압축을 끄면 동적 추론은 좋아지고 정적 VSI는 나빠지는 상충도 확인해야 한다. 코드와 모델 가중치는 논문 게재 시 공개하겠다고 했으므로 현재로선 재현 전에 데이터 혼합, D-EMA 그룹 경계와 감쇠, 평가 프로토콜을 확인해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 이 방법은 연구 프로토타입이며 추가 검증과 안전장치 없이 임베디드, 로봇, 자율주행 등 안전 필수 환경에 바로 배포해서는 안 된다. 기반 사전학습 모델과 공개 데이터셋의 편향과 실패 모드를 물려받을 수 있고, 부정확한 공간 판단이나 물리 동역학 해석 오류가 생길 수 있다. 새 데이터 수집이나 인간 대상 실험은 없고 공개 데이터셋과 사전학습 모델만 사용한다. D-EMA의 그룹 경계, 감쇠, 업데이트 주기와 SDF의 융합 비율, 디코딩 프레임 수 같은 하이퍼파라미터 선택이 성능에 영향을 줄 수 있지만, 논문은 이에 대한 광범위한 민감도 분석을 본문에서 제시하지 않는다. 또한 초록과 본문 일부 수치가 DSR-Bench에서 67.2와 67.7로 다르게 표기되어 있어, 실제 리더보드 비교 시 평가 설정을 확인할 필요가 있다.