GeoThinker-F가 3D 인코더 없이 MLLM 내부 예측으로 공간 추론을 가속한다

무엇인가

기하 인지형 멀티모달 대형언어모델(MLLM)은 3D 장면 이해, 임바디드 AI, 자율 의사결정 같은 작업에서 공간 지능을 요구받아 왔다. 문제는 최근 프레임워크들이 VGGT 같은 외부 3D 기하 파운데이션 모델의 특징을 추론 파이프라인에 직접 흘려 넣거나 학습 시 증류하는 방식에 의존한다는 점이다. 추론 시점에 전용 3D 인코더를 계속 실행하면 연산량, 메모리, 동기화 지연이 커져 지연 민감 환경에 배포하기 어렵다. 학습 시 증류는 이 의존성을 없애지만, 추론 중간 레이어에 명시적으로 라우팅할 수 있는 조밀하고 프레임 정렬된 기하 인터페이스를 제공하지 못한다. 이 논문은 중간 의미 표현만으로도 전용 3D 인코더 특징을 정확히 복제하지 않고 현재 기하와 미래 의미의 유용한 잠재 표현을 예측하기에 충분하다는 통찰에서 출발한다.

어떻게 동작하나

방법의 핵심은 MLLM 중간 레이어에 경량 Latent Frame Prediction(LFP) MLP 헤드를 붙여, 인과적 은닉 상태로부터 두 가지 잠재 표현을 예측하는 것이다. 하나는 현재 프레임 기하 표현으로 오프라인 교사인 VGGT 특징을 목표로 삼고, 다른 하나는 다음 프레임의 의미 표현으로 해당 프레임의 시각 특징을 목표로 삼는다. 학습은 분리된 2단계로 진행된다. 1단계 LFP 사전학습에서는 MLLM 백본을 동결하고 LFP 헤드만 학습시켜 저수준 재구성 제약이 최상위 토큰 생성 능력을 흔들지 않게 막는다. 2단계 자기주도 튜닝에서는 외부 기하 전문가를 완전히 제거하고, LFP 헤드가 만든 기하·미래 의미 표현을 Spatial-Grounded Temporal(SGT) Fusion 블록으로 라우팅해 과제별 지시 튜닝을 수행한다.

무엇과 다른가

SGT Fusion은 두 갈래로 나뉜다. 기하 사전 분기는 이미지 은닉 상태에서 중요도 점수를 MLP로 예측하고, 현재 프레임 의미가 자기 프레임의 예측 기하 특징만 질의하도록 제한한 교차 어텐션을 수행한다. 시간 사전 분기도 같은 방식으로 현재 프레임 의미가 자기 프레임의 예측 미래 특징을 질의한다. 두 사전은 모두 내생적으로 예측된 값이라 잡음이 섞여 있으므로, 저자들은 홀수·짝수 레이어에 기하와 시간 분기를 번갈아 주입하는 Layer-Interleaved Feature Injection을 쓴다. 0으로 초기화된 학습 가능한 스칼라 α_j에 tanh를 적용해 주입 강도를 조절하며, 한 레이어에서 두 스트림을 동시에 융합할 때 생기는 오류 누적과 표현 열화를 피한다.

어떻게 쓰나

실험은 VSI-Bench, MMSI-Bench, MindCube, ViewSpatial, SITE, CV-Bench 6개 벤치마크에서 이뤄졌다. 통제된 Vanilla 설정에서 GeoThinker-F는 VSI-Bench 평균 50.7점으로 입력 단계 융합 베이스라인 VG-LLM-8B의 49.7점, 이중 인코더 베이스라인 GeoThinker의 50.5점을 앞섰고, 추론 시 외부 기하 인코더를 전혀 실행하지 않았다. 확장 설정에서는 Qwen2.5VL-7B 백본 66.84점, Qwen3VL-8B 백본 69.29점으로 오픈소스 공간 모델 중 최고 수준을 기록했고, Gemini-3-Pro-Preview의 62.16점도 상회했다. MindCube 93.2점, ViewSpatial 82.6점이 특히 두드러진다. Qwen3-VL-8B에서 공간 토큰 압축과 결합하면 지연시간이 1.45초에서 0.40초로 줄어 3.6배 빨라졌고, VSI-Bench 점수는 70.4였다.

전제와 한계

어블레이션은 Qwen2.5-VL-7B와 동일한 Vanilla SFT 데이터로 VSI-Bench에서 수행됐다. LFP 헤드와 SGT Fusion이 없는 SFT 베이스라인은 49.36%, 두 구성요소를 넣되 1단계 LFP 사전학습 없이 학습하면 49.32%로 사실상 차이가 없었다. 즉 성능 향상은 학습 파라미터를 늘린 데서 오는 것이 아니다. LFP 사전학습을 붙이면 기하 분기 단독 50.17%, 시간 분기 단독 50.54%, 두 분기 결합 50.76%로 최고치를 냈다. 학습 설정은 배치 64, 학습률 1e-5, 단계 수 4,656에서 19,315, 28,235로 확장되며, 융합 비율 ρ는 1, 실험은 PPU-ZW810E 96GB 16대로 수행됐다. 지연시간은 FP16, 배치 1, 32프레임 고정 입력에서 10회 워밍업 후 100회 측정 평균이다.

실무 관점에서 이 논문이 주는 신호는 명확하다. 3D 기하 인코더를 추론 경로에서 떼어내고 싶지만 기하 단서를 포기하기 어려운 팀이라면, 교사 모델을 1단계 학습에만 쓰고 중간 레이어 예측 헤드로 대체하는 패턴을 참고할 수 있다. 다만 1단계에는 여전히 VGGT 같은 오프라인 3D 전문가와 그 특징을 뽑을 데이터가 필요하고, 백본 동결과 헤드 학습이라는 제약이 따른다. 또한 Vanilla 설정에서의 이득은 50.7 대 50.5로 작아, 확장 데이터 설정에서의 이점과 구분해 확인해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 이 시스템은 공간 추론을 위한 연구용 시스템으로 평가됐으며, 추가 검증 없이 안전이 중요한 환경에 직접 배포하는 것을 의도하지 않는다. 기반 사전학습 모델과 공개 데이터셋에 존재하는 편향이나 한계를 물려받을 수 있다고 명시한다. 사용 데이터는 공개 연구 데이터셋과 사전학습 모델뿐이며 새로운 데이터 수집이나 사람 대상 실험은 없었다. 코드와 모델은 채택 시 공개될 예정이라고 밝히고 있다.