SpatialASM이 시점 계획과 장면 상상을 LVLM에 내재화한다

무엇인가

이 논문은 대형 비전-언어 모델(LVLM)이 시점 변환, 교차 시점 대응, 관측되지 않은 영역에 대한 추론처럼 입력 이미지가 직접 제공하지 않는 3차원 장면을 다뤄야 하는 공간 추론 과제에서 왜 무너지는지를 다룬다. 저자들은 빠진 핵심 능력을 능동적 공간 심상화(Active Spatial Mentalization, ASM)라고 이름 붙이고 두 가지 하위 능력으로 분해한다. 질문과 현재 관측을 보고 어떤 시점이 유용한 증거를 줄지 스스로 고르는 시점 계획(view planning)과, 고른 시점에서 장면이 어떻게 보일지를 머릿속으로 구성하는 시점 상상(view imagination)이다. 저자들에 따르면 기존 공간 데이터셋은 규모는 크지만 대부분 정답만 있는 QA 쌍이라 이런 중간 추론 절차를 가르치지 못하고, 현재 LVLM은 스스로 ASM 궤적을 만들려 하면 잘못된 시점 계획과 환각된 장면을 내놓는다. 추론 시점에 외부 world model이나 공간 도구를 붙이는 대안은 유용한 시각 증거를 주지만 추론을 외부 시뮬레이터에 묶어버리고, 대부분 목표 시점까지 카메라 중심 행동을 여러 단계 굴려야 하는 자기중심(egocentric) 인터페이스를 쓴다.

어떻게 동작하나

SpatialASM의 핵심 설계는 world model을 추론 시점 도구가 아니라 학습 시점 공간 시뮬레이터로 쓰는 것이다. 이를 위해 타자중심(allocentric) 신규 시점 생성기(NVG)를 만든다. 시점은 v=(i,x,y,d)로 정의되는데, i는 기준이 되는 이미지 인덱스, (x,y)는 그 이미지 위의 픽셀 좌표로 목표 관측 위치를 지정하고, d는 그 위치에서의 시선 방향이다. 픽셀 좌표는 특정 이미지에 대해서만 의미가 있으므로 기준 인덱스가 필요하고, 같은 장면의 이미지 집합 전체를 함께 주면 기준 뷰 너머의 장면 맥락을 얻는다. 구현에서는 이미지 편집 모델 FLUX.2-klein-9B를 파인튜닝해 G(I, v)가 질의된 시점의 관측을 렌더하도록 했고, (x,y)는 기준 이미지에 그린 시각 마커로, d는 텍스트 프롬프트로 전달한다. 학습 샘플은 같은 장면의 포즈가 알려진 두 프레임에서 한쪽을 기준 이미지, 다른 쪽을 정답 관측으로 삼아 상대 카메라 포즈로 (x,y,d)를 역산해 만든다. 렌더 품질은 PSNR·SSIM·LPIPS 같은 이미지 수준 지표로는 큰 시점 변화에서 기하 일관성을 잡지 못하므로, 저자들은 GeoP(Geometry Perturbation) 지표를 도입한다. 사전학습된 feed-forward 3D 재구성 모델 F로 원본 관측만의 점군 M_orig을 만들고, 렌더된 뷰를 관측 집합에 추가해 M_aug를 만든 뒤, 두 점군 사이의 양방향 평균 제곱 최근접 거리, 즉 Chamfer 거리를 잰다. GeoP가 낮으면 F가 렌더 뷰를 같은 장면의 또 다른 관측으로 설명할 수 있다는 뜻이고, 높으면 장면 수준 기하를 바꿔야 한다는 신호로 해석해 필터로 쓴다. 저자들도 이 값이 정답 척도가 아니라 F에 의존하는 대리 지표임을 명시한다.

무엇과 다른가

ASM 궤적 합성은 정답만 있는 공간 QA를 추론 감독으로 승격시키는 절차다. 각 샘플 (q, I, a)에 대해 먼저 모델 M이 원본 이미지 I만으로 답을 맞히는지 확인해, 이미 맞히는 문항은 시점을 계획하기 전에 버린다. 남은 문항에 대해 M에게 시점 계획을 요구해 어떤 시점이 도움이 될지 추론하는 흔적 r_plan과 K개의 타자중심 시점을 받고, NVG가 각 시점의 뷰를 렌더한다. 렌더된 뷰와 시점 설명 텍스트를 다시 M에 주고 r_reason과 답을 얻는다. 궤적은 세 조건을 모두 통과할 때만 남긴다. 원본만으로는 틀렸고, 렌더 뷰를 본 뒤에는 맞혔고, 모든 렌더 뷰의 GeoP가 임계값 θ보다 작아야 한다. 앞의 두 조건은 렌더 뷰가 결과를 바꾼 경우만 골라 중복 시각 입력이 아닌 유용한 시점 탐색을 감독하게 하고, 세 번째는 기하적으로 어긋난 뷰를 제거한다. 마지막으로 캡션 치환을 한다. 남은 궤적의 렌더 이미지를 캡셔닝 모델이 2D 레이아웃과 물체 상대 위치 중심으로 묘사한 텍스트로 바꾼다. 최종 감독 데이터에는 렌더 이미지가 전혀 등장하지 않으므로 모델은 원본 관측만으로 이 절차를 수행하도록 학습되고, 추론 시점에 NVG를 호출하지 않는다.

어떻게 쓰나

시점 상상 강화학습은 이 상상을 한층 더 조인다. 장면의 이미지 집합에 대해 기준 이미지 위에 네 개의 타자중심 시점을 무작위로 샘플링하고 NVG로 후보 뷰를 렌더해, 자동 검증 가능한 두 가지 객관식 과제를 만든다. 생성 뷰 위치 찾기는 기준 이미지에 번호 마커 네 개를 오버레이하고 후보 뷰 하나를 주었을 때 어느 마커에서 찍힌 뷰인지 맞히는 역방향 과제다. 포즈 조건 뷰 선택은 반대로 텍스트로 주어진 목표 포즈에 맞는 후보를 네 개 중 고르는 순방향 과제다. 정답 후보는 GeoP가 임계값 θ_RL보다 작은 것 중에서 고르고, 통과하는 후보가 없으면 샘플을 버린다. 두 과제 모두 사람이 주석을 달지 않고 자동으로 정답이 나오며, SFT 모델을 GRPO로 학습시켜 시점 서술과 그 관측 사이의 연관을 강화한다.

전제와 한계

실험 규모는 다음과 같다. NVG 학습에는 다중 시점에서 촬영된 1만 장면을 제공하는 공개 데이터셋 DL3DV로 SpatialASM-edit140k를 만들었고, 궤적 합성에는 Holi-spatial, VST-500k, Mindcube-train에서 어려운 공간 QA를 모아 12만 8천 개 추론 궤적(SpatialASM-128k)을 생성했으며, 실제 LVLM 튜닝에는 HoliSpatial만으로 만든 6만 6천 개 부분집합을 썼다. RL용 SpatialASM-RL-58k는 HoliSpatial과 DL3DV의 원본 2D 관측으로 자동 구성했다. 학습은 SFT 후 GRPO의 2단계로, SFT는 10 에폭·학습률 5e-6, GRPO는 전역 배치 128·학습률 1e-6·300 스텝이다. Qwen3-VL-4B와 8B는 전량 파인튜닝하고 Qwen3-VL-30B-A3B와 Qwen3.5-9B에는 LoRA(rank=32)를 적용했다. 평가는 7개 공간 추론 벤치마크와 3개 일반 VQA 벤치마크에서 이뤄졌고, ESI-Bench는 passive-single 설정을 썼다. 결과적으로 네 백본 모두에서 평균 1.2~3.5점 상승했고, 4B 모델은 평균 3.5% 오르며 Mindcube +5.2%, Spatial457 +5.6%를 기록했다. 벤치마크별 최대 상승폭은 Spatial457-6d의 +8.7과 MindCube의 +5.2다. 일반 VQA 성능 변화는 네 백본 모두 0.6점 이내로 유지됐다. 비교 대상인 기존 공간 모델들은 벤치마크별 편차가 컸는데, 예컨대 Sensenova-8B는 Mindcube에서 10.0% 오르는 대신 EmbSpa에서 8.7% 떨어졌다.

내재화에 앞서 저자들은 MindCube의 Among과 Around 하위 과제에서 각 200문항을 뽑아 외부 ASM 설정을 예비 실험했다. 원본만으로 추론하는 Vanilla, 무작위 시점을 NVG에 넘기는 Random-Plan, LVLM이 질문 관련 시점을 계획하는 VLM-Plan을 비교한 결과, 계획 기반 외부 ASM이 대체로 Vanilla보다 정확도가 높았고 LVLM 기반 계획이 무작위 계획과 대등하거나 앞섰다. 즉 기존 LVLM도 명시적으로 프롬프트하면 유용한 시점을 어느 정도 찾지만, 직접 추론할 때는 이 능력이 저절로 발동하지 않는다. 다만 Qwen3-VL-8B는 두 계획 설정 모두에서 오히려 떨어져, 작은 모델은 다양한 공간 과제에 대한 견고한 계획과 긴 문맥 다중 이미지 추론에서 뒤처진다는 점이 드러났다. 외부 ASM과의 비교에서는 외부 ASM이 항상 이롭지 않아 Around에서 52.0%가 45.5%로 떨어지는 사례가 있었다. 반면 내재화 후 SpatialASM-8B는 Vanilla 추론만으로 두 하위 과제 모두 개선됐고 추론 시간 증가는 눈에 띄지 않았다. SpatialASM-8B와 외부 ASM을 함께 쓸 때 Among 45.0%, Around 61.5%로 가장 높은 정확도를 냈는데, 저자들은 내재화와 외부 도구 사용이 상호 보완적이라고 해석한다. 절제 실험에서는 SpatialASM-NVG가 두 백본·두 MindCube 하위 과제 모두에서 최고 정확도를 냈지만 GeoP 값 자체는 비교 대상인 SVC가 더 낮았다. 기하 일관성만으로 하위 공간 추론에서 생성 뷰의 유용성이 결정되지 않는다는 뜻으로, 저자들은 타자중심 표현이 시점 위치를 원본 이미지에 명시적으로 표시해 원본 장면과 생성 관측의 대응을 LVLM이 이해하기 쉽게 만든다고 본다. GeoP 기반 필터링은 SFT와 RL 양쪽에서 4개 SR 벤치마크 평균을 끌어올렸고, SFT는 MindCube +4.8%·ViewSpa +3.0%로 시점 변환과 다단계 추론에 강했으며 RL은 지각 중심의 EmbSpa에서 특히 효과적이었다. 두 단계를 합쳤을 때 전체 정확도가 가장 높았다.

개발자 관점에서 이 논문의 실용적 가치는 두 가지다. 첫째, 이미 갖고 있는 정답만 있는 공간 QA 데이터를 시점 계획·시점 상상·근거 기반 추론이 포함된 CoT 감독으로 자동 승격시키는 데이터 엔진으로 참고할 수 있다. 둘째, NVG는 학습 시점에만 필요하므로 배포 시 추가 시뮬레이터 호출이나 지연이 생기지 않는다. 도입을 검토한다면 확인해야 할 전제가 몇 가지 있다. GeoP는 정답 척도가 아니라 재구성 모델 F에 의존하는 대리 지표이므로 F를 바꾸면 필터 기준도 흔들린다. 임계값 θ와 θ_RL은 데이터셋별로 정해 넣어야 하고, 타자중심 시점 표현은 기준 이미지 인덱스와 그 위 픽셀 좌표에 묶여 있어 입력 이미지 집합 구성 방식에 민감하다. 또한 궤적 합성은 모델이 원본만으로 틀린 문항만 쓰기 때문에 이미 잘 푸는 영역에서는 감독이 생기지 않는다.

저자들이 밝힌 한계와 전제는 다음과 같다. GeoP는 F에 의존하는 대리 지표이며 정답 기반 측정이 아니라는 점을 명시하고, 이 값을 렌더 뷰 필터링과 생성기 비교에만 쓴다. NVG는 학습 시점 시뮬레이터로 한정되며 추론 시점에는 호출되지 않는다. 실험은 정적 장면 데이터셋에 머물러 있고, 향후 과제로 다른 형태의 도구 보조 추론의 내재화, 동적 실세계 장면, 체화 상호작용, 더 긴 지평의 3D 추론으로의 확장을 제시한다.