VLM이 3D 장면에서 스스로 시점을 옮겨 증거를 찾게 만든다

무엇인가

이 논문은 3D 공간에서 시각언어모델이 정답을 맞히기 위해 필요한 시각 증거를 스스로 찾아나가는 문제를 다룬다. 기존 3D VLM 연구는 RGB-D 스캔, 다중 시점 이미지, 비디오, 포인트클라우드처럼 관측을 미리 완전하게 주는 경우가 많았다. 그러나 부분 관측 상황에서는 현재 보이는 증거로 추론하는 것뿐 아니라, 가려졌거나 멀리 있는 대상을 보기 위해 어디로 움직이고 어디를 볼지 결정해야 한다. 논문은 이를 부분관측 마르코프 결정과정으로 정식화하고, 3D 장면은 모델 외부의 상호작용 환경으로 두며 카메라 위치와 방향을 행동으로 바꾸는 설정을 쓴다.

어떻게 동작하나

방법의 핵심은 VLM의 원래 시각 인코딩을 유지해 한 번에 한 장의 1인칭 렌더링 이미지만 관측으로 주는 것이다. 행동은 상대적 카메라 이동으로 구성된다. 전후좌우상하 이동 6개와 좌우상하 회전 4개에 1에서 8까지의 배수를 곱해 80개의 내비게이션 행동을 만들고, 정답을 내는 stop 행동을 추가한다. 모델은 질문, 관측 이미지, 자신의 중간 추론, 행동, 카메라 설정을 포함한 전체 상호작용 이력을 조건으로 다음 행동을 생성한다. 저자들은 믿음 상태를 명시적으로 계산하지 않고, VLM이 전체 이력에 조건화되어 암묵적으로 장면에 대한 믿음을 형성한다고 설명한다. 학습은 두 단계다. 먼저 GPT-5.4로 만든 5,712개 궤적, 20,603개 관측, 830개 장면으로 교사 궤적을 모방하는 SFT를 수행해 기본 상호작용 프로토콜을 익힌다. 이후 51,543개 질문에 대해 GRPO 기반 강화학습을 적용한다. 보상은 정답 판정과 정확 일치로 구성된 정답 보상, 정답인 롤아웃에서만 주어지는 상호작용 보상, 형식 오류 감점으로 이루어진다. 특히 중간 시점이나 탐색 행동에는 직접 감독이 없고, 최종 정답이 얼마나 좋아지는지를 통해 탐색 정책을 학습한다.

무엇과 다른가

실험은 Qwen3.5-9B를 베이스로 삼아 SPBench-SI, SPBench-MV, ARKitScenes, ScanQA, SQA3D, MP3D의 6개 3D 벤치마크에서 진행됐다. 혼합 데이터로 학습한 ACT3D는 평균 정확도 53.2%를 기록해 베이스 Qwen 모델보다 22.0%p 높았고, 같은 상호작용 프로토콜의 Gemini 3.6 Flash보다 1.0%p 앞섰다. SFT 초기화 48.6%에서 RL로 53.2%까지 4.6%p 올렸으며, ARKit에서 14.1%p, SPBench-MV에서 8.1%p 개선됐다. 기존 오픈소스 3D 방법보다 적은 입력 프레임, 즉 50~70% 적은 프레임으로도 앞선다는 점을 강조한다. ScanQA만으로 학습한 경우에도 SFT 47.8%에서 RL 후 50.6%로 2.8%p 향상됐고, ScanQA 외 5개 벤치마크 평균은 49.5%에서 51.6%로 2.1%p 올랐다. MP3D는 6.0%p, SQA3D는 3.8%p 개선됐다. 탐색 필요도별로 나누면 초기 시점에서 답할 수 있는 질문의 개선은 0.6%에 그쳤지만, 많은 탐색이 필요한 질문에서는 16.3%까지 커졌고 가장 어려운 그룹에서는 RL이 SFT보다 추가로 10.9%p 기여했다.

어떻게 쓰나

절제 실험은 설계 선택의 이유를 보여준다. 단일 렌더링 시점에서 시작한 경우 ScanQA 정확도는 41.0%로, 조감도와 4개 렌더링 시점을 함께 준 41.4%와 거의 같았다. 반면 조감도와 단일 렌더링 시점을 결합하면 36.7%로 떨어졌다. 관측 인터페이스에서는 실제 ScanNet 이미지를 가장 가까운 시점에서 검색하는 방식보다 포즈에 맞춰 렌더링하는 방식이 13개 평가 체크포인트 모두에서 우세했고 평균 10.6%p 높았다. 행동 공간은 상대적 카메라 이동이 41.4%, 절대 포즈 예측이 36.7%로 상대 행동이 더 나았다. SFT 초기화 없이 RL만 하면 80스텝 후 28.9%에서 34.8~37.9%로 오르지만 에피소드당 상호작용이 약 1회에 그쳤고, 470스텝에서는 41.4%와 2.0회까지 늘었다. SFT 초기화 후 RL은 39.5%에서 42.7%로 오르며 상호작용이 2.7회에서 8.7회로 증가했다. 상호작용 보상을 명시적으로 주면 상호작용 횟수가 5.1~6.3회에서 9.4~10.1회로 늘고 SPBench-MV에서 6.4%p 오르는 등 held-out 성능에는 도움이 됐지만, 학습 도메인에서는 0.3~2.3%p 소폭 하락했다.

전제와 한계

개발자 관점에서 이 논문은 3D 공간 질의응답이나 공간 에이전트를 만들 때 모든 시점을 한 번에 넣는 방식보다, 행동과 관측을 번갈아 주는 인터페이스와 최종 정답 기반 보상이 중요하다는 것을 보여준다. 특히 상대적 이동·회전 행동, 렌더링과 행동의 일관성, 정답을 맞히기 위해 필요한 증거를 보았는지에 대한 보상 설계가 실무적으로 참고할 만하다. 다만 평가가 스캔된 실내 3D 장면과 최대 12회 상호작용 예산에 한정되어 있고, 실제 로봇의 충돌·동역학·센서 노이즈를 다루지는 않는다. 또한 정답 객체의 주석 위치를 이용해 grounding 보상을 계산하므로, 주석이 없는 환경에서는 보상 설계를 다시 해야 한다.

저자들이 별도의 한계 절을 길게 두지는 않았지만 본문에는 전제가 드러난다. 카메라는 장면 경계 상자 안으로 제한될 뿐 충돌 검사를 하지 않아 기하학을 통과할 수 있고, 환경 전이는 결정론적이며, 상대 행동을 기본으로 채택했다. 렌더링 관측은 실제 이미지보다 시각적 충실도가 낮을 수 있고, 실제 이미지 검색은 요청한 포즈와 관측이 어긋나는 문제가 있었다. SFT 궤적은 GPT-5.4가 생성한 교사 데이터에 의존하며, RL 보상의 grounding 항은 주석된 객체 위치를 필요로 한다. 실험도 실내 스캔 기반 벤치마크에 집중되어 있어, 실외·대규모 장면이나 실제 embodied agent로의 일반화는 추가 검증이 필요하다.