Spatial-TRM은 반복 정제로 공간 문맥 예측 정확도를 높인다

무엇인가

이 논문은 RGB 이미지와 공간 프롬프트가 주어졌을 때 기준 물체와의 관계를 만족하는 후보 영역을 예측하는 공간 문맥 예측을 다룬다. '그릇 왼쪽의 빈 공간을 찾아라' 같은 지시는 물체를 찾는 것만으로는 부족하고, 기준 물체를 접지하고, 적절한 기준 좌표계에서 방향을 해석하며, 빈 공간과 점유 영역을 구분해야 한다. 저자들은 큰 비전-언어 모델이 공간 관계와 물리적 제약에 여전히 취약하다고 보고, 고정된 특징 위에서 반복 정제가 동일 파라미터 수로 예측을 개선하는지 묻는다. 기존 포인트 예측 과제를 이진 분할로 재구성해 마스크로 후보 영역을 표현하며, RoboSpatial의 주석 포인트를 2차원 볼록 껍질로 감싸 학습 타깃을 만든다. 이 마스크는 희소 주석에서 파생된 감독일 뿐 빈 공간 전체를 완전히 라벨링한 것은 아니다.

어떻게 동작하나

Spatial-TRM은 DINOv3 ViT-L/16과 dino.txt 텍스트 타워를 고정 인코더로 사용한다. 전체 877.8M 파라미터 중 866.6M이 고정 인코더이고, 학습 가능한 파라미터는 11.2M로 전체의 1.3%다. 프롬프트마다 두 종류의 텍스트 임베딩을 뽑는데, 하나는 기준 물체 이름만으로 만든 접지용이고 다른 하나는 전체 프롬프트로 만든 추론용이다. 이미지 패치 토큰이 기준 물체 텍스트 토큰을 쿼리하는 멀티헤드 크로스 어텐션으로 접지한 뒤 잔차로 더하고, 전체 프롬프트 임베딩과 연결해 추론 블록의 입력 잠재 상태를 만든다.

무엇과 다른가

추론 코어는 Tiny Recursive Model의 잠재 정제를 자연 이미지 공간 추론에 맞게 변형한 것이다. 추론 상태 z와 답 상태 y를 유지하고, 입력 잠재를 z에 반복 주입해 y를 갱신하며, 두 상태 갱신에 같은 2층 트랜스포머 가중치를 재사용한다. 비전 토큰에는 2차원 회전 위치 인코딩, 텍스트 토큰에는 1차원 인코딩을 적용하고, 각 갱신에서 이미지와 텍스트 시퀀스에 자기어텐션을 수행한다. 깊은 재귀 한 주기 안에서 z를 네 번 갱신한 뒤 y를 한 번 갱신하고, 이런 주기를 깊은 감독 한 단계당 세 번, 학습 중 최대 네 번 반복한다. 학습 중에는 ACT에서 착안한 정지 헤드가 현재 답 잠재로 정지 로짓을 예측해 조기 정지를 결정하지만, 추론 시에는 적응 정지를 끄고 전체 예산을 사용한다.

어떻게 쓰나

영역 디코더는 CvxNet의 반공간 표현에서 착안해 하나의 볼록 다각형을 출력한다. 내부 기준점 하나와 고정된 등간격 법선 방향 32개의 반평면 오프셋을 예측해 총 34개 기하 값을 만들고, 이들의 교집합으로 224×224 마스크를 구성한다. 각 화소 p에 대해 m_k(p)=d_k−n_k·(p−c)로 부호 있는 마진을 계산하고, 모든 경계에 대한 최소 마진을 0에서 임계 처리해 전경을 정한다. 이 매개변수화는 예측 영역이 연결되어 있고 구멍이 없다는 것을 구조적으로 보장한다. 학습 목표는 전경 가중치를 준 이진 교차엔트로피, 정지 헤드용 이진 교차엔트로피, 그리고 공간 관계를 구분하도록 하는 관계 대조 손실이다. 관계 대조 손실은 공간 관계를 무작위로 바꾼 부정 프롬프트를 만들어, 올바른 관계 예측이 부정 예측보다 정답 마스크와 더 높은 코사인 유사도를 갖도록 마진을 둔다. 정지 헤드의 정답 기준은 중심점 하나가 아니라 중심점과 고정 거리의 8연결 이웃을 함께 사용해 양방향 공간 일치를 측정한다.

전제와 한계

실험은 RoboSpatial의 공간 문맥 하위 집합 40,000개 샘플로 학습하고 RoboSpatial-Home의 122개 문맥 질문으로 전이 평가한다. 주요 결과는 877.8M 전체 파라미터, 11.2M 학습 파라미터로 공간 문맥 정확도 29.51%다. 동일 파라미터 수로 재귀를 끈 단일 단계 모델은 20.49%로, 9.02%p(상대 44.0%) 낮다. 같은 고정 인코더를 쓰는 피드포워드 대조군은 4.46M 학습 파라미터로 17.21%에 그쳐 재귀 모델과 12.30%p 차이를 보였다. 저자들은 이 비교가 파라미터 수는 고정했지만 재귀 모델이 더 많은 계산을 쓴다는 점을 명시한다.

표의 비교에서 Spatial-TRM은 RoboSpatial로 파인튜닝된 VILA, SpaceLLaVA, LLaVA-NeXT보다 높은 29.51%를 기록했지만, RoboPoint 파인튜닝의 31.10%보다 1.59%p 낮다. GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5의 보고 점수는 넘었고, Gemini Robotics-ER 1.5의 31.10%보다도 1.59%p 낮다. RoboBrain 2.0, SpaceTools, RoboRefer는 44.35%에서 61.48%로 더 높다. 다만 이 베이스라인들은 공통 프로토콜로 재평가되지 않았고 프롬프트, 포인트 선택, 모델 버전이 다를 수 있다. 모델 크기는 RoboPoint의 보고된 13B보다 약 15배 작지만 추론 속도와 계산 비용은 측정하지 않았다. 인코더를 CLIP ViT-L/14로 바꾸면 전체 파라미터가 438M로 절반이 되고 정확도는 26.23%로 3.28%p 낮아진다. SigLIP-SO400M/14는 888M 파라미터로 16.39%에 그쳐 DINOv3보다 13.12%p 낮았고, 전체 크기만으로 성능 차이를 설명할 수 없음을 보여준다.

평가 민감도도 보고한다. 예측 마스크는 그대로 두고 대표점을 1개에서 2개, 5개, 10개로 늘리면 정확도는 29.51%에서 32.79%, 37.70%, 44.26%로 올라 1개 대비 10개가 14.75%p 높다. 저자들은 이 상승이 더 관대한 포인트 기준에 따른 민감도일 뿐 전체 예측 영역의 타당성을 입증하지 않는다고 강조한다. 관계별로는 front 34.0%(16/47), left 30.0%(6/20), right 35.3%(6/17), behind 22.2%(2/9), below 35.7%(5/14), above 6.7%(1/15)다. 학습 데이터에는 above와 below 질의가 합쳐 2.36%뿐인데 벤치마크에서는 23.8%를 차지해 관계 커버리지 불균형이 성능에 영향을 줄 수 있다고 본다.

개발자 관점에서 이 방법은 로봇이나 AR에서 RGB와 텍스트만으로 '물체 주변의 후보 빈 영역'을 빠르게 제안하는 모듈에 쓸 수 있다. 고정 인코더 위에 작은 학습 가능 헤드를 붙이고, 반복 정제로 파라미터를 늘리지 않고 추론 깊이를 확장한다는 점이 핵심이다. 그러나 출력은 단일 볼록 다각형이라 구멍이나 분리된 유효 영역을 표현하지 못하고, 물체와 겹치지 않는다거나 물리적 지지를 제공한다는 보장이 없다. 저자들은 현재 목표가 점유나 충돌 회피를 명시적으로 감독하지 않는다고 밝힌다. 또한 마스크 타깃이 희소 포인트의 볼록 껍질이라 유효 공간 전체를 덮지 않을 수 있고 주석 사이의 점유 영역을 포함할 수도 있다. 포인트 정확도와 마스크 IoU는 전체 예측 영역의 물리적 타당성을 입증하지 못하며, RoboSpatial-Home은 원근 정보가 없고 장면이 더 복잡해 기준 좌표계 모호성과 접지 실패가 생긴다. 작거나 먼 물체는 접지 단계에서 놓칠 수 있고, 학습되지 않은 관계에 대한 제로샷 일반화는 평가 범위 밖이다. 모델 크기 감소가 계산량 감소를 뜻하지도 않으며, 고정 인코더와 반복 정제는 여전히 추론 비용을 만든다.