멀티모달 LLM 내부에서 물체 위치를 좌표로 담는 S-Space를 찾아낸다

무엇인가

멀티모달 언어모델(MLLM)은 재구성, 계획, 내비게이션, 조작 같은 물리 세계 과제로 공간 지능을 빠르게 넓혀 왔지만, 공간 추론 자체는 여전히 취약하다. 사람이 쉽게 푸는 과제에서도 성능 격차가 크게 남아 있는데, 답변이나 행동 같은 외부 결과만 봐서는 실패가 어디서 생기는지 알기 어렵고 내부 표현과 메커니즘은 거의 진단되지 않았다. 이 논문은 인간 시각 인지 연구의 '정신적 작업 공간' 개념을 빌려, MLLM 안에도 공간 정보를 담아 두고 조작하는 내부 작업 공간이 존재하는지 묻는다.

어떻게 동작하나

S-Space는 특정 모델과 특정 층에서 정의되는 3차원 선형 부분공간이다. 은닉 표현 h에서 좌우, 상하, 원근 세 축에 해당하는 방향 벡터를 찾는데, 초기 층은 입력 표현에 묶여 있고 후기 층은 다음 토큰 예측에 정렬되므로 중간 층에서 탐색한다. 방향을 찾는 절차는 경사 기반이다. '사과가 컵의 왼쪽인가 오른쪽인가' 같은 상대 공간 질문에서 정답 로짓 차이 s = logit(right) − logit(left)를 정의하고(수직은 above−below, 거리는 close−far), 질의 객체 토큰과 기준 객체 토큰 각각에 대한 이 점수의 그래디언트를 구한다. 두 그래디언트를 역할 반대칭으로 빼서 평균 내고(a = (∇h_q s − ∇h_r s)/2), 프롬프트 템플릿과 객체 순서 교체, 예시에 걸쳐 평균한 뒤 단위 벡터로 정규화해 세 축 v_x, v_y, v_z를 얻는다. 읽어내기는 순전파 한 번이면 된다. 세 방향을 행렬 V로 쌓고 객체 토큰을 투영해 좌표 c = V^T h를 얻으며, 질의와 기준의 좌표 차이 m = v^T(h_q − h_r)의 부호가 오른쪽·위·가까움인지 왼쪽·아래·멀음인지를 결정한다.

무엇과 다른가

저자들은 COCO로 만든 상대 공간 질문으로 Molmo2-ER, Qwen3.5-4B, Qwen3.6-27B에서 S-Space를 식별하고, CV-Bench, EmbSpatial, SpatialTunnel로 일반화를 평가한다. 객체 좌표와 좌표 차이는 수평·수직·거리 축 모두에서 실제 위치와 강하게 상관했고, S-Space 좌표만으로 답한 정확도는 모델의 직접 언어 답변과 비슷한 수준이었으며 식별에 쓰지 않은 분포의 벤치마크로도 일반화됐다. 인과성 실험에서는 좌표를 읽어 편집한 뒤 다시 써넣고 생성을 재개했을 때 공간 판단이 무작위 편집 대비 크게 바뀌었고, 같은 개입이 색깔 판단에는 거의 영향을 주지 않았다. 두 객체를 함께 평행 이동시키는 경우에는 상대 위치가 유지되므로 판단이 바뀌지 않았다. 프롬프트를 단일 객체 질의나 공간과 무관한 색 질문으로 바꿔도 좌표는 여전히 공간 판단을 지지했다. 다만 원문에 실린 본문에는 구체적 수치가 제시되지 않고 표와 그림 참조로만 보고된다.

어떻게 쓰나

S-Space가 어디서 오는지에 대한 사례 연구도 있다. 저자들은 대규모 학습에서 공간 언어를 예측하는 목표가 이 구조를 만든다고 가정한다. 골키퍼가 보이지 않는 공을 향해 다이빙하는 장면에서 ball 토큰은 다이빙 방향에 놓이고, 관찰자를 뜻하는 추상 토큰 you는 거리 축의 가까운 쪽으로 투영된다. 언어 맥락도 좌표를 바꾼다. 배달 로봇 이미지를 고정한 채 moving past you를 moving toward you로 바꾸면 you의 거리 좌표가 멀리서 가까이로 이동하고 로봇 좌표는 거의 그대로다. 나아가 socialist는 수평 축의 왼쪽 끝, conservative는 오른쪽 끝으로 투영되는데, 저자들은 이를 언어에서 물려받은 물리적·추상적 의미의 뒤섞임으로, 대규모 언어 학습의 능력과 한계를 동시에 보여주는 사례로 해석한다.

전제와 한계

논문의 마지막 분석은 S-Space를 공간 추론 실패의 진단 도구로 쓴다. 시점 변환 문제(SpinBench)에서 모델의 최종 답변과 무관하게 내부 좌표를 읽어 지각과 계산을 분리한다. S-Space 좌표를 읽고 목표 시점에 맞는 고정 회전을 적용해 결정적 규칙으로 답을 도출하면 직접 생성보다 일관되게 더 좋은 결과가 나왔고, 체인오브소트도 이를 따라잡지 못했다. 정답 시점 관계를 오라클로 제공한 뒤에도 모델은 목표 시점 답변을 자주 틀렸지만, 그때 S-Space 표현은 더 정확해져 거의 완벽한 정확도를 지지했다. 즉 병목은 지각이 아니라 시점 변환 계산이다. Qwen3.6-27B의 체인오브소트를 단계별로 추적하면 객체의 상대 좌표가 질문이 요구하는 시점 쪽으로 점진적으로 정렬되며, 초반에는 회전을 적용한 읽기가, 후반에는 직접 읽기가 더 유리해진다. 모델이 시점 변환의 일부를 내부에서 시뮬레이션하지만 완벽하지는 않다는 뜻이다. 또 방위 방향 추론에서는 기준틀 결합이 나타난다. east가 S-Space의 right와, north가 above와 정렬되고 northeast는 두 방향을 함께 반영한다. 저자들은 이를 웹 규모 사전학습 데이터에서 방위가 지도처럼 수평·수직 축에 맞춰 등장하는 편향으로 부분적으로 설명한다.

실무 관점에서 이 논문은 두 가지를 시사한다. 첫째, 공간 추론 파이프라인을 만들 때 모델의 언어 답변을 그대로 믿기보다 내부 좌표를 읽어 별도 규칙으로 판단하는 하이브리드 구성이 실질적인 이득을 줄 수 있다. 특히 시점 변환처럼 기하 변환이 명확한 연산은 모델에 맡기지 않고 좌표를 꺼내 외부에서 회전·투영하는 편이 낫다는 것이 이 논문의 진단이다. 둘째, S-Space는 디버깅 도구로 쓸 수 있다. 공간 질문에서 모델이 틀렸을 때 지각 단계에서 이미 좌표가 어긋난 것인지, 좌표는 맞는데 변환·응답 단계에서 무너진 것인지를 분리해 볼 수 있다. 다만 방향 벡터는 모델과 층마다 다시 식별해야 하고, 방위와 이미지 상대 방향이 섞여 있다는 점을 전제로 삼아야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 수평·수직 축은 세계 좌표가 아니라 이미지 평면 좌표를 쓰며, 깊이에 따른 원근 효과를 명시적으로 분리하지 않는다. 이 논문이 다루는 대부분의 공간 질문에는 이 투영 좌표로 충분하지만, 일반적인 3D 장면 이해로 그대로 확장되지는 않는다. 기준틀도 고정되어 있지 않아 맥락에 따라 흔들리고 체인오브소트가 진행되면서 점진적으로 재배향된다. S-Space는 모델과 층에 특화된 대상이며, 저자들은 초기 층이 입력에, 후기 층이 다음 토큰 예측에 정렬된다는 이유로 중간 층을 분석 대상으로 삼았다. 마지막으로 저자들은 하나의 거대 MLLM이 모든 공간 연산을 내부에서 처리하도록 요구할 필요는 없으며, 변환·시뮬레이션·기억을 담당하는 전용 도구를 연결하는 에이전트형 공간 추론이 유능한 지각을 신뢰할 수 있는 추론과 행동으로 바꾸는 길이라고 제안한다.