DK-VLM이 3D 기하를 어텐션의 위치로 넣어 공간 추론을 개선한다

무엇인가

비전언어모델(VLM)은 여러 뷰에 걸친 3D 공간 관계를 파악하고, 관찰자가 움직일 때 자신의 위치와 방향 기준을 갱신하는 데 여전히 약하다. 다중 뷰 질의응답, 장영상 이해, 로봇 조작, 임바디드 계획 같은 작업은 시각 내용 인식을 넘어 거리·방향·카메라 운동·뷰 간 대응을 추정해야 하고, 이런 판단을 여러 단계로 이어 붙이는 경로 계획에서는 더 취약하다. 기존 접근은 사전학습된 3D 재구성 모델의 특징을 시각 토큰에 융합하는 방식이 많았는데, 재구성 목적으로 학습된 표현과 VLM의 의미 표현 사이를 정렬해야 하고, 공간 지도 신호가 제한적일 때 이 추가 적응이 기하 정보 활용을 막고 기존 의미 표현을 훼손할 수 있다는 것이 저자들의 문제 진단이다.

어떻게 동작하나

DK-VLM의 핵심은 기하를 토큰 내용이 아니라 위치로 취급하는 이중 커널 어텐션(Dual-Kernel Attention)이다. 선택된 트랜스포머 레이어에서 어텐션을 두 갈래로 병렬 계산한다. 의미 커널은 백본의 원래 Q/K/V 투영과 mRoPE, 인과·패딩 마스크를 그대로 유지해 사전학습에서 배운 의미·시간·2D 이미지 격자 관계를 보존한다. 기하 커널은 같은 은닉 상태에서 독립적으로 투영한 Q/K/V를 쓰되, 장면 좌표계의 패치별 3D 점과 첫 프레임 기준 카메라-월드 포즈로 그 상호작용을 조건화한다. 두 커널의 출력은 레이어별 스칼라 게이트로 섞는데, 게이트는 0으로 초기화해 학습 시작 시 0.5 대 0.5 혼합에서 출발한다.

무엇과 다른가

기하 커널은 GTA(Geometric Transform Attention)를 두 형태로 쓴다. Point GTA는 패치의 장면 점을 이동 앵커로 삼아 T = [[R_rel, λ_b·x_i],[0,1]] 형태의 SE(3) 변환을 만들고, Camera GTA는 소스 프레임의 상대 카메라 포즈를 그대로 쓴다. 각 Q/K/V 헤드를 점·카메라·나머지 채널로 나누고 4차원 블록마다 4×4 변환을 적용하면, 두 토큰의 변환이 결합해 어텐션 점수에 상대 변환으로 들어간다. 점 변환의 상대 작용은 회전이 두 뷰의 상대 자세(R_i^rel⊤R_j^rel)를, 이동이 두 점의 차이(λ_b·R_i^rel⊤(x_j−x_i))를 담는다. 기하가 유효한 시각 토큰 집합에 대해서는 인과 마스크를 적용하지 않고 전체 어텐션을 쓴다. 인과 마스크를 두면 기하 관계 계산이 입력 순서에 묶여 앞선 토큰이 뒤에 나온 관측의 기하 근거를 못 쓰게 되기 때문이다. 텍스트와 기하가 무효한 토큰은 이 계산에서 제외된다.

어떻게 쓰나

여기에 Reference-Frame Composition(RC) 지도가 붙는다. 단일 단계 질의응답은 주어진 기준 프레임 안의 판단만 지도하고 그 프레임이 단계마다 어떻게 바뀌는지는 명시적으로 감독하지 않는다. RC는 검증된 단일 단계 관계를 랜드마크나 뷰를 따라 연결해 경로를 만들고, 각 단계의 회전 증분 δ_k를 표준화해 h_0=0, h_k=(h_{k−1}+δ_k) mod 360°로 누적 방위를 계산해 단계별 목표로 쓴다. VSI-590K와 SPAR-7M의 뷰 변경 부분집합에서 정확한 회전각·이산 회전 행동·연속 뷰 간 yaw 변화·누적 방위 네 종류를 만들어 약 160만 개 RC 샘플을 구성하고, 필터링과 샘플링을 거쳐 2·3단계 체인만 담은 15만 개로 학습에 사용했다. 학습은 L = L_SFT + λ(t)·L_pair로 단일 단계에서 공동 최적화한다. L_pair는 기하 유효 토큰 쌍의 상대 3D 변위를 로그 거리와 단위 방향으로 분해해, 로그 거리에는 Huber 손실, 방향에는 코사인 손실(가중 0.5)을 준다. 이 예측 헤드는 학습에만 쓰고 추론 시 제거한다.

전제와 한계

구현은 Qwen2.5-VL-7B와 Qwen3-VL-8B 위에 올렸고, 동결된 VGGT-Ω가 이미지에서 3D 점과 카메라 포즈를 추정한다. 학습 영상에서 최대 32프레임을 균일 샘플링하고, 디코더 레이어 5개에 이중 커널 어텐션을 넣고 언어모델 Q/K/V/O에 rank-64 LoRA를 적용했다. 학습되는 파라미터는 7B에서 2.88%, 8B에서 3.86%뿐이다. 결과로 DK-VLM-8B는 비교 방법 중 VSI-Bench 74.33, ReVSI-32 58.28로 두 벤치마크 모두 최고 종합 점수를 냈고, 6개 공간 벤치마크 평균 64.09로 1위, 그중 4개에서 1위를 차지했다. 7B·8B 모두 대응하는 GeoThinker 모델을 앞섰고, 8B는 두 벤치마크의 경로 계획에서도 GeoThinker-8B를 넘었다.

절제 실험은 설계 근거를 뒷받침한다. Point GTA와 Camera GTA를 함께 쓰는 것이 각각 단독보다 좋았고, 둘 다 항등 변환으로 바꾸면 전체 기하 브랜치와 파라미터를 그대로 둔 채 VSI-Bench 점수가 4.31%포인트 떨어졌다. 즉 이득이 단순한 파라미터 용량 증가가 아니다. RC 지도를 켠 DK-VLM-8B는 VSI-Bench·ReVSI-32의 경로 계획, MMSI-Bench의 다단계 추론, ViewSpatial의 타인 시점 과제에서 개선을 보였고, 학습에서 제외한 4단계 체인을 포함해 모든 길이에서 단계 진행률과 체인 정확도를 올렸다. 같은 지시 데이터로 학습한 Qwen3-VL-8B보다 DK-VLM에서 RC 이득이 더 컸다는 점을 저자들은 기하 관계 모델링과 단계별 지도의 상보성 근거로 든다. 일반 영상 이해는 VideoMME에서 1.63점 높고 MVBench에서 0.49점 낮아 비슷한 수준을 유지했다.

실무 관점에서 이 논문이 주는 시사점은 명확하다. 3D 재구성 특징을 토큰에 이식하는 대신, 이미 있는 위치 인코딩 옆에 기하 전용 어텐션 커널을 병렬로 두고 게이트로 섞는 방식은 백본의 의미 능력을 보존하면서 공간 추론을 얹는 비교적 가벼운 경로다. 학습 파라미터가 백본의 4% 미만이라는 점, 기하 입력을 이미지에서 추정해 추론 시 정답 깊이나 카메라 포즈가 필요 없다는 점, 기하 프론트엔드를 교체 가능하게 설계했다는 점은 실제 파이프라인에 얹을 때 확인할 만한 항목이다. 다만 이 수치는 저자들이 비교군으로 삼은 방법들 사이에서의 최고 기록이며, RC 학습 데이터는 2·3단계 체인으로 제한했고, 기하 어텐션은 기하가 유효한 시각 토큰에만 적용된다는 전제가 깔려 있다. 대체 기하 프론트엔드에 대한 평가는 재학습 없이 부록 A.10에 실려 있다는 정도가 원문에서 확인되는 범위다.