G³VLA가 카메라 캘리브레이션을 VLA 시각 토큰에 주입한다

무엇인가

사전학습된 VLA 모델은 언어 지시와 물체에 대한 의미 이해는 잘 하지만, 시각 입력을 2D 이미지 토큰으로만 다루기 때문에 카메라 기하는 행동 지도 신호로부터 암묵적으로 배워야 한다. 카메라가 여러 대인 로봇 시스템에서는 내부 파라미터 K와 외부 파라미터 T로 시점들이 기하학적으로 묶여 있음에도 기존 VLA는 각 시점을 독립된 이미지처럼 처리한다. 같은 물리적 장면이라도 카메라가 움직이면 이미지 투영이 달라지므로, 이 구조는 시점 이동에 취약하다. 논문은 이미 알려진 캘리브레이션 값을 사전학습 VLA의 시각 토큰 경로 안에 기하학적 사전지식으로 넣을 수 있지 않느냐는 질문에서 출발한다.

어떻게 동작하나

G³VLA는 행동 예측 직전의 시각 토큰 스트림에 Camera-Aware Geometric Module을 끼워 넣는다. 백본 구조와 행동 공간, 원래의 행동 학습 목적함수는 그대로 둔다. 첫 요소는 내부 파라미터 조건부 광선 임베딩이다. 동차 픽셀 좌표 u=(x,y,1)에 대해 정규화된 투영 광선은 (K^v)^{-1}u로 주어지고, 핀홀 모델에서 세 번째 좌표는 고정이므로 앞의 두 성분만 취해 이미지 평면 광선 좌표 R^v(x,y)를 만든다. 학습 가능한 임베딩 G_φ가 이 광선 맵을 패치 그리드로 투영해 패치 임베딩에 더한 뒤 SigLIP 트랜스포머 인코더에 넣는다. G_φ는 0으로 초기화되므로 학습 초기에는 기존 표현이 그대로 보존된다.

무엇과 다른가

두 번째 요소는 PRoPE(projective positional encoding)다. 광선 임베딩은 카메라 내부의 시선 방향만 담을 뿐 시점 간 관계는 담지 못하는데, PRoPE는 시점별 내부 파라미터 K^v와 world-to-camera 행렬 (T^v)^{-1}, 패치 위치로부터 쿼리·키·값에 대한 고정 투영 변환을 유도해 교차 시점 어텐션에 카메라 모델 기반 관계를 제공한다. 세 번째는 양방향 교차 시점 융합이다. 먼저 Frame Attention이 각 카메라 스트림 내부에서 토큰을 처리해 시점 국소 구조를 보존하고, 이어서 Cross-View Attention이 시점·패치 차원을 펼쳐 모든 유효 토큰이 양방향으로 어텐션하게 한다. 이 단계는 일반 전역 어텐션 블록 하나와 PRoPE 블록 하나로 구성되며, PRoPE 블록은 Q̃K̃ᵀ/√d_h + M에 소프트맥스를 취해 Ṽ를 곱하는 형태로 어텐션 가중치와 값 집계를 상대 카메라 기하에 조건화하고, 그 출력을 잔차로 더한다. M은 유효하지 않거나 패딩된 시점을 마스킹한다. 구현은 224×224 입력과 16×16 SigLIP 패치 그리드를 쓰며, 카메라 ID 임베딩이나 캘리브레이션과 불일치하는 증강은 쓰지 않는다. 움직이는 카메라는 관측마다 외부 파라미터를 갱신한다.

어떻게 쓰나

행동 지도만으로는 새로 넣은 시각 토큰 모듈이 담는 기하를 명시적으로 제약하지 못하므로, 조밀한 보조 기하 증류 목적함수와 2단계 학습 커리큘럼을 둔다. VLA 투영 이전의 융합된 시각 토큰에 붙은 보조 포인트 헤드가 픽셀별 광선 좌표 q̂와 log-z 깊이 d̂를 예측하고, 정답은 시뮬레이터처럼 정답 깊이가 있는 경우에는 렌더링 깊이에서, 그렇지 않으면 π³X를 오프라인 기하 교사로 삼아 신뢰도 게이트 m=1[c>τ](τ=0.1)를 적용해 얻는다. 두 경로 모두 같은 헤드와 같은 손실을 쓴다. 전체 손실은 λ_act·L_act + λ_distill·L_distill이며, 1단계는 5천 스텝(웜업 500) 동안 (λ_act, λ_distill)=(0.1, 1.0)으로 광선 임베딩·교차 시점 융합 레이어·보조 헤드만 갱신하고 백본은 동결한다. 2단계는 3만 스텝(웜업 1천) 동안 (1.0, 0.05)로 전체 파라미터를 풀고 행동 손실을 주도하게 하되 증류를 가벼운 기하 정규화로 남긴다. AdamW, 그래디언트 클리핑 1.0, 배치 32, bfloat16, 코사인 학습률 2.5e-5에서 2.5e-6 감쇠를 쓴다. 추론 시에는 보조 헤드를 버리고 교사 모델도 호출하지 않는다.

전제와 한계

π0 백본에서의 표준 벤치마크 결과는 일관된 개선이다. LIBERO 4개 스위트 매크로 평균 성공률이 84.6%에서 정답 기하 지도 시 88.1%, π³X 지도 시 87.0%로 올랐고, π³X 변형은 네 스위트 모두에서 베이스라인을 앞선다. RoboCasa24 가사 과제에서는 전체 성공률이 34.2%에서 37.1%(정답), 36.5%(π³X)로 올랐다. 카메라 3대를 쓰는 RoboTwin2.0 양팔 5과제에서는 정답 지도 기준으로 10개 과제-난이도 조합 중 9개에서 개선되고 나머지 1개는 동률이었으며, 평균 성공률이 Easy에서 63.8%에서 69.2%, Hard에서 11.6%에서 15.8%로 상승했다.

시점 일반화가 이 논문의 핵심 주장이다. LIBERO-Goal 500개 데모를 yaw·pitch·반경을 바꾼 16개 3인칭 시점에서 다시 렌더링해 학습하고, 학습 시점 분포(ID)와 8개 홀드아웃 시점(OOD)에서 평가했다. 20K·25K·30K 체크포인트 평균으로 ID가 86.1%에서 89.1%, OOD가 80.6%에서 87.0%로 올라 OOD 이득(+6.4%p)이 ID 이득(+3.0%p)보다 컸고, 8개 홀드아웃 시점 전부에서 베이스라인을 앞섰다. 물체나 목표가 3인칭 프레임 밖으로 잠시 나가는 (시점, 과제) 쌍을 제외해도 결론은 유지된다(ID +2.4, OOD +7.3). 실로봇에서는 양팔 UR5 워크벤치에서 10개 시점 120 에피소드로 학습하고 시점 1·3(ID)과 11~13(OOD)으로 평가했는데, Pouring Nut에서 π0와 π0.5 모두 OOD 성능이 올랐고, Pick-and-Place Test Tube에서는 π0 베이스라인과 OOD에서 동률이면서 π0.5를 25K에서 25.0%에서 50.0%로, 30K에서 41.7%에서 58.3%로 끌어올렸다.

저자들은 이득이 모델 용량이 아니라 실제 카메라 기하에서 온다는 것을 통제 실험으로 보인다. 올바른 캘리브레이션에서 π0 87.0%, π0.5 97.0%인데, 추론 시에만 K와 T를 무작위화하면 79.2%와 90.6%로 떨어진다. 학습과 평가 모두에서 무작위화하면 83.8%와 94.6%로 회복되지만 정상 캘리브레이션보다 3.2%p, 2.4%p 낮고 바닐라 VLA 베이스라인(84.6%, 95.9%)보다도 낮다. 반대로 초점거리 ±2%, 주점 ±2픽셀, 이동 1cm, 회전 1도 수준의 완만한 오차에는 각각 0.4%p, 0.3%p만 떨어져 강건하다. 소거 실험에서는 광선 임베딩을 빼면 87.0%에서 85.0%, PRoPE를 빼면 85.9%, 2단계를 1단계 공동 학습으로 바꾸면 86.3%로 내려간다. 신뢰도 임계값 τ는 0.05~0.20 구간에서 86.8~87.0%로 안정적이다. 백본 일반화는 π0.5에서 95.9%에서 97.0%로 개선됐지만 GR00T 1.5에서는 94.9%에서 95.3%로 효과가 혼합적이다. 비용은 학습 시 56.7M 파라미터(1.62%), 배포 시 보조 헤드 제거 후 48.3M(1.38%)이 추가되고, RoboCasa 추론 지연은 112.3ms에서 115.7ms로 3.0% 늘어난다.

실무 관점에서 이 논문은 다중 카메라 로봇 정책을 이미 캘리브레이션된 시스템에 얹을 때 바로 참고할 만하다. 행동 공간이나 학습 목적을 바꾸지 않는 토큰 레벨 인터페이스라 기존 파이프라인에 끼워 넣기 쉽고, 깊이 센서나 수동 기하 주석 없이 π³X 교사 증류만으로 학습할 수 있다는 점이 실용적이다. 다만 도입 전에 확인할 것은 세 가지다. 첫째, 이득은 올바른 캘리브레이션에 의존하므로 캘리브레이션이 부정확하면 오히려 바닐라보다 나빠질 수 있다. 둘째, GR00T 1.5처럼 비전 특징이 동결된 VLM을 통해 확산 정책으로 전달되는 구조에서는 효과가 혼합적이었다. 셋째, 실로봇 이득은 과제와 백본에 따라 편차가 크다. 저자들도 목표물 가시성을 프레임별로 확인하지 않았다는 점과, 이득이 추가 용량이 아닌 기하 조건화에서 비롯된다는 통제 실험의 전제를 명시하고 있다.