PINT는 공유 예측 의도로 로봇 조작의 분포 밖 일반화를 끌어올린다

무엇인가

일반 목적 로봇 조작은 다양한 과제에서 복잡한 물리 환경을 이해하고 상호작용해야 한다. 사전학습된 비전-언어 모델(VLM)은 의미 추론을, 비디오 생성 모델(VGM)은 물리 동역학에 대한 사전지식을 제공한다. 문제는 이 둘을 합치는 방식이다. 기존 통합 모델들은 여러 레이어에서 공유 어텐션으로 비전-언어·비디오·행동 표현을 직접 융합하는데, VLM과 VGM은 서로 다른 아키텍처와 조건화 방식, 학습 목표로 훈련되어 내부 표현이 특화되어 있다. 직접 융합하면 이 표현들이 자기 전문 계산과 교차 전문가 조정을 동시에 떠안게 되어, 사전학습된 전문가의 특화 능력을 끌어내기 어려워진다. 논문이 던지는 핵심 질문은 조정을 위해 무엇을 공유하고, 특화를 위해 무엇을 보존할 것인가다.

어떻게 동작하나

PINT의 답은 청크 수준의 압축 표현인 '예측 의도(Predictive Intent)'다. VLM 시퀀스의 멀티모달 프리픽스 끝에 학습 가능한 Intent Token들을 삽입하고, 최종 레이어에서 그 토큰 위치의 은닉 상태를 예측 의도 z_t로 정의한다. 별도의 선형 투영이 z_t를 VGM과 행동 전문가(AE) 각각의 조건화 공간으로 매핑한다. VGM 쪽에서는 원래의 프롬프트 조건화만 예측 의도로 교체하고, 사전학습된 생성 메커니즘과 경로는 그대로 보존한다. AE는 예측 의도와 고유수용성 상태, 그리고 현재 프레임에서 뽑은 VGM의 레이어별 키/값 특징을 함께 받아 연속 행동을 생성한다. 이때 정보 흐름은 단방향이다. AE가 VGM 표현을 참조하지만 VGM 토큰은 AE 토큰을 참조하지 않는다. 추론 시에도 VGM은 살아 있되, 기본 설정에서는 미래 비디오 디노이징을 생략하고 현재 프레임에 대해 한 번만 순전파한 뒤 그 키/값 특징을 모든 AE 디노이징 스텝에 재사용한다.

무엇과 다른가

학습은 세 가지 본연의 예측 목표를 함께 쓴다. VLM은 Intent Token 뒤에 붙는 이산 행동 토큰 접미사에 대해 다음 토큰 예측(AR) 손실을 받고, 이 접미사는 추론에서 생략된다. VGM은 미래 비디오 잠재 표현에 대한 플로 매칭으로 속도장을 예측하고, AE는 행동 청크에 대한 플로 매칭으로 속도장을 예측한다. 예측 의도가 무엇을 담아야 하는지는 사람이 지정하지 않고 이 세 목표에서 공동으로 학습된다. 훈련은 2단계다. 1단계에서는 VGM을 동결한 채 VLM과 Intent Token, AE를 최적화한다. VGM이 고정되어 있으므로 미래 비디오 목표의 그래디언트는 예측 의도 조건화 경로를 통과할 수밖에 없고, 그 결과 과제와 관련된 미래 동역학이 예측 의도에 새겨진다. 2단계에서는 VLM과 Intent Token을 동결해 멀티모달 문맥에서 예측 의도로 가는 매핑을 고정하고, VGM과 AE를 적응시켜 비디오·행동 생성을 다듬는다.

어떻게 쓰나

백본은 Qwen3.5-4B(VLM)와 Wan2.2-5B(VGM)를 쓴다. 임베디드 사전학습 없이 LIBERO에서 평균 98.0%, LIBERO-Plus에서 79.5% 성공률을 기록했다. LIBERO-Plus에서 Fast-WAM은 51.5%에 그쳤고, 임베디드 사전학습 없는 최강 베이스라인인 StarVLA-OFT 75.0%와 ResVLA 75.3%를 넘어섰으며, 임베디드 사전학습을 쓴 Motus 76.0%, MemoryVLA++ 73.1%보다도 높다. RoboTwin 2.0에서는 Easy 68.6%, Hard 15.5%로, Fast-WAM의 72.4%/1.8%와 비교해 Easy는 조금 낮지만 Hard가 압도적으로 높아 평균 성공률이 42.1% 대 37.1%로 앞선다. Hard에서 사전학습 없는 최강 베이스라인 Evo-1(12.5%, 평균 39.1%)도 넘는다. 변형 모델 PINT-VA는 LIBERO 98.2%, LIBERO-Plus 81.0%, RoboTwin 2.0 71.9%/18.1%/45.0%까지 올린다. 실세계 양팔 조작 5개 과제에서는 68% ID, 24% OOD 성공률로, 임베디드 사전학습을 한 Motus(35%/9%)를 크게 앞서고 π0.5(67%/35%)와는 ID에서 동률, OOD에서는 뒤진다.

전제와 한계

지연시간도 함께 보고된다. A100 80GB, BF16, 배치 1에서 32스텝 행동 청크를 10번 디노이징할 때 Fast-WAM 266ms, PINT 331ms, PINT-VA 776ms다. 즉 PINT는 Fast-WAM 대비 적당한 추가 비용만 내고, PINT-VA는 훨씬 큰 추론 비용을 성능과 맞바꾼다.

절제 실험은 설계 선택의 기여를 분리한다. VGM을 예측 의도 대신 원래 프롬프트로 조건화하면 RoboTwin 2.0이 68.6%/15.5%에서 62.4%/11.1%로, LIBERO/LIBERO-Plus가 98.0%/79.5%에서 95.9%/63.4%로 떨어지는데 OOD 하락 폭이 훨씬 크다. VGM용과 AE용 의도를 따로 둔 Split Intent는 65.1%/11.8%다. 1단계 미래 비디오 감독을 빼면 63.2%/11.5%(LIBERO 97.1%/75.2%), AR 감독을 빼면 67.3%/12.2%, 추론 시 VGM→AE 특징을 끊으면 65.9%/14.6%가 된다. 1단계만 쓰거나 단일 단계로 학습하면 각각 58.5%/13.1%, 65.5%/14.4%다. 예측 의도 시각화에서는 정답 행동 청크를 t-SNE로 투영하고 평균 풀링한 Intent Token의 3차원 PCA 값으로 점을 색칠했을 때 구조적인 색 변화가 나타나, 예측 의도가 다양한 궤적의 행동 구조를 포착함을 시사한다.

개발자 관점에서 이 논문의 실용적 포인트는 '무엇을 공유할지'를 설계 문제로 명시화했다는 점이다. 이미 사전학습된 VLM과 VGM을 각각 보유하고 있고 이들을 조합해 정책을 만들려는 팀이라면, 레이어 전반의 공유 어텐션으로 통째로 붙이는 대신 소수의 학습 토큰을 인터페이스로 두고 각 전문가의 조건화 경로는 건드리지 않는 패턴을 참고할 만하다. 다만 조건화 교체 지점, 단방향 어텐션 제약, 2단계 동결 순서가 성능의 핵심이므로 이 세 가지를 그대로 재현해야 하며, OOD 평가를 ID와 분리해 측정하지 않으면 개선 효과가 보이지 않는다는 점도 기억할 필요가 있다.

저자들이 밝힌 한계는 분명하다. 평가가 로봇 조작에 국한되어 있고, VLM과 VGM 백본 조합도 한 쌍만 실험했다. PINT를 임베디드 사전학습과 결합하는 것, 더 넓은 임베디드 환경으로 확장하는 것, 대규모 학습으로 키우는 것은 향후 과제로 남겨 두었다.