미래 영상 생성 없이 특징 예측만으로 VLA와 WAM을 하나로 묶는다

무엇인가

비전-언어-행동 모델(VLA)과 월드-액션 모델(WAM) 진영은 로봇 제어 정책이 어디서 사전학습 지식을 물려받아야 하는지를 두고 다툰다. VLA는 비전-언어 모델에서, WAM은 이미지·비디오 생성기에서 출발한다. 이 논문은 그 논쟁이 실제로는 세 가지로 분리 가능한 선택을 한 덩어리로 묶었다고 지적한다. 백본 초기화, 기록된 미래 관측에 걸리는 목표 함수, 그리고 그 미래 손실을 위한 장치를 추론 시에도 유지하는지 여부다. FastWAM이나 ImageWAM처럼 테스트 시점의 영상 생성을 제거한 모델조차 훈련 시점의 생성 목표는 남겨두기 때문에, 성공률만 비교해서는 무엇이 효과를 냈는지 알 수 없다는 것이 출발점이다.

어떻게 동작하나

제안 방법은 Just Action Model(JAM)이다. 구조는 사전학습된 비주얼 백본과 액션 전문가(action expert)의 조합으로, 기존 베이스라인과 동일하게 flow matching으로 액션 청크를 예측한다. 손실은 액션 손실에 포사이트(foresight) 손실을 더한 L = L_act + λ_F·L_F 형태다. 포사이트 손실은 백본 중간 블록의 현재 관측 토큰 h를 작은 토큰 믹싱 트랜스포머인 예측 헤드로 보내, 동결된 미래 앵커 E_φ가 기록된 미래 관측 f_1:T를 인코딩한 특징 g_k와 코사인 거리로 맞춘다. 타깃에는 stop-gradient가 걸리고, 헤드는 오프셋별 선형 판독기를 하나씩 갖는다. 여기서 k는 판독 오프셋으로 k=0은 현재 관측, k≥1은 기록된 미래다. 핵심은 미래 관측이 액션 경로의 입력으로는 절대 들어가지 않고 오직 동결된 예측 타깃으로만 쓰인다는 점이다. 앵커 브랜치와 예측 헤드는 훈련 후 버리고, 타깃은 미리 계산해 캐시할 수 있으며, 배포 시에는 백본과 액션 전문가만 남는다. 훈련이든 추론이든 영상 생성이 필요 없고, 백본은 생성형 DiT, 자기지도 인코더, 비전-언어 모델 어디든 될 수 있다.

무엇과 다른가

실험은 LIBERO(4개 스위트 40개 과제, 과제당 50회 롤아웃), LIBERO-Plus(스위트별 시드 추출로 만든 1,506개 교란 과제 고정 목록), RoboTwin 2.0(양팔 50개 과제, Clean·Randomized)에서 수행됐다. 비교는 데이터, 정책 아키텍처, 옵티마이저, 학습 예산, 평가기를 고정한 상태에서 생성 목표를 포사이트로 바꾸는 방식이다. FastWAM 계열은 20k 업데이트(글로벌 배치 128), ImageWAM 계열은 21.7k 업데이트를 쓴다.

어떻게 쓰나

고정 아키텍처 비교에서 생성 목표를 포사이트로 바꾼 효과는 컸다. ImageWAM(Ovis-U1)은 LIBERO가 92.90%에서 96.75%로, LIBERO-Plus가 65.27%에서 79.95%로 올랐다. FastWAM은 사전학습 Wan 타깃에서 LIBERO 97.00%→97.45%, LIBERO-Plus 55.31%→55.58%였고, Wan의 동결 VAE 토크나이저만 타깃으로 썼을 때 LIBERO-Plus 64.54%까지 나왔다. 눈에 띄는 것은 목표 함수 교체보다 판독 오프셋의 영향이 더 크다는 점이다. FastWAM에서 오프셋 [0](현재 위치)은 LIBERO-Plus 44.62%였는데 미래만 쓰는 [1,2]로 옮기면 55.58%가 되고, 현재 위치를 다시 더한 [0,1,2]는 오히려 54.18%로 떨어졌다. 선호 타깃은 아키텍처에 의존해서, Wan 백본은 VAE 토크나이저 단독이 가장 좋았고(64.54%, 랜덤 Wan 타깃도 58.63%), Ovis-U1은 사전학습 Yak 앵커가 가장 좋았다(79.95% 대 VAE 76.43%, 랜덤 Yak 72.51%).

전제와 한계

백본 계열을 바꿔도 같은 목표가 통했다. Wan 백본에서 사전학습 백본에 사전학습 타깃을 쓰면 97.45%, 랜덤 타깃을 쓰면 97.65%였지만, 랜덤 백본에서는 각각 71.15%와 84.40%로 뚝 떨어졌다. 즉 미래 앵커는 굳이 같은 사전학습 모델일 필요가 없지만, 정책 백본의 사전학습은 여전히 중요하다. 동일한 액션+포사이트 목표 아래 JAM(Ovis-U1)은 LIBERO 96.75%/LIBERO-Plus 79.95%, JAM(DINOv2-B)은 95.50%/68.19%, JAM(DINOv2-L)은 96.30%/70.39%, JAM(Qwen3.5-2B)은 96.55%/81.14%를 기록해 네 변형 모두 생성형 베이스라인 ImageWAM(Ovis-U1, 92.90%/65.27%)을 두 벤치마크에서 앞섰다. Qwen3.5-2B는 포사이트를 더하기만 해도 LIBERO-Plus가 77.03%에서 81.14%로 올랐다. RoboTwin 2.0에서는 JAM(FLUX.2)이 93.1%로 가장 높았고, embodied pretraining을 쓴 LingBot-VA가 JAM(Wan)을 0.8포인트 앞섰다. LIBERO-Plus 평균에서는 JAM이 세 그룹 모두 최고였고, FastWAM과 ImageWAM(Ovis-U1)을 각각 9.2포인트, 14.7포인트 앞섰다.

비용 절감도 수치로 제시된다. 캐시된 포사이트 타깃을 쓰면 샘플·업데이트당 추정 온라인 학습 비용이 FastWAM의 15.52 TFLOPs에서 JAM(Wan) 4.19 TFLOPs로 73.0% 줄고, ImageWAM(Ovis-U1)의 5.81 TFLOPs에서 JAM(Ovis-U1) 3.67 TFLOPs로 36.8% 줄어든다. GH200 한 장에서 해당 연산의 GPU 시간은 각각 67.3%, 37.8% 감소했다. 부가 분석으로는 동결된 정책 특징에서 현재 프레임과 16스텝 뒤 프레임을 MLP로 재구성해 보았을 때, 오프셋 [1]로 학습한 JAM이 미래 변화를 더 선명하게 복원하고 미래 프레임 PSNR 평균도 가장 높았다. 어텐션 시각화에서는 같은 백본의 ImageWAM이 그리퍼에 든 컵에 집중한 반면 JAM은 지시문에 나온 두 번째 컵에 더 많은 어텐션을 두었다.

개발자 입장에서 이 논문의 실용적 함의는 미래 관측 감독이 비디오 생성 디코더를 요구하지 않는다는 것이다. 정책 특징에 미래 표현을 맞추는 작은 헤드 하나를 훈련 중에만 붙이고 버리면 되므로, 이미 VLA 파이프라인을 돌리고 있다면 백본을 바꾸지 않고도 손실 항 하나를 추가해 볼 수 있다. 다만 그대로 옮기기 전에 확인할 것은 세 가지다. 첫째, 판독 오프셋이 목표 함수보다 결과에 크게 작용하므로 미래 시점과 현재 시점 중 무엇을 감독할지 반드시 소거 실험을 해야 한다. 둘째, 선호 타깃이 백본마다 달라서 VAE 잠재, 사전학습 앵커, 랜덤 앵커를 후보로 두고 골라야 한다. 셋째, 캐싱이 전제이므로 타깃 전처리와 조건 입력이 고정되어 있는지 파이프라인을 점검해야 FLOPs 이득이 실제로 나온다.

저자들이 밝힌 전제와 한계도 분명하다. 백본 계열을 가로지르는 비교는 사전학습 자체의 효과만을 분리해내지 못한다고 스스로 인정한다. 실험은 전부 시뮬레이션(LIBERO, LIBERO-Plus, RoboTwin 2.0)에서 공개 모델과 데이터로 수행됐고, 어떤 정책도 로봇 데이터 기반 embodied pretraining을 쓰지 않아 LIBERO에서 embodied pretraining을 갖춘 π0.5와 LingBot-VA가 JAM보다 0.3포인트 앞선다. 저자들은 분포 이동에서의 실패와 물리 검증 없는 시뮬레이션 정책의 배포 위험을 윤리 진술에서 명시적으로 언급한다.