BridgeWAM이 32개 잠재 브리지 쿼리로 비디오와 액션 전문가를 분리한다

무엇인가

World Action Models는 로봇의 시각 관측, 언어 지시, 고유수용 상태로부터 액션을 예측하면서 비디오 생성 모델의 시각 사전지식을 유지하려는 모델이다. 기존 WAM은 비디오 전문가와 액션 전문가를 층별 MoT 어텐션으로 촘촘히 연결하는데, 이 논문은 이 방식이 액션 예측에 무관한 시각 특징까지 노출하고 두 전문가의 깊이를 같게 강제해 계산을 낭비한다고 지적한다. 특히 액션 생성이 과제와 무관한 시각 영역에 과도한 어텐션을 쓰면 과제 수행과 시각 분포 이동에서의 일반화가 약해질 수 있다는 점을 문제로 삼는다.

어떻게 동작하나

제안은 Bridge-of-Experts(BoE)이고 구현이 BridgeWAM이다. 비디오 토큰과 액션 토큰을 직접 섞는 대신 32개의 Latent Bridge Queries(LBQ)가 시각, 언어, 고유수용 사전정보를 공유된 제한적 잠재 공간으로 집계한다. 논문은 이를 b_t = f_V(o_t, l, s_t; θ_V, Φ) ∈ R^{M×d_V}, M=32로 표현한다. 여기서 o_t는 현재 관측, l은 언어 지시, s_t는 로봇 상태, θ_V는 비디오 전문가 파라미터, Φ는 학습 가능한 초기 LBQ 임베딩이다. 액션 전문가는 모든 외부 조건을 b_t를 자신의 토큰 공간으로 투영한 값으로만 받는다.

무엇과 다른가

학습 때 LBQ는 Φ에서 초기화되어 비디오 DiT를 따라 전파된다. 각 층에서 미래 비디오 쿼리는 비디오와 LBQ의 키/값을 읽지만, LBQ 쿼리는 현재 프레임과 LBQ의 키/값만 읽고 미래 비디오 키/값은 배제한다. 최종 브리지 b_t = B^{L_V}는 Π로 액션 DiT 공간에 투영되어 B̂가 되고, 액션 쿼리는 텍스트-상태 토큰이나 조밀한 비디오 K/V가 아니라 이 LBQ 키/값을 읽는다. 두 전문가와 Φ는 동일 가중치의 비디오·액션 플로매칭 손실로 공동 미세조정된다. 비디오 손실은 비디오 전문가와 Φ를, 액션 손실은 액션 전문가, Π, Φ, 그리고 미분 가능한 LBQ 경로를 통해 비디오 전문가를 갱신한다. 추론에서는 LBQ를 현재 문맥에서 한 번 계산해 액션 디노이징 내내 재사용하므로 미래 비디오 생성을 생략해도 액션 조건 전달 방식이 바뀌지 않는다.

어떻게 쓰나

액션 헤드는 2층 교차-자기 어텐션 Action DiT다. 교차 어텐션은 LBQ에서 정보를 가져오고, 자기 어텐션은 액션 청크 내부를 조정한다. 노이즈 액션에는 교차 어텐션 전에 학습된 절대 위치 임베딩을 더해 청크 내 시간 슬롯을 구분하고, 자기 어텐션에는 1D RoPE로 액션 간 상대 위치를 넣는다. 각 블록은 어텐션과 FFN, 잔차 연결, 확산 타임스텝 조건의 AdaLN을 쓰며 교차 어텐션 잔차는 게이트 없이 연결된다. 출력은 액션 플로를 예측한다. 이 구조로 전문가 깊이를 분리해 30층 비디오 전문가와 2층 액션 전문가를 결합한 5.06B 모델을 만든다.

전제와 한계

시뮬레이션 평가에서 BridgeWAM은 LIBERO 평균 98.25%로 Fast-WAM보다 1.45포인트 높고, LIBERO-Object 100%, LIBERO-Pro 53.7%를 기록했다. LIBERO-Plus에서는 평균 72.24%로 Fast-WAM의 49.5%를 크게 올렸고 Camera 점수는 56.5%로 가장 좋았다. RoboTwin 2.0에서는 Fast-WAM의 27,500개 데모(깨끗한 2,500개, 무작위화 25,000개)로 5에폭 29,355스텝 학습해 50개 과제를 과제·설정당 100회 평가했다. 무작위화 조건에서 Stack Bowls Three 90%(Faster-WAM 78%, LingBot-VA 83%), Place Object Stand 98%, Move Pillbottle Pad 100%였고 Handover Mic, Lift Pot, Open Laptop은 두 설정 모두 거의 완벽했다. 실로봇에서는 SongLing PiPER X에서 네 가지 조작 과제와 OOD 설정을 단계별 점수로 평가했다. IDM 추론의 비디오 생성 품질도 LIBERO-Plus의 1,415,986개 공유 액션 리플레이 클립에서 다섯 지표 모두 작지만 일관된 개선을 보였다.

절제 실험은 설계 근거를 뒷받침한다. 비디오 전문가를 Fast-WAM에서 고정한 Frozen-Video-DiT 변형은 LIBERO 85.50%, LIBERO-Plus 25.48%로 전체 모델의 98.25%, 72.24%에 못 미쳤다. LBQ와 액션 키/값을 섞은 MoT-readout 변형은 LIBERO 97.80%로 비슷했지만 LIBERO-Plus 60.48%로 떨어졌고, 텍스트·상태·LBQ 토큰을 함께 넣은 변형은 97.20%, 59.29%였다. 액션 전문가 깊이를 키워도 표준 LIBERO 점수는 오르지 않았고, 논문은 액션 측 과잉 용량이 과제 무관 시각 세부를 흡수해 분포 이동 강건성을 약화할 수 있다고 해석한다. LBQ 수는 24~36개 범위에서 성능 차이가 작았고 64개는 일반화를 더 높이지 못했다. Joint와 IDM 변형의 LIBERO-Plus 평균은 각각 63.41%, 67.45%로 기본 모델 72.24%보다 낮았다.

효율은 파라미터 5.06B로 Faster-WAM의 5.56B보다 약 9.0% 적다. 표 6 기준 단일 샘플 추론은 1.460T FLOPs로 Fast-WAM 2.048T보다 28.72% 적고 Faster-WAM 3.221T보다 54.67% 적다. H20Z 지연은 88.05ms로 Fast-WAM 405.91ms, Faster-WAM 321.16ms보다 낮다. 초록은 실로봇 지연을 77.1ms, Fast-WAM 대비 2.47배 속도 향상으로 보고하지만 본문 표 6의 H20Z 측정은 88.05ms라는 점은 함께 봐야 한다. 질적 분석의 액션 조건 시각 라우팅 맵은 배경 질감, 조명, 카메라 시점, 로봇 초기 상태, 물체 배치, 센서 노이즈 변화에서 액션 전문가가 목표 물체와 과제 목적지에 더 우선적으로 어텐션을 두는 경향을 보여준다. 다만 저자들은 이를 엄밀한 인과 귀속이 아닌 라우팅 시각화로 해석해야 한다고 밝힌다.

개발자 관점에서 이 논문은 로봇 정책에서 큰 비디오 백본은 유지하되 액션 헤드는 가볍게 가져가고, 고정 크기 잠재 인터페이스로 조건 정보를 재사용하는 설계를 참고할 만하다. 액션 헤드를 무작정 키우기보다 공동 미세조정과 LBQ 조건화를 검증하고, 실제 배포에서는 하드웨어별 지연 측정 프로토콜과 분포 이동 성능을 확인해야 한다. 한계도 분명하다. 저자들은 실세계 로봇 과제 학습에서 더 복잡하고 긴 호라이즌의 조작 과제를 맞추기 어려웠고, Fast-WAM 기반에서 관찰된 불안정성이 남아 있다고 밝힌다. 향후 과제로 긴 시간 범위에서 과제 관련 정보를 보존하는 브리지와 더 안정적인 용량 제한 잠재 공간을 제시한다.