AW-0는 코드 계획과 영상·행동 예측을 한 모델에서 함께 디노이징한다

무엇인가

이 논문이 다루는 문제는 두 갈래 연구의 빈틈이다. World Action Models(WAM)은 미래 영상과 행동을 예측해 물리 동역학에 근거한 제어를 가능하게 하지만, 긴 호라이즌 작업을 어떤 재사용 가능한 스킬로 분해하고 어떻게 매개변수화해 조합할지에 대한 명시적 장치가 없다. 반대로 코드 기반 계획을 쓰는 에이전트 로보틱스는 스킬과 도구를 골라 장면에 바인딩하고 진행을 추적하며 재계획할 수 있지만, 세계가 어떻게 변할지에 대한 예측 근거를 갖지 못한다. 저자들은 이 둘을 한 모델 안에서 합치는 것을 목표로 AW-0를 제안한다.

어떻게 동작하나

구조는 Mixture-of-Transformers(MoT)로, 코드·미래 영상·행동이라는 세 개의 생성 스트림에 각각 전문가를 둔다. 코드 전문가는 사전학습 언어 백본에 동결된 Qwen3-VL ViT를 붙이고 LLaDA 방식의 마스크 토큰 디퓨전을 사용해 매개변수와 제어 로직을 갖춘 스킬 루틴을 만든다. 영상 전문가는 Cosmos-Predict2.5로 초기화한 비디오 DiT가 VAE 잠재로 인코딩된 미래 프레임을 예측하고, 행동 전문가는 별도 DiT가 연속 행동 청크를 생성한다. 각 전문가는 자체 어텐션 투영과 레이어 정규화, FFN을 유지하면서 매 레이어마다 마스크된 조인트 어텐션으로 통신하며, 어텐션 마스크는 전문가 내부에서는 양방향, 전문가 사이에서는 코드→영상→행동 순서의 블록 단위 인과 마스크다.

무엇과 다른가

생성은 세 모달리티를 동시에 디노이징한다. 영상과 행동은 연속 플로우 매칭을 쓰며 노이즈 수준을 시프트 γ=5로 왜곡한 분포에서 뽑고(영상은 Beta(7,1) 기반, 행동은 균등분포), 코드는 마스크 비율 r~U(0,1)로 토큰을 독립적으로 흡수 마스크 처리한다. 관측 프레임과 언어 조건은 오염시키지 않는다. 또한 행동 예측에 더 유용한 영상 특징을 주기 위해 고노이즈 사전학습 분포에 균등분포를 섞어 q(u)=α·p_pre+(1-α)·p_ref(α=0.5)로 재샘플링하고, 목적별 중요도 가중치를 배치 평균 1로 정규화해 영상 손실과 행동·코드 손실의 균형을 맞춘다.

어떻게 쓰나

학습 데이터를 만들기 위한 자동 주석 파이프라인도 핵심 기여다. 과제당 한 에피소드를 샘플링해 Gemini 3.1 Pro가 선언만 된 API에 맞춰 서브태스크 수준 스킬 프로그램을 작성하고, Claude Opus 4.8 기반 Claude Code가 조정자 역할로 반복되는 과제 일반 스킬을 정리한다. 이후 스킬 라이브러리를 동결하고 다시 주석을 달아 서브태스크-프로그램 매핑 캐시를 만들며, 접촉·운동 패턴이 기존 항목과 일치하면 캐시를 재사용한다. 추론 시에는 이전 슬라이스를 K개의 학습 가능한 메모리 슬롯으로 압축해 코드 스트림 앞에 붙이고, 디코딩된 슬라이스는 기본적으로 실행하지 않고 행동 전문가를 조건화하는 계획으로 쓰되, 유효성·진행 검사를 통과하면 CaP 방식으로 프리미티브 라이브러리에 대해 실행하는 하이브리드 모드를 선택적으로 지원한다.

전제와 한계

사전학습은 YAM 로봇 데이터 약 2,000시간과 1인칭 인간 조작 데이터 약 1,000시간으로 수행했고, 주석 파이프라인으로 YAM 23개, 인간 시연 27개를 포함한 총 50개 스킬 항목의 라이브러리를 구축했다. RoboTwin 2.0에서는 과제당 클린 시연 50개(총 2,500 에피소드)로 학습하고 과제당 50회 롤아웃으로 평가했는데, AW-0는 두 설정 평균 50.7%로 베이스라인을 모두 앞섰다. 클린 설정에서 80.8%로 가장 강한 베이스라인 WLA(64.8%)를 16.0포인트 앞섰고, 시각적 랜덤화가 들어간 random 설정에서는 20.6%로 π0.5(27.7%)에는 뒤졌지만 DreamZero(17.6%), EgoScale(2.9%), WLA(3.6%)보다는 높았다. 하이브리드 실행은 random 설정에서 20.6%를 29.2%로 끌어올려 π0.5까지 앞섰고, 클린 대비 성공률 유지율도 기본 모드 25%에서 46%로 개선됐으나 클린 설정 자체는 63.1%로 기본 모드보다 17.7포인트 낮았다.

실제 로봇 실험은 6-DoF 양팔과 평행 그리퍼를 갖춘 YAM 스테이션과 22-DoF Sharpa 덱스터러스 핸드를 갖춘 Tianji–Sharpa 플랫폼에서 수행했다. 두 플랫폼 모두 3개 RGB 시점을 관측하고 64차원 상태-행동 공간에서 동작하며, 과제당 시연 100개, 8개 과제(플랫폼당 4개), 과제당 3개 시드×16회 롤아웃으로 평가했다. AW-0는 두 엠바디먼트 평균 루브릭 점수에서 가장 강한 베이스라인을 25.1포인트 앞섰고, 지시별 물체 선택과 개수가 필요한 Arrange Fruits·Flip Scoreboard에서 언어 추종과 의미 추론 우위를 보였다. 하이브리드 실행은 Fold·Stack Towels에서 90.6%로 행동 청크 실행의 84.4%를 앞섰다. 절제 실험에서는 코드→영상→행동 어텐션 순서가 가장 좋았고, VAE 특징 대신 ViT 조건화가 Pack Backpack 64.6% 대 39.6%, Solve Rubik's Cube 72.1% 대 53.9%로 크게 앞섰으며, 스킬 호출을 제거하면 Deal Poker가 58.3%에서 42.0%로 떨어졌다. 조인트 디노이징은 자기회귀 방식보다 8개 과제 중 7개에서 우수했고, RTX 5090에서 지연이 0.23초 대 0.55초로 2.39배 빨랐다(코드 없는 버전 0.19초 대비 +0.04초, 21.1% 증가).

개발자 관점에서 이 논문의 실질적 시사점은 계획을 자연어가 아니라 실행 가능한 프로그램으로 표현하고, 그 프로그램을 예측 모델의 조건으로 넣는 설계가 성능과 해석 가능성을 동시에 준다는 점이다. 스킬 라이브러리를 동결한 뒤 캐시로 주석 비용을 줄이는 파이프라인, 이전 계획을 메모리 슬롯으로 압축해 관측 한 장의 정보 부족을 보완하는 방식, 프로그램 실행과 직접 행동 생성을 매 재계획 지점에서 중재하는 하이브리드 정책은 로봇에 국한되지 않고 장기 작업을 다루는 에이전트 시스템에 그대로 참고할 수 있다. 다만 도입을 검토한다면 스킬 라이브러리의 커버리지와 주석 캐시 적중률, 그리고 하이브리드 실행이 클린 환경 성능을 얼마나 희생하는지를 먼저 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 시각적 랜덤화가 강한 환경에서는 픽셀 수준 분포 외삽의 어려움 때문에 성능이 20.6%까지 떨어지며, 이는 기존 연구에서 지적된 문제와 일치한다고 서술한다. 하이브리드 실행은 분포 이동 상황의 견고성을 얻는 대신 클린 설정 성능을 잃는 트레이드오프를 갖는다. 또한 방법 자체가 대규모 시연 데이터와 자동 주석 파이프라인, 사전 정의된 스킬 API에 의존하므로, 라이브러리에 없는 새로운 스킬이 필요한 과제에서의 일반화는 이 논문에서 검증되지 않았다.