LAW는 언어 계획과 행동 생성과 월드 모델을 하위 과제 진행으로 묶는다

무엇인가

이 논문은 장기 로봇 조작을 단순히 긴 모터 명령 시퀀스가 아니라 의미적 하위 과제의 연속으로 본다. 물체에 도달한 뒤 실제로 잡았는지 판단하고, 성공하면 다음 단계로 넘어가며, 다음 동작 전에 현재 목표에 맞는 후보를 골라야 한다. 기존 VLA 정책과 월드-액션 모델은 행동 생성 자체를 개선했지만, 배포 단계에서는 언어 계획과 제어가 과제 진행에 맞춰 계속 정렬되어야 한다는 시스템 문제가 남는다. 한 번 만든 언어 계획은 중간 단계 완료 여부를 알 수 없고, 현재 관찰만 조건으로 받는 행동 생성기는 어떤 시각 변화가 큰 목표에 중요한지 모를 수 있다. 저자들은 의미적 하위 과제 진행을 언어 추론과 월드-액션 모델링 사이의 시간적 인터페이스로 삼자는 주장을 한다.

어떻게 동작하나

LAW는 폐루프 VLM-WAM 프레임워크다. 제어 시점 t에서 플래너는 전역 지시, 현재 관찰, VLM 메모리를 받아 남은 의미적 하위 과제 시퀀스를 예측하고 첫 원소를 현재 하위 과제로 둔다. WAM은 현재 하위 과제, 관찰, WAM 메모리, 독립 노이즈를 조건으로 N=32개의 후보 행동 청크를 샘플링하며 각 청크는 H=32 길이의 행동 시퀀스다. 가치 전문가는 후보를 점수화하고 상위 K=8개를 온도 T=1로 융합해 실행할 행동 청크를 만든다. 상태 전문가는 행동 실행과 비동기로 현재 하위 과제 완료 여부를 추정하고 0.5 기준으로 Advance 또는 Continue를 결정한다. Advance이면 경계 관찰을 저장하고 남은 계획을 다시 예측해 다음 하위 과제로 전환하며, 마지막 하위 과제가 끝나면 에피소드를 종료한다. 이때 하위 과제 인스턴스 식별자와 관찰 타임스탬프로 유효한 판정만 받아들이고, 상태 전문가 순전파는 약 60ms로 실행과 파이프라인되어 추론 처리량을 15% 높인다고 보고한다.

무엇과 다른가

구성 요소는 세 가지다. 첫째, 하이브리드 전문가 VLM은 플래너, 상태, 가치 전문가가 동결된 공유 VLM 백본 위에서 각자의 LoRA 어댑터와 헤드를 쓰게 한다. 플래너는 의미적 하위 과제 감독으로 남은 시퀀스를 자기회귀 생성하고, 상태 전문가는 완료 라벨과 보조 실패 예측 라벨로 학습된다. 가치 전문가는 후보 행동 청크를 토큰으로 인코딩해 101개 구간의 범주형 가치 헤드로 기대값을 내며, 상태 전문가에서 초기화한 LoRA 어댑터와 행동 인코더, 쿼리 임베딩, 가치 헤드만 학습하고 공유 백본과 기존 전문가, WAM은 동결한다. 둘째, MoTE-WAM은 혼합 어텐션 뒤에 잔차 전문가 혼합층을 두어 비디오와 행동의 모달리티 전용 전문가와 공유 전문가를 함께 쓴다. 기본 설정은 각 모달리티에 전용 전문가 2개와 공유 전문가 1개, top-1 라우팅, 잔차 스케일 0.1이며 비디오 예측, 행동 예측, 라우터 균형, 라우터 로짓 정규화를 함께 학습한다. 셋째, 이중 스트림 계층 메모리는 VLM과 WAM이 같은 관찰 타임스탬프를 각자의 토큰 공간에서 유지하되 최근 5개 관찰을 4스텝 간격으로 보관하고, 초기 관찰과 하위 과제 경계 관찰은 전체 해상도로, 더 오래된 관찰은 공간 평균 풀링으로 한 토큰씩 압축한다. 또한 하위 과제 단위 가치 학습은 수익(return)을 의미적 경계에서 끊어 실패 궤적의 성공한 접두 구간에서도 양의 감독을 보존한다.

어떻게 쓰나

실험은 RoboTwin 50개 과제에서 깨끗한 설정 94.22%, 무작위화 설정 94.20%, 평균 94.21% 성공률을 냈다. 로봇 데이터 사전학습 없이 Fast-WAM의 91.83%보다 2.38%포인트 높고, 사전학습 베이스라인인 LingBot-VA 2.0의 93.6%도 넘는다. WAM 백본을 OpenWAM-alpha로 바꾸면 평균 95.56%로 올라 RoboTwin 오픈소스 최고 성능을 주장한다. RoboDojo에서는 추가 로봇 도메인이나 체화 상호작용 사전학습이 없는 방법들 중 일반화, 정밀도, 장기 과제, 메모리, 개방성 다섯 차원에서 선도 성능을 냈다고 보고한다. 평균은 점수 6.47과 성공률 3.82%이고, 장기 과제는 11.16과 6.67%, 메모리는 7.46과 5.44%로 X-WAM의 6.32와 4.67%를 앞선다.

전제와 한계

실제 로봇 실험은 세 가지 장기 조작 과제로 구성된다. Puzzle은 판에 세 조각을 끼우는 과제로 3개, Domino는 네 도미노를 세우고 쓰러뜨리는 과제로 5개, Organize는 세 색 블록을 맞는 서랍에 넣고 각 서랍을 닫는 과제로 9개의 의미적 하위 과제를 가진다. 과제당 20회 시행에서 LAW는 평균 성공률 65%, 과제 점수 84.06을 기록했다. pi0.5는 28.33%와 55.50, Fast-WAM은 25%와 51.87이었다. 가장 긴 Organize에서 LAW는 65% 성공률과 85.54점으로 Fast-WAM보다 각각 25%포인트와 15.57점 높았다.

구성 요소 절제 실험도 구체적 수치를 제시한다. 하이브리드 전문가, 실패 궤적을 음성 샘플로 쓰는 감독, 계층 메모리를 더할수록 완료 판정이 좋아져 거짓 양성률은 11.4%에서 0.7%, 거짓 음성률은 32.7%에서 2.9%로 줄고, 완료 정확도는 85.78%에서 99.02%, 재현율은 67.27%에서 97.13%, 가중 F1은 86.77%에서 99.02%가 됐다. 텍스트만 쓰는 플래너 기준선의 정확 일치율은 70.10%인데 전체 플래너는 99.64%로, 플래너가 과제 템플릿을 외우는 것이 아니라 현재 관찰을 쓴다는 근거로 제시된다. Fast-WAM에 MoTE만 더하거나 하위 과제 조건만 더한 경우 비슷한 이득이 있었고, 둘을 합치면 93.16%, 계층 메모리를 더하면 93.80%, 가치 기반 행동 선택을 더하면 94.21%가 됐다. 가치 융합을 끈 상태에서 2B 하이브리드 VLM은 93.80%로 Embodied-R1.5의 88.8%와 GPT-5.5 High의 88.7%를 앞섰다. MoTE에서 공유 전문가를 빼면 91.93%에서 92.67%로 떨어졌고, 하위 과제 세분화는 과제 10개 평균에서 하위 과제 없음 92.4%, 저수준 하위 과제 89.1%, 의미적 하위 과제 95.8%로 의미 수준이 가장 좋았다. 하위 과제 단위 가치 학습은 다섯 과제에서 90.80%로 가치 안내 없음 88.20%, 에피소드 단위 감독 87.90%를 앞섰다. 메모리 절제에서는 RoboDojo 메모리 차원 점수가 4.06에서 5.57, 6.48, 7.46으로, 성공률이 3.44%에서 4.00%, 4.89%, 5.44%로 누적 개선됐다.

개발자에게 이 논문의 핵심은 장기 로봇 에이전트를 만들 때 계획, 상태 판정, 행동 선택을 같은 주기로 돌리지 않아도 된다는 설계 패턴이다. 의미적 하위 과제를 공통 인터페이스로 두고 플래너는 드물게, 상태 판정은 비동기로, 가치 평가는 WAM이 새 행동 청크를 낼 때마다 실행하는 식으로 주기를 분리한다. 특히 실패 궤적의 성공한 접두 구간을 버리지 않는 하위 과제 단위 가치 학습과, 최근 관찰과 하위 과제 경계 관찰을 함께 보존하는 이중 메모리는 실제 조작 정책의 완료 판정과 후보 선택을 개선하는 데 참고할 만하다. 다만 WAM 인터페이스와 의미적 하위 과제 주석이 전제되므로, 자신의 로봇 스택에 붙일 때는 하위 과제 정의, 상태 판정 임계값 0.5, 비동기 판정 지연, WAM 후보 수와 융합 설정을 먼저 확인해야 한다.

원문은 별도의 한계 절을 두지 않았고, 결론에서 향후 과제로 로봇 체화 간 전이와 더 길고 다양한 과제를 위한 적응적 하위 과제 분해를 남겼다. 실험도 RoboTwin, RoboDojo, 세 가지 실제 로봇 과제에 한정되며, 의미적 하위 과제 라벨을 시연에서 구성해 학습한다는 전제가 있다. 하위 과제 세분화 실험에서 저수준 하위 과제가 의미적 하위 과제보다 낮은 성능을 보인 점은 하위 과제의 추상화 수준이 성능에 민감하다는 뜻으로 읽힌다. 또한 LAW는 공통 WAM 인터페이스를 통해 백본을 교체할 수 있다고 하지만, 최종 성능은 결합하는 WAM과 VLM에 의존한다.