월드 액션 모델의 상상과 행동 불일치를 실행 전에 걸러내는 WISE

무엇인가

월드 액션 모델(WAM)은 로봇 행동과 그 행동이 만들어낼 미래 영상을 동시에 생성한다. 문제는 그 미래가 그럴듯해 보인다는 것과, 함께 생성된 행동이 실제로 그 미래를 실현한다는 것이 별개라는 점이다. 논문은 바나나 집기 예시를 든다. 상상 속에서는 물체가 그리퍼 근처에 머무는데 실행에서는 예측된 상호작용에서 벗어나 밀려나고, 요거트 예시에서는 상상 속 물체는 크게 움직이는데 실행에서는 거의 대응하는 움직임이 없다. 기존의 실행 시점 선택 신호들은 상상된 미래만, 또는 행동만 따로 판단하거나 외부 시뮬레이터를 요구했다. 같은 후보 안에서 생성된 행동과 미래가 서로 같은 운동을 기술하는지 검사하는 신호는 없었다는 것이 저자들의 진단이다.

어떻게 동작하나

WISE(World Action Inference Scaling through Evaluation)는 모델을 전혀 수정하지 않는 실행 전 선택기다. 매 제어 스텝마다 고정된 WAM에서 B개의 (상상 미래, 행동 청크) 후보를 샘플링하고, 실행 전에 각 후보를 세 가지 점수로 평가해 합이 가장 큰 후보의 행동 청크를 실행한 뒤 다음 관측에서 다시 계획한다. 테스트 시간 확장은 후보 생성과 실행 전 선택이라는 두 지점에서만 일어난다.

무엇과 다른가

첫 번째 점수는 행동 타당성과 시간적 규칙성이다. 후보의 제어 명령이 허용 범위를 벗어나는지, 그리고 위치·속도·가속도·저크가 물리적으로 말이 되는지를 검사한다. 모든 위치가 범위 안에 있어도 연속된 명령이 과도한 속도나 가속도를 함축하면 여전히 비현실적이므로 이들을 상호 보완적인 검사로 취급한다. 각 검사 k의 최악 위반 정도 δ에 대해 exp(-δ/τ)로 부드럽게 감점하고, 검사별 가중 평균을 실행 점수로 쓴다. 위반이 있어도 즉시 탈락시키지 않고 점수를 완만히 깎는 방식이다.

어떻게 쓰나

두 번째는 세계-행동 일관성으로, 이 논문의 핵심 기여다. 실체별로 한 번 학습한 역동역학 모델(IDM)이 상상된 미래 영상으로부터 행동 궤적을 역추정하고, 이를 학습셋 통계로 정규화 해제한 뒤 WAM이 생성한 행동 청크와 비교한다. 연속 채널은 표준화 단위의 평균 절대 오차를 exp(-L)로 바꾸고, 그리퍼 같은 이산 채널은 임계값으로 이진화한 뒤 일치 비율을 계산해 둘을 반씩 결합한다. 점수가 높다는 것은 한 후보 안의 행동과 상상 미래가 같은 로봇 운동을 compatible하게 기술한다는 뜻이다.

전제와 한계

세 번째는 지시문 조건부 과제 진행도다. 앞의 두 점수를 통과해도 과제를 거의 진행시키지 못하는 후보가 있을 수 있으므로, 고정된 Robometer 모델에 현재 관측, 상상 롤아웃, 지시문을 넣어 마지막 상상 프레임의 진행 점수를 받는다. 세 점수는 모두 유계이고 단순 합으로 융합된다.

실험은 두 개의 WAM-실체 조합에서 이뤄졌다. RoboLab의 조작 과제 10개(과제당 5 에피소드, 총 50 에피소드)에 Cosmos 3 Edge를, LIBERO 4개 스위트(스위트당 10과제, 500 에피소드, 총 2,000 에피소드)에 DreamZero를 사용했다. 후보 수를 4개로 맞춘 비교에서 WISE는 RoboLab 성공률을 단일 롤아웃 6.0%에서 24.0%로 올렸고, 같은 예산의 Future Consensus 18.0%, GeoBoN 20.0%, Robometer 20.0%를 앞섰다. LIBERO에서는 평균 성공률이 75.1%에서 78.3%로 올라 최고 기존 선택기 대비 0.9포인트 앞섰으며, LIBERO-Object에서 +4.8포인트, LIBERO-Spatial에서 +3.2포인트로 가장 큰 개선을 냈다. 다만 LIBERO-Goal에서는 GeoBoN이, LIBERO-Long에서는 Robometer가 앞섰다. 비용은 단일 롤아웃 대비 평균 에피소드 실행 시간이 RoboLab 3.4배, LIBERO 3.5배로 늘었다.

절제 분석은 세 신호가 서로 다른 후보를 고른다는 점을 보여준다. 단일 구성만으로 선택하면 RoboLab에서 실행 점수 10.0%, 일관성 16.0%, 진행도(Robometer) 20.0%로 모두 통합 점수 24.0%에 못 미쳤다. 세 구성이 동시에 같은 후보를 지지한 비율은 RoboLab 7.8%, LIBERO 7.0%에 그쳐 92% 이상의 결정에서 순위가 갈렸고, 진행도를 제거하면 선택의 절반가량이 바뀌어 진행도가 융합 결정에 가장 큰 영향을 줬다. 실행 점수는 RoboLab에서, 일관성은 LIBERO에서 상대적 영향이 컸다.

실무 관점에서 이 논문은 모델을 재학습하지 않고 추론 비용을 늘려 성공률을 끌어올리는 선택기 패턴을 제시한다. 특히 같은 후보 안에서 행동과 예측 미래의 정합성을 검사하는 신호는, 자체 WAM이나 비디오 예측 기반 정책을 다룰 때 롤아웃 검증 지표로 바로 차용할 만하다. 도입 전에는 실체별 IDM 학습 데이터와 예측 지평 정합(예: 33프레임 롤아웃을 32스텝 행동 청크로, 9프레임 2시점 클립을 16스텝 청크로 매핑), 그리고 3배 이상의 추론 지연을 감당할 수 있는지 확인해야 한다.

저자들이 밝힌 한계도 분명하다. WISE는 보조 평가기에 의존하므로 IDM이 상상 궤적이 함축하는 행동을 잘못 복원할 수 있고, 진행 모델이 시각적으로 그럴듯한 미래를 오판할 수 있다. 단일 구성 실험은 각 점수의 단독 성능을 잴 뿐 다른 두 점수가 있을 때의 증분 기여를 측정하지 못한다. RoboLab 평가는 방법당 50 에피소드뿐이라 선택기 간 몇 포인트 차이는 표집 변동 범위 안에 있다. 또한 테스트 시간 선택은 후보 수만큼 추론 비용을 늘리고 그 위에 IDM과 진행 모델 평가가 더해진다. 저자들은 이 점수를 적응적 재계획의 트리거나 WAM 사후학습의 보상으로 쓰는 방향을 향후 과제로 남겼다.