PrimeSim은 대규모 로봇 시연으로 행동 조건 다중 시점 시뮬레이터를 만든다

무엇인가

이 논문은 로봇 정책의 행동 결과를 영상으로 예측하는 세계 모델을 실제 시뮬레이터처럼 쓰려면 무엇이 필요한지를 다룬다. 저자들은 그럴듯한 영상 생성만으로는 부족하고, 명령된 행동을 충실히 따르고, 여러 카메라 시점이 같은 장면을 일관되게 보여 주며, 학습 창보다 훨씬 긴 롤아웃에서도 장면이 무너지지 않아야 한다고 본다. 기존 비디오 생성기는 정답 문맥으로 고정 길이를 학습해 자기 예측을 다시 입력하는 자동회귀 시뮬레이션에서 오차가 누적되고, 반복 생성 비용도 크다는 문제가 있다.

어떻게 동작하나

PrimeSim은 Wan2.2-TI2V-5B 영상 생성 백본에서 출발해 30,110시간, 22개 로봇 플랫폼의 시연으로 중간학습한다. 데이터는 LeRobot 형식으로 모으고 10Hz, 카메라 3대로 맞춘다. 행동은 양팔 말단효과기 자세(쿼터니언 회전), 전신 관절각, 그리퍼 개폐, 차체 속도(vx, vy, ω)를 담는 31차원 공통 표현으로 통일하고, 없는 슬롯은 0으로 둔다. 행동은 현재 윈도의 첫 프레임 기준 상대값으로 바꾼다. 관절은 q_t−q_0, 말단 자세는 R0^T(p_t−p0)와 R0^T R_t처럼 기준 프레임에 상대화해 플랫폼별 절대 원점 차이를 없앤다.

무엇과 다른가

행동 추종을 위해 두 갈래 조건화를 쓴다. 2층 MLP 행동 토크나이저가 잠재 비디오 프레임마다 행동 토큰 하나를 만들고, shifted-diagonal 어텐션 마스크로 프레임 t가 오직 a_{t−1}만 보게 해 행동과 프레임의 시간 대응을 강제한다. 첫 조건 프레임은 행동을 보지 않는다. 여기에 가벼운 action-frame adapter가 해당 행동 토큰에서 잔차 특징 이동을 계산해 프레임 표현에 직접 주입한다. 즉 어텐션은 어떤 행동이 어느 프레임을 지배하는지 정하고, 어댑터는 그 행동이 표현을 실제로 조절하도록 보장한다. 다중 시점 일관성은 30개 DiT 블록을 교차 배치해 다룬다. 3개 중 2개는 카메라 내부에만 어텐션하고, 매 세 번째 블록은 세 시점 전체를 연결한다. 각 시점에는 카메라 정체성을 담은 토큰을 앞에 붙인다. 이 구성 요소들은 조건부 잠재 플로우 매칭으로 함께 학습된다.

어떻게 쓰나

후속 학습은 양방향 비디오 생성기를 자동회귀 시뮬레이터로 바꾸는 fast-video, slow-memory 프레임워크다. chunk-causal 적응과 4단계 일관성 증류로 빠른 생성을 가능하게 하고, 자기 롤아웃 학습에서 동결된 양방향 교사와 비대칭 분포 매칭을 해 자기 생성 이력에 적응한다. 또 계층적 시간 메모리로 초기 장면, 드문 장기 이력, 최근의 조밀한 움직임을 제한된 KV 캐시에 보존한다. 이 세 가지가 자기 생성 문맥에서 생기는 오차 누적을 줄이고 학습 창을 넘는 긴 롤아웃을 버티게 한다는 것이 저자들의 주장이다.

전제와 한계

실험에서 PrimeSim은 4샘플링 단계로 10.1 FPS를 내고, 강체와 변형 가능 물체 조작에서 최대 105초 롤아웃을 유지한다. 해상도는 시점당 192×256이다. 오픈소스 행동 조건 세계 모델 5개와 비교해 WorldSimProbe 5개 스위트 중 4개를 앞섰다. 가장 강한 경쟁 모델 대비 전역 궤적 커버리지를 10.0%, 행동 출처 행동 보존을 41.8%, 상호작용 동역학을 48.4% 개선했다고 보고한다. 상호작용 그라운딩은 85.7로 1위다. 다만 T1 로컬 캘리브레이션은 70.2로 LingBot-VA의 77.0에 뒤져 2위다. EWMBench에서는 종합 6.09로 1위이며 GE-Sim 변형들(5.82, 5.79)과 모든 명령 조건 모델을 앞선다. 8개 차원 중 5개에서 최고이고, 고수준 의미론·궤적 정렬·논리 일관성은 만점, 행동 의미론 BLEU는 가장 강한 GE-Sim 변형보다 72.7% 높다.

전이와 정책 활용도 실험했다. 학습에 없던 플랫폼에서 100~200 그래디언트 스텝만으로 행동 추종 롤아웃에 적응했고, 일반 비디오 사전학습 모델은 그 10~20배 예산으로도 못 했다고 한다. 정책 평가에서는 성공률 29.3~85.0%인 OpenVLA-OFT 정책 8개를 같은 300개 초기 상태(10개 과제×30회)에서 LIBERO 시뮬레이터와 PrimeSim 안에서 각각 돌렸다. PrimeSim은 정책 순위를 시뮬레이터와 정확히 같게 매겼고(Spearman 1.00, Pearson 0.99), 평균 절대 차 2.8점, 최대 7.0점이었다. Wan2.2-FT는 Pearson 0.91, Spearman 0.90에 그쳤고 평균 절대 차 8.3점, 특히 상위 정책들을 12.0·12.7·18.3점 과소평가했다. GRPO 정책 최적화도 PrimeSim 내부에서 200스텝 수행해 LIBERO 성공률이 61.7%에서 73.2%로 올랐고, PrimeSim 추정치는 60.1%에서 71.9%로 1.6점 이내 차이를 보였다. 이 실험은 절대 성능 최대화가 아니라 모델 내부 RL이 실제로 동작하는지 보는 짧은 예산의 검증이다. 저자들은 모델 가중치와 추론·학습 코드를 공개한다고 밝혔다.

개발자에게 PrimeSim은 실제 하드웨어를 덜 쓰고 정책 평가와 RL 후학습을 하려는 팀에 유용한 설계 사례다. 다만 도입 전에 행동 인터페이스가 자기 로봇과 맞는지 확인해야 한다. 저자들은 양손 말단 자세·관절·그리퍼·차체 속도 슬롯으로 표현을 단순화했고, 손가락이 많은 dexterous hand와 보행형 휴머노이드 다리는 걸러냈으며, 카메라 3대와 10Hz로 고정했다. 한계도 분명하다. 시점당 192×256이라 픽셀 수준 사실성보다 시뮬레이터 충실성을 주장한다. 새 플랫폼 적응은 제로샷이 아니라 100~200스텝 퓨샷이다. 더 중요하게, 대부분의 정량 평가와 모든 폐루프 증거가 LIBERO 시뮬레이션에 있고, 실제 플랫폼에서는 XVLA 제로샷과 xArm 7·ViperX 300·UMI 그리퍼 퓨샷 적응에서 충실한 영상 생성과 차체 속도를 포함한 행동 추종을 보였을 뿐 실제 하드웨어에서 시뮬레이터 역할을 대신할 수 있는지는 아직 열린 문제다. 미세 국소 캘리브레이션이 경쟁 모델에 뒤지는 점도 함께 봐야 한다.