PhysCanvas는 시각과 촉각을 한 화면에 그려 로봇 정책 평가를 대신한다

무엇인가

로봇 정책을 실물에서 굴려 평가하고 추가 학습하는 일은 비용이 크고 반복이 어렵다. 그래서 행동을 조건으로 미래를 예측하는 월드모델을 상호작용 시뮬레이터로 쓰려는 시도가 이어졌지만, 저자들이 지적하는 핵심 문제는 시각적으로 그럴듯한 예측이 접촉 역학을 틀리게 표현할 수 있다는 점이다. 물체가 미끄러진 뒤에도 안정적인 접촉이나 성공을 예측하면, 화면은 멀쩡해 보여도 정책 최적화에는 잘못된 피드백이 된다. 접촉이 많은 조작에는 장면 동역학을 담은 시각 정보와 접촉 변화를 담은 촉각 정보가 함께 필요하다.

어떻게 동작하나

PhysCanvas의 방법은 의외로 단순하다. 여러 시점의 RGB, 촉각 이미지, 마커 변위 필드, 태스크 상태를 하나의 RGB 캔버스에 격자처럼 배치해 하나의 영상 VAE와 생성 백본(Wan 2.2 image-to-video 확산 트랜스포머)이 전부 처리하게 한다. 촉각 전용 인코더를 따로 두지 않는 근거로, 저자들은 UniT의 USB 3D-pose 촉각 데이터셋에서 촉각 전용 VAE와 일반 시각 VAE를 비교한다. 촉각 파인튜닝 없이도 Wan VAE가 PSNR 35.51 대 31.72, LPIPS 0.0139 대 0.0210으로 더 좋았다는 것이다. 마커 변위는 x·y·z 성분을 R·G·B 채널로 매핑하고, 태스크 상태는 색으로 태스크를 질감으로 완료 여부를 부호화한다.

무엇과 다른가

행동은 순운동학과 카메라 투영으로 각 시점에 로봇 팔과 그리퍼를 그려 만든 모션 이미지로 조건화한다. 캔버스 토큰과 같은 격자에 정렬시킨 뒤 잡음이 섞인 캔버스 토큰에 위치별로 더하는데, 태스크 상태 토큰 위치만 이 덧셈에서 제외해 상태 예측이 다른 모달리티와의 자기주의를 통해 나오도록 유도한다. 에피소드 첫 RGB 프레임은 고정 앵커로, 직전 청크의 마지막 프레임은 갱신되는 참조로 넣고, 흐름 매칭 손실로 미래 H프레임을 학습한다.

어떻게 쓰나

여기에 일관성 인지 후학습을 붙인다. 장면 보상 모델(장면 정체성 보존), 모달리티 보상 모델(RGB·촉각·마커 변위의 접촉 증거 일치), 상태 보상 모델(태스크 성공 여부)을 미리 학습해 얼려두고 감독 신호로 쓴다. 상태는 정답 RGB에 대한 같은 모델의 점수를 이진화한 목표와 BCE로 맞추므로, 실패도 실패로 재현하게 만든다. 장면과 모달리티는 보상 최대화로 밀어올리되 1단계 흐름 매칭 손실을 유지한다.

전제와 한계

실험은 3대 카메라와 4개 손끝 Xense 촉각 센서를 단 ARX AC One 양팔 로봇에서, 시험관 배치·병뚜껑 풀기·블록 옮기기·루빅스 큐브 조작 네 과제로 진행됐다. EVAC, Open-Sora, WoVR과 비교해 PSNR·SSIM·LPIPS·FID·FVD에서 가장 좋은 값을 냈고, 특히 말단효과기 추적 오차가 0.685픽셀로 차선 대비 51.9% 낮았다. 절제 실험에서는 전역 모션 임베딩(AdaLN) 대신 시점 정렬 모션 이미지를 쓰는 것만으로 RGB PSNR/SSIM이 23.6%/18.3% 오르고 LPIPS·FVD·EEF 오차가 58.3%·21.7%·32.6% 줄었다. 장면 일관성은 LPIPS 14.2%·FVD 10.4% 감소, 상태 감독은 FID 26.4%·FVD 12.5% 감소와 SSIM 0.693→0.720을 만들었다. 모달리티 일관성은 Contact MAE를 0.02491에서 0.02278로, 마커 변위 MAE를 Active 4.666→4.083, Idle FP 0.646→0.577, 진폭 7.854→6.654로 낮췄지만 Event F1은 0.4550에서 0.4455로 조금 떨어졌다.

정책 평가자로서의 성과가 이 논문의 핵심이다. ACT, FM, π0.5를 월드모델에서 폐루프로 굴린 성공률과 실제 로봇 성공률을 비교했을 때, 상태 보상 감독을 넣자 과제별 피어슨 상관의 산술평균이 0.602에서 0.885로, 평균 R²가 0.413에서 0.791로 올랐다. 개선은 시험관과 블록에서 가장 컸고 병뚜껑은 중간, 루빅스 큐브는 이미 천장에 가까워 미미했다. 저자들은 저수준 재구성 지표 변화가 엇갈리는데도 결과 일치가 좋아진 것을 두고 픽셀 재구성보다 태스크 의미론이 개선된 결과라고 해석한다. 학습 시뮬레이터로 쓸 때는, 일관성 후학습 전 모델(M1)에서 GRPO를 돌리면 FM의 평균 실제 성공률이 11.2%에서 16.6%, π0.5가 59.1%에서 67.5%로 올랐고, 후학습 모델(M4)을 쓰면 19.1%와 70.8%가 됐다. 다만 FM은 시험관과 루빅스 큐브에서 0%에 머물렀고, π0.5는 블록과 루빅스 큐브에서 각각 6.6·10.0%포인트 더 얻는 대신 병뚜껑이 90.0%에서 86.6%로 내려갔다.

개발자 입장에서 이 논문의 쓸모는 두 가지다. 첫째, 촉각 센서를 별도 인코더 없이 기존 영상 생성 백본에 얹는 설계가 실제로 통한다는 근거를 수치로 제시한다. 새 촉각 데이터나 센서 구성이 와도 파이프라인을 크게 바꾸지 않아도 될 가능성을 시사한다. 둘째, 월드모델의 품질을 픽셀 지표가 아니라 실제 정책 성공률과의 상관으로 측정하자는 태도다. 다만 이 상관 수치는 과제 4개, 단일 로봇 플랫폼, 과제당 20장면 3배치, 전문가 수동 판정이라는 조건 위에 서 있으므로, 자기 환경에 그대로 옮겨온다고 기대하면 안 된다.

한계도 본문에 흩어져 있다. 저자들은 별도의 한계 절을 두지 않았지만, 이득이 과제마다 크게 다르고 FM처럼 두 과제에서 전혀 개선이 없는 경우가 있으며 병뚜껑에서는 오히려 성능이 떨어졌다고 밝힌다. 모달리티 일관성 감독은 접촉 오차를 줄이는 대신 이벤트 F1을 소폭 희생했다. 또 태스크 상태 예측은 고수준 의미를 가르치는 보조 목표일 뿐 하위 정책이 예측 상태를 쓰지는 않으며, GRPO 구현이 확산·흐름 매칭을 전제하므로 ACT는 실험에서 제외됐다.