SceneRig가 단일 이미지에서 물리적으로 안정한 시뮬레이션 장면을 만든다

무엇인가

로봇 정책 평가에서 실제 로봇 실행은 비싸고 느리며 반복이 어렵다. 시뮬레이션은 대안이지만 다양한 현실 작업공간을 시뮬레이션 장면으로 대규모 제작하는 일이 병목이다. 단일 이미지 real-to-sim은 사진 한 장을 디지털 트윈으로 바꿀 수 있지만, 시각적으로 비슷한 것만으로는 부족하다. 객체가 복원되고, 정확히 배치되고, 물리적으로 지지되어야 한다. 기존 post-hoc physics settling은 장면을 안정화하는 대신 객체를 관측 위치에서 밀어내 로봇 작업공간과 어긋난 장면을 만든다. SceneRig는 이 간극을 겨냥한다.

어떻게 동작하나

입력은 단일 RGB 이미지이고 출력은 편집 가능한 USD 기반 시뮬레이션 장면이다. 대상은 주로 테이블탑이고 바닥을 주 지지면으로 두면 방 장면도 처리한다. 장면은 이동 가능 객체 O와 테이블·바닥·벽 같은 루트 지지면 R로 구성된다. 각 엔티티 상태는 기하 M_v, 외관 τ_v, 충돌·물리 속성 θ_v^phys, 이동·회전·스케일 변환 X_v로 정의되고, 장면 그래프 G=(V,E)는 객체-지지 관계 E_sup와 루트 간 구조 관계 E_surf를 담는다. 이 표현이 이후 복원·배치·검증의 공통 좌표계가 된다.

무엇과 다른가

먼저 VLM이 이동 객체와 루트 지지면, 지지·구조 관계를 제안하고 MolmoPoint가 각 설명을 위치화해 SAM3 후보 마스크를 고른다. 누락 객체 복구, 분할·병합 마스크 수리, 가려진 객체의 LanPaint 기반 전경 제거 후 재분할도 한다. 다음 MoGe-2로 카메라 내부 파라미터와 조밀한 미터법 3D 포인트맵을 추정하고, RGB-D가 있으면 이를 대체한다. 주 지지면에 맞춘 평면으로 중력 정렬 좌표계를 만들고 지지면을 z=0에 둔다. SAM3D가 객체 메시와 외관을 복원하면 메시를 해당 3D 포인트에 맞춰 이동·균일 스케일링해 초기 변환을 잡고, SceneSmith를 따라 물리 속성을 추정한다. 이후 장면 전체를 한 번에 정착시키지 않고 지지 그래프의 부모-자식 순서로 Isaac Sim의 PhysX에서 정착시키고, ICP로 이동·스케일·요를 보정한 뒤 다시 시뮬레이션한다.

어떻게 쓰나

객체가 정착되면 Blender 장면을 공유하며 루트 기하, 재질, 조명을 별도 에이전트가 단계별로 편집한다. 각 단계는 편집 에이전트와 독립 검증 에이전트를 두고, 편집자는 장면 코드를 고쳐 렌더링하며 검증자는 입력 이미지와 비교해 승인 또는 수정을 요구한다. 여기서 SceneRig는 VIGA·SEIG와 달리 결정론적 check_rules 게이트를 추가한다. 이 게이트가 루트 배치, 객체 지지, 상호 관통을 검사하고 첫 실패 수준과 영향 엔티티를 보고한 뒤에야 검증자가 시각 정렬을 본다.

전제와 한계

핵심은 물리 기반 객체 자세 보정이다. VLM에게 0.05 단위 이동을 직접 시키면 미터법 근거가 없어 수치를 환각하고 충돌·불안정을 만든다. 그래서 Investigate 도구가 입력 이미지와 현재 렌더의 크롭, 기하 측정, 지지 정보를 주고, 에이전트가 객체·편집 유형을 고르면 Move 도구가 수평 이동·균일 스케일·요 조정을 경계가 있는 coarse-to-fine 탐색으로 찾는다. 이동·스케일 점수는 실루엣 겹침과 깊이를, 요 점수는 중앙 정렬 실루엣과 DINOv2 특징을 결합한다. 후보는 정렬이 개선될 때만 시뮬레이션되고, 전복·과도한 드리프트·새로운 또는 악화된 관통이면 거부되며, 정착 후 수용 점수가 기준 이상일 때만 유지된다. 경계 이동으로 부족하면 Edit 도구로 장면 코드에서 직접 자세를 바꾸고 지지 순서로 정착시켜 진단을 받는다. 대화가 길어지면 이전 상호작용을 블록 요약하고 오래된 이미지는 저장 아티팩트 참조로 대체하며, 캐시 브레이크포인트 뒤에 객체별 상태표를 두어 측정·대기 검사·예산 변경이 프롬프트 접두부를 무효화하지 않게 한다. 벤치마크에서 자세 보정 입력 토큰의 84.1%가 캐시에서 제공됐다. 최종적으로 중력 시뮬레이션으로 최종 변환을 정하고 메시·텍스처·조명·카메라 상태를 USD로 내보내 객체 정체성, 충돌 기하, 물리 속성을 보존한다.

실험은 80개 테이블탑 이미지로 구성된다. 44개는 RoboDojo와 RoboLab의 시뮬레이터 렌더링으로 객체 정체성과 3D 위치 정답이 있고, 나머지는 실제 로봇 작업공간, 인터넷·AI 생성 이미지, 스마트폰 사진이다. 베이스라인은 VIGA, REST3D, SceneConductor, SimFoundry이며, SceneRig의 분할·카메라·객체·장면 문맥은 공유하되 SAM3D 예측 자세를 그대로 쓰는 SAM3D*도 비교한다. 기본 VLM은 Claude Opus 5이고 GPT-6 Astra로 Codex 일반 코딩 에이전트와도 비교한다. 지표는 PSNR·SSIM·LPIPS·nCLIP, 객체 영역 PSNR*·SSIM*·LPIPS*·nCLIP*, ARI·전경 IoU·객체 수 MAE, 5/10cm OSPA와 F1@10, VLM 선호도, 5초 후 변위 50mm 미만·최종 속도 0인 안정성 검사다. SceneRig는 source-view PSNR·LPIPS·nCLIP와 VLM 선호도 세 기준 모두 최고였고, 인스턴스 복구·객체 외관·3D 배치의 보고된 모든 지표에서 앞섰으며, 모든 재구성 장면이 안정성 검사를 통과했다. VIGA와 SceneConductor는 안정성에서 자주 실패했고, REST3D는 SSIM이 높아도 객체 복구·배치가 부정확했으며, SimFoundry는 안정성은 높지만 객체 외관과 3D 배치가 뒤졌다.

절제 실험에서 SAM3D 원시 자세는 지지면을 관통하거나 떠 있었고, 5초 정착은 안정성을 되찾지만 분할 겹침과 3D 배치 정확도를 떨어뜨렸다. SceneRig의 지지 순서 정착과 자세 보정은 안정성을 유지하면서 둘을 개선했다. Move를 빼고 Edit만 쓰면 객체 외관·3D 배치 점수가 나빠지고 로봇 궤적 재생 성공률이 80%에서 44%로 떨어졌다. GPT-6 Astra로 바꾸면 외관은 크게 좋아지지만 3D 배치는 소폭 개선에 그쳤고, 같은 GPT-6 Astra에서도 SceneRig가 VIGA·Codex보다 대부분 객체 중심 지표, 배치 정확도, 안정성에서 앞섰다. 로봇 응용에서는 π0.5와 LingBot-VLA 2.0을 다섯 테이블탑 과제에서 평가했고, 정책별 50개 실제 에피소드 총 100개를 썼다. 실제-시뮬레이션 결과 일치율은 SceneRig 69% 대 SimFoundry 54%였고 McNemar p=0.017, Cohen κ 차이는 0.29(95% CI 0.08~0.50)였다. 열 개 정책-과제 쌍의 성공률 상관은 r=0.92 대 0.84, MMRV는 0.04 대 0.11이었다. 25개 성공 텔레오퍼레이션 시연의 궤적 적응 없는 개루프 재생은 SceneRig 20/25, SimFoundry 9/25였고 exact McNemar p=0.001이었다.

개발자에게 이 논문은 사진 한 장으로 로봇 정책 평가용 디지털 트윈을 만들 때 시각적 재구성만으로는 부족하다는 실무적 기준을 준다. 특히 객체별 분할, 미터법 스케일, 지지 관계, 충돌 기하, 물리 속성, USD 내보내기까지 파이프라인을 쪼개고, LLM 에이전트에게 직접 좌표를 맡기지 않고 검색·시뮬레이션·검증 도구를 쥐여 주는 설계가 핵심이다. 다만 저자들은 테이블탑에서는 잘 작동하지만 복잡한 방 장면은 가림, 깊이 모호성, 빈번한 접촉 때문에 여전히 어렵다고 밝힌다. SAM3D가 PBR 재질을 제공하지 않아 사실적 렌더링에 한계가 있고, 현재 표현은 각 객체를 단일 강체로 취급해 관절 구조나 변형을 복원하지 못한다. 향후 과제로 더 나은 깊이 추정과 이미지-투-3D 모델을 든다.