휴대폰 스캔만으로 VLA 조작 정책을 사용자 공간에 맞춘다

무엇인가

일반 목적 조작 정책을 가정이나 사무실에 들여놓은 사용자는 선반과 조리대, 테이블 위에 있는 자기 물건을 집어 올리기를 기대한다. 그런데 이 논문은 강한 일반화 정책인 π0.5가 적응 없이 배치 장면에서 픽업 성공률 0.0%를 기록했다고 보고한다. 사용자마다 텔레오퍼레이션으로 시연을 모으는 비용은 새 사용자, 새 수납면, 새 물건, 새 배치마다 반복된다. 저자들은 사람이 장면과 물체만 촬영하면 나머지를 자동화하는 real-to-sim-to-real 파이프라인 Splat2Act를 제안한다.

어떻게 동작하나

입력은 스마트폰(iPhone과 Polycam)으로 20~30분간 찍은 RGB-D 영상과 물체 이미지뿐이다. 이 영상으로 3D Gaussian Splatting(3DGS)을 학습시키되 큰 장면의 기하 일관성을 위해 DN-Splatter로 깊이와 법선을 정규화하고, SuGaR로 표면 정렬 메시를 추출해 하이브리드 표현을 만든다. 가우시안은 사실적인 egocentric 시각 관측을, 메시는 충돌과 수납면 발견, 내비게이션 분석을 담당한다. 물체 자산은 두 갈래로 마련한다. 광범위 적응 단계에서는 로봇 작업공간과 그리퍼에 호환되는 Objaverse 자산 556개를 걸러 쓰고, 개인화 단계에서는 SAM3D로 실제 물체 단일 이미지에서 자산을 생성한 뒤 사용자가 지정한 치수로 스케일링한다. 수납면 발견은 추출된 메시에서 바닥 평면을 추정하고, 위를 향하면서 높이와 면적이 로봇 기하와 맞는 영역을 남긴 뒤 HDBSCAN으로 3D 위치와 법선을 기준으로 클러스터링하고 기하 범위, 표면 안정성, 높이로 병합·필터하는 순서로 이뤄진다. 각 수납면에 배치점을 샘플링하고 Habitat Simulator로 계산한 내비게이션 메시로 도달 가능성을 따지며, 로봇 수평 도달 반경 0.70m 안에 배치 샘플이 6개 이상 들어오는 지점만 후보로 남긴다. 이후 물체 안착, 그립 필터링, 오라클 시연 실행 가능성까지 검사해 로봇 자세·목표 자세·방해물을 조합한 과제를 조립한다.

무엇과 다른가

시연 생성은 특권 상태(privileged state)를 쓰는 스크립트 오라클이 맡는다. 물체 로컬에 캐시해 둔 antipodal 그립 후보를 실제 안착 자세로 변환하고 필터링·순위화한 뒤, greedy planner가 이산 행동 격자에서 국소 이동과 yaw를 고르고 컨트롤러가 pregrasp, 하강, 그리퍼 닫기, 들어올리기를 서보 제어한다. 실패하면 시도 스냅샷을 복원해 다른 후보로 재시도한다. Isaac Sim 환경을 64개 병렬로 돌리며 물리는 100Hz, 제어와 카메라 기록은 20Hz로 실행하고, A40 GPU 1시간당 평균 60개의 성공 픽업 시연을 만든다. 정책 적응은 π0.5에 대한 2단계 지도 파인튜닝이다. Stage 1은 배치 장면만 쓰거나 101개 장면 전체를 쓰는 광범위 적응(각 1,024개 시연의 Office1k, Multi1k), Stage 2는 해당 장면의 수납면에서 사용자 물체로 개인화한다. 학습 목표는 조건부 flow matching 손실로, 정답 행동 청크 a에 가우시안 노이즈 ε을 보간한 x_t = t·a + (1-t)·ε를 만들어 vθ(x_t, o, t)가 (a-ε)를 맞히도록 한다. PaliGemma 언어 백본과 action expert는 전부 파인튜닝하고 SigLIP 이미지 인코더는 사전학습 시각-의미 사전을 보존하려고 동결한다. 배치 시에는 Stretch 3가 헤드·손목 RGB, 이산화된 4차원 고유수용 상태, 사용자 프롬프트를 A40 한 장의 원격 정책 서버에 gRPC로 보내고, 10차원 Stretch 행동 공간의 10개 행동 청크를 20Hz로 받아 실행한다.

어떻게 쓰나

데이터 규모는 캠퍼스 실내 장면 101개다. navigable XY 중심 영역 합계가 11,909.78 m², 장면당 중앙값 104.87 m²이고 장면당 수납면 중앙값은 7개다. 최종 학습 수납면 852개에서 성공 픽업 시연 68,021개, 기록된 제어 시간 273.46시간을 생성했다. 물체 자산 556개와 조합하면 최대 473,712개의 물체-수납면 쌍이 가능하고, 쌍마다 24개 구성을 만들면 약 1,140만 개 후보 과제, 관측된 평균 궤적 길이 기준 약 45,700시간 분량이 된다. 다만 저장 제약 때문에 다중 장면 생성 캠페인을 약 100배 균일 서브샘플링했으므로 68,021개는 잠재 공간의 일부일 뿐이다. 개인화 대상은 실제 물체 7개(알약병, 스팸, 토마토 수프, 골판지 상자, 루빅스 큐브, 스프레이 캔, 물병)이고 Office 장면 7개, Conference 장면 6개 수납면에 배치한다. Stage 2 데이터는 Office 504개, Conference 500개 시연이며, 평가는 Office 40개(쉬움 21, 어려움 19), Conference 35개(쉬움 18, 어려움 17) 구성으로 700 스텝씩 수행한다.

전제와 한계

결과에서 가장 높은 집계 성공률은 Office에서 62.5%(Office1k Stage 1 → Office Stage 2), Conference에서 51.4%(Multi1k Stage 1 → Conference Stage 2)다. 광범위 적응 단계의 이득은 데이터 출처와 배치 장면에 따라 갈린다. Office에서는 Office1k 기반 Stage 2가 π0.5 base에서 바로 Stage 2로 간 정책보다 17.5%p 높고, Conference에서는 Multi1k 기반이 8.6%p 높다. 반대로 Office1k Stage 1에서 출발한 Stage 2는 Conference에서 π0.5 base Stage 2보다 5.7%p 낮다. 방해물은 모든 Stage 2 정책에 10~26%p의 성공률 손실을 주는데, π0.5 base 직접 SFT에서 손실이 가장 크고 광범위 적응 뒤에 가장 작다. 즉 Stage 1은 픽업뿐 아니라 어수선한 환경에서의 언어 그라운딩도 개선한다. 최강 정책은 Office 쉬움 71.4%, 어려움 52.6%다. 개인화 전 Stage 1만 비교하면 π0.5 base는 두 과제군 모두 0.0%, Office1k Stage 1은 Office 40.0%·Conference 17.1%, Multi1k Stage 1은 37.5%·40.0%로, 자기 장면에는 같은 장면 적응이, 장면 간 전이에는 다중 장면 적응이 강하다. 장면 개인화 실험은 더 분명하다. 잘못된 장면에 개인화하면 개인화하지 않느니만 못하다. Office1k Stage 1 단독 40.0%가 Conference 개인화 후 15.0%로 떨어졌다. 장면을 맞추면 6개 비교 모두에서 14.3~47.5%p 성공률이 올랐다.

실제 로봇 전이는 Stretch 3에서 3개 수납면의 12개 과제로 확인했다. 실제 평가는 과제당 3회 시도로 정책당 36회, 시뮬레이션 평가는 과제당 1회로 12회다. Office1k Stage 1 기반 Stage 2는 시뮬레이션 66.7%, 실제 63.9%를, Multi1k Stage 1 기반은 50.0%와 58.3%를 기록했다. 두 정책 모두 시뮬레이션 성공률과 8%p 이내로 전이하고 순서도 유지됐다. 실제 로봇은 팔 신전과 그립 배치가 시뮬레이션보다 부정확하지만, 그리퍼의 기계적 컴플라이언스와 고무 손끝의 마찰 덕에 불완전한 그립도 성공으로 이어진다고 저자들은 설명한다. 미지 환경 일반화는 보지 못한 실험실의 검은 테이블과 노란 테이블에서 같은 3개 목표로 쉬움·어려움 조건을 3회씩 시도해 측정했다. Office1k 기반 정책은 검은 테이블 33.3%, 노란 테이블 22.2%, Multi1k 기반 정책은 22.2%와 27.8%로 두 테이블 사이에서 순서가 뒤집혀 일관된 승자가 없다. 개인화 장면의 62.5%와 47.5% 대비 큰 하락이며, 이는 물체 친숙도가 아니라 장면 특화 개인화가 배치 성능을 좌우한다는 점을 뒷받침한다.

개발자 관점에서 이 논문의 실무적 의미는 세 가지다. 첫째, 새 환경에 VLA를 배치할 때 사람이 시연을 모으는 대신 20~30분 촬영과 물체 이미지·치수 입력만으로 학습 데이터를 자동 생성하는 경로가 실제 로봇에서 60%대 성공률로 작동한다는 증거다. 둘째, 개인화 데이터의 양을 정할 때 참고할 어블레이션이 있다. 물체 4개를 고정하고 수납면 수(1·2·4)와 물체당 과제 수(8·16·24)를 바꾼 실험에서 물체당 8개일 때는 21.9~43.8%에 머물렀지만 24개일 때는 수납면 1·2·4개에 대해 각각 75.0%, 87.5%, 75.0%를 기록했고, 코퍼스는 96개에서 384개 궤적으로 늘었다. 저자들은 물체-수납면 쌍당 약 24개 증강 궤적이면 개인화 공간이 커져도 분포 내 성공률을 유지한다고 본다. 셋째, 적응 데이터 출처 선택이 배치 장면에 따라 결과를 뒤집는다는 점이다. 같은 장면 데이터로 Stage 1을 하면 자기 장면에서 최고 성능이 나오지만 다른 장면에서는 손해를 볼 수 있고, 다중 장면 데이터는 전이와 미지 수납면 강건성에 유리하다. 따라서 배치 장면이 고정인지, 여러 현장에 배포할 것인지에 따라 Stage 1 데이터를 다르게 골라야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 물체는 장면 캡처와 별도로 제공되며 정확한 재구성을 가정하지 않고, 사용자가 치수를 지정해야 한다. 사람이 반드시 해야 하는 일은 장면 촬영 20~30분과 물체 이미지·치수 제공이다. 저장 제약 때문에 다중 장면 생성 데이터를 약 100배 서브샘플링했으므로 수집된 68,021개 시연은 잠재 과제 공간의 일부다. 개인화 실험은 7개 물체 중 3개(알약병, 스팸, 토마토 수프)만 목표로 사용했다. 장면 특화 광범위 적응으로 만든 개인화 정책은 미지 수납면에서 더 취약해, 검은 테이블과 노란 테이블 사이에서 정책 순위가 뒤집히고 개인화 장면 대비 성공률이 크게 떨어진다. 결론에서 저자들은 향후 과제로 더 긴 지평의 모바일 조작에 이 파이프라인을 적용하고, 탐색을 통한 강화학습으로 성공률을 더 끌어올리는 것을 제안한다.