Ma Jiayuan 팀이 단일 시연으로 실기 일반화 83%를 달성한 RAPID를 발표했다

雷锋网3시간 전

미국 펜실베이니아대(UPenn)·MIT·스탠퍼드대 공동 연구팀 소속 Ma Jiayuan(茅佳源)이 IROS 2026에서 단일 인간 시연만으로 비파지(non-prehensile) 조작 작업을 학습하는 폐루프 프레임워크 RAPID와, 비전 예측과 동작 생성 사이의 단절을 진단하는 TR(Temporal Ratio) 지표를 발표했다. 팀은 TR을 실시간으로 활용하는 적응형 가이던스를 결합해 양팔 로봇의 복합 조합 작업 실기 일반화 성공률을 83%까지 끌어올렸다고 밝혔다.

RAPID는 시연 하나를 밀기·뒤집기·지점 회전·파지 같은 기본 동작 원시 단위로 자동 분해하고, 코딩 에이전트가 이를 특정 기하 파라미터에 묶이지 않은 객체 중심 제약 프로그램으로 변환한다. 이 프로그램은 Real2Sim 시뮬레이션 검증기를 거치며 충돌이나 물리적 실현 가능성 문제를 피드백받아 반복 수정되고, 배포 전에 실행 불가능한 후보를 상당수 걸러낸다. 팀은 책장·칸막이 등을 포함한 8개 복잡 비파지 실기 작업에서 시연 한 번만으로 해를 찾아냈다고 설명했다.

문제는 비디오 예측 모델과 동작 생성 모듈을 함께 학습시켜도 조합 일반화가 저절로 나타나지 않는다는 점이었다. 팀은 Cosmos Predict 2.5-2B(Flow Matching 기반)를 백본으로 쓰고, 디노이징 중간 단계의 잠재 특징을 Gemma Action Head에 넣어 동작 토큰을 생성하는 구조를 실험했다. 그 결과 비디오 모델이 그럴듯한 미래 프레임을 만들어내도 Action Head가 이를 사실상 무시하고 동작을 내는 사례가 확인됐다. 팀은 Action Head가 미래 예측에 얼마나 의존하는지를 수치화한 TR을 제안했고, TR의 최고점(Peak TR)이 조합 일반화 성능을 예측한다고 보고했다.

적응형 가이던스는 분류기 없는 가이던스(CFG)를 언어와 계획 두 축으로 확장한 방식이다. TR이 최고점에 이르러 Action Head가 미래 계획을 적극 참조하는 시점에만 가이던스 가중치를 키우고, TR이 낮은 구간에서는 추가 가이던스를 넣지 않는다. LIBERO 시뮬레이션 벤치마크에서 고정 가중치 가이던스는 분포 외(OOD) 성능을 올리는 대신 분포 내(ID) 성능을 크게 떨어뜨린 반면, TR 기반 적응형 가이던스는 ID 성능을 유지하면서 OOD 성능을 끌어올렸다. YAM 하드웨어와 abc.bot 데이터셋 기반 양팔 로봇 실기 실험에서 미학습 조합 OOD 작업의 평균 성공률은 비교 모델 Cosmos-Policy가 약 12%, 팀 자체 모델이 가이던스 없이 71.8%, 적응형 가이던스 적용 후 83%로 보고됐다.

배경에는 데이터 양으로 밀어붙이는 접근의 한계가 있다. 발표에서는 Physical Intelligence의 π0.5를 굴착기에 올려 200개 궤적으로 한 가지 작업을 성공시킨 사례를 데이터 효율이 낮은 예로 들었다. 대안으로 제시된 흐름은 지능을 세계 모델링과 계획으로 보는 관점이다. 객체를 형상·자세·재질 같은 속성으로 추상화하고 상태 전이 그래프로 '동작-상태' 변화를 명시한 뒤, 동작 생성을 제약 최적화 문제로 다시 정의하는 방식이다. 경로 제약(동역학, 무충돌)과 하위 목표 제약(파지 유지, 최종 배치)을 나눠 두면 신경망은 물리 법칙 전체가 아니라 작업과 관련된 제약에만 집중하면 된다. 팀은 MAGIC 프로젝트의 물건 걸기 작업에서 기존 모델 플래닝이 한 번 푸는 데 5분 이상 걸리고, 데이터 기반 방법이 10만 개 합성 머그 데이터로도 단일 시연 일반화 42%에 그친 반면, 시각 대응 관계로 제약 최적화를 유도해 93%를 얻었다고 밝혔다.

개발자 관점에서 눈에 띄는 부분은 두 가지다. 첫째, TR처럼 모델이 실제로 무엇을 보고 판단하는지를 측정하는 진단 지표는 재학습 없이 추론 시점만 손봐서 성능을 올리는 경로를 열어준다. 실제로 적응형 가이던스는 모델 가중치를 다시 학습하지 않고 적용됐다. 둘째, 코딩 에이전트와 물리 검증기를 묶은 RAPID의 구조는 로봇 제어에 국한되지 않는다. 코드 생성과 시뮬레이션 검증을 반복하는 루프는 물리 제약이 걸린 다른 자동화 문제에도 참고할 만한 패턴이다.

다만 수치는 발표 시점의 자체 평가이며 독립 재현 결과는 아직 없다. 팀 스스로도 분포 내 성능과 분포 외 일반화 사이의 트레이드오프가 남아 있고, 모듈형 시스템의 강한 조합성·데이터 효율과 통합 대형 모델의 전역적 협력 학습을 어떻게 결합할지가 다음 과제라고 밝혔다. TR은 어디까지나 진단 도구이며, 일반화 기준을 최악의 경우로 볼지 평균으로 볼지에 대한 형식화도 미해결로 남아 있다.