AgenticRoboRL은 로봇 플래너 사후학습으로 성공률을 71%까지 높인다

무엇인가

이 논문은 플래너와 로봇 하네스를 결합한 에이전틱 로보틱스 시스템에서 플래너 자체의 능력을 사후학습으로 끌어올릴 수 있는지를 다룬다. 플래너는 VLA 스킬을 호출하거나 제어 코드를 생성하고, 실행 결과를 관찰하며 여러 턴에 걸쳐 다음 행동을 결정한다. 최근 연구는 하네스와 외부 메모리를 개선해 성능을 높였지만, 강력한 폐쇄형 모델을 플래너로 쓰면서 플래너의 능력은 그대로 두는 경우가 많았다. 저자들은 코딩 에이전트가 모델 자체의 사후학습으로 크게 발전한 점에 착안해, 로봇 플래너에도 같은 접근이 통하는지 묻는다.

어떻게 동작하나

AgenticRoboRL은 플래너만 학습하고 인식 모듈, 모션 플래너, VLA 실행기 등 실행 구성요소는 고정하는 프레임워크다. 학습은 성공한 교사 궤적으로 플래너를 초기화하는 SFT와, 다중 턴 상호작용에서 얻은 과제 성공 여부로 학습하는 RL로 구성된다. 핵심은 학습 인터페이스를 낮은 수준의 로봇 행동이 아니라 모델 호출 경계에 둔다는 점이다. 기록 프록시가 각 요청의 문맥, 생성 토큰 ID, 롤아웃 로그 확률을 저장하고, 하네스별 어댑터가 기록된 플래너 호출을 에피소드 결과와 연결한다. 어댑터는 학습 파라미터가 없는 변환 코드로, 과제, 초기 상태 식별자, 시도 인덱스, 보상, 유효성 플래그를 보고한다. 유효성 플래그는 과제 실패와 인프라 실패를 분리해 인프라 실패를 최적화에서 제외한다. 이 구조 덕분에 VLA 스킬 호출과 제어 코드 생성이라는 서로 다른 실행 방식에 같은 RL 파이프라인을 적용할 수 있다.

무엇과 다른가

SFT에서는 교사 궤적을 학생 플래너의 문맥에 맞춰 학습 대상으로 바꾼다. RPent 하네스에서는 교사가 외부 메모리를 쓰지만 학생은 쓰지 않으므로, 기록된 에피소드에서 메모리 접근 호출과 결과를 제거해 학생 문맥을 재구성한다. 메모리에 의존하는 응답은 키워드, 연속 단어 일치, 메모리 결과에만 있는 숫자 등으로 표시하고, 교사의 추론과 텍스트는 재작성한 뒤 판정기를 통과한 것만 학습 대상으로 삼는다. CaP-X 하네스에서는 교사와 학생의 설정이 같아서 성공 에피소드의 정상 종료 호출을 학생 채팅 템플릿으로 다시 렌더링하고 교사 출력 토큰을 그대로 목표로 쓴다. SFT 손실은 응답 토큰에만 적용하고 문맥 토큰은 마스킹하며, 배치 전체의 감독 토큰 수로 정규화한다. RL에서는 같은 과제와 초기 상태를 공유하는 시도들을 묶고, 각 시도의 보상에서 같은 그룹의 다른 시도 보상 평균을 뺀 leave-one-out 이점을 사용한다. 학습된 크리틱이나 보상 표준편차 정규화는 쓰지 않으며, 보상이 모두 같은 그룹은 정책 경사를 만들지 않는다. 에피소드당 최대 16개의 응답을 선택하고, 현재 정책과 이전 정책의 확률 비율에 이중 클리핑 PPO 토큰 손실을 적용한다. RL 보상은 과제 성공 여부 하나뿐이며 중간 보상이나 길이 패널티는 없다.

어떻게 쓰나

실험은 Qwen3.5-9B 학생 플래너와 Qwen3.8-27B 교사 플래너로 진행했고 VLA는 고정했다. 교사는 공개된 메모리 파일을 사용하지만 학생은 RL 롤아웃과 평가에서 외부 메모리에 접근하지 않는다. LIBERO의 각 과제는 50개 초기 상태를 가지며, 교사 시연과 RL 롤아웃은 상태 11–44, 평가는 상태 1–10, 검증은 상태 45–49를 쓴다. LIBERO-PRO의 8개 평가 스위트, 800개 에피소드에서 SFT는 9B 플래너의 성공률을 18.1%에서 65.1%로 올렸고, 이어진 RL이 71.0%까지 높였다. RL은 SFT 대비 5.9%포인트를 더했으며, 메모리 없는 원래 27B 플래너의 57.9%를 넘고 메모리를 쓰는 27B 교사의 74.0%에 3.0%포인트 차이로 근접했다. 단독 VLA의 50.0%도 넘었고 8개 스위트 중 7개에서 더 높았다. 같은 800개 에피소드에서 RL 플래너는 SFT가 실패한 121개를 풀고 SFT가 푼 74개를 실패했으며, 정확 부호 검정 p=0.001이었다. 외부 메모리를 쓰는 Codex(GPT-5.5)의 72.1%에도 거의 맞먹는다.

전제와 한계

추가로 학습 설정을 고정한 뒤 LIBERO-Plus의 10,030개 구성에서 추가 학습 없이 평가했다. 원래 9B 플래너는 19.2%, SFT는 66.7%, RL은 72.2%였다. RL은 모든 교란 범주에서 성능을 높였고, 객체 배치에서 2.2%포인트부터 조명에서 7.0%포인트까지 개선했다. 같은 평가 인스턴스에서 RL은 SFT가 실패한 1,547개를 성공하고 SFT가 성공한 999개를 실패해 순증 548개였다. LIBERO-Plus로 학습하지 않은 방법들 중 RL 플래너의 전체 성공률이 가장 높았고, 로봇 초기 상태 교란에서는 75.2%로 비교 대상 최고 46.2%와 큰 차이를 냈다. 두 번째 하네스인 CaP-X에서는 제어 코드를 생성하는 플래너를 같은 절차로 학습했다. Object, Goal, Spatial 스위트의 60개 과제에서 각 셀은 100개 에피소드였고, SFT는 2.7%에서 18.7%, RL은 28.5%로 27B 교사의 20.3%를 넘었다. 교사 데이터는 60개 과제 중 26개만 덮어 979개 에피소드를 제공했고, RL은 교사 데이터 없이 학생을 교사 위로 올렸다. 개선은 Object 스위트에 집중되어 39.0–49.0%가 67.0–72.0%가 되었고, Goal과 Spatial은 교사가 거의 성공하지 못해 SFT 데이터가 적어 낮게 남았다.

메모리 의존 교사 응답 처리에 대한 절제 실험도 있다. 메모리 의존 응답을 감독에서 제외하는 mask-only는 18.1%에서 55.2%로, 재작성 후 판정기를 통과한 응답을 남기는 rewrite-and-filter는 64.6%로 올랐다. 데이터셋은 각각 27,110개와 40,047개 목표 턴이었고 한 에포크는 424스텝과 626스텝이었다. 비슷한 업데이트 수에서도 rewrite-and-filter가 438스텝에 60.2%, mask-only가 424스텝에 55.2%로 우세했다. 다만 두 방식은 응답 내용과 감독 범위가 모두 달라서 재작성 자체의 효과만 분리한 비교는 아니다. 개발자 관점에서는 로봇 하네스와 LLM 플래너를 결합한 시스템에서 VLA나 컨트롤러를 다시 학습하지 않고 플래너만 개선할 때 참고할 만하다. 다만 모델 호출 경계에서 문맥과 토큰을 정확히 기록해야 하고, 과제 성공 보상을 명확히 정의하며, 인프라 실패를 과제 실패와 분리하고, 교사와 학생의 프롬프트·도구·메모리 차이를 처리해야 한다. 평가는 학습에 쓰지 않은 초기 상태와 교란 조건에서 확인해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 이 방법은 플래너만 최적화하고 실행 구성요소는 고정하므로, 하네스 자체나 VLA 정책의 성능을 직접 개선하지는 않는다. SFT는 교사 궤적에 의존하며, CaP-X처럼 교사가 일부 과제에서 거의 성공하지 못하면 학생의 해당 과제 성능도 낮게 남는다. RPent에서는 교사가 쓰는 메모리를 학생이 쓰지 않으므로 메모리 의존 응답을 제거하거나 재작성해야 하고, 메모리를 쓰는 플래너와의 비교는 시스템 수준 참조일 뿐 감독 효과만 분리하지는 못한다. RL은 최종 과제 성공만 보상으로 쓰고 중간 보상이나 길이 패널티가 없어, RPent 기준 보고된 체크포인트까지 2,304개 에피소드와 206개 최적화 스텝이 필요했다. CaP-X의 낮은 절대 성공률은 사후학습의 실패라기보다 해당 하네스가 LIBERO-PRO에서 어려운 과제라는 점을 반영한다. 저자들은 프레임워크와 교사 궤적, 학습된 플래너 체크포인트를 공개할 예정이라고 밝힌다.