REA는 느린 두뇌와 빠른 로봇 정책을 비동기로 분리하는 런타임이다

무엇인가

이 논문은 로봇의 느린 두뇌와 빠른 반사 정책을 한 시스템에 묶을 때 생기는 실행 지연과 조정 실패를 다룬다. 기반 모델은 고수준 추론에는 신뢰할 만하지만 세밀한 제어기로 쓰기에는 너무 느리고 비싸다. 반대로 VLA나 전신 제어기는 빠르지만 학습 분포를 벗어나면 일반화가 약하다. 저자들은 에이전트가 VLA를 호출하면 빠른 실행이 멈추고, VLA가 오류 때 에이전트를 부르면 같은 폴백이 반복되거나 오류를 내지 않는 조용한 실패를 놓친다고 지적한다. 본문의 탐침에서 기반 모델이 한 토큰 또는 카테시안 IK 행동을 내는 방식은 LIBERO-Pro에서 각각 1/1,987, 0/600 에피소드만 풀었고, ASPIRE의 수리 루프는 LIBERO 작업당 중앙값 43분, Codex+GPT-6 파이프라인은 60개 과제 프로그램 생성에 8,900만 입력 토큰을 썼다.

어떻게 동작하나

REA의 핵심 규칙은 실행 중인 정책이 두뇌를 기다리지 않는다는 것이다. 런타임은 세 계층으로 나뉜다. System 0은 현재 상태에서 시작해 결국 반환하는 모든 제어기다. 고정 프로그램, VLA 액션 청크, 전신 제어기가 세그먼트나 정책 경계에서 제어를 라우터로 돌려준다. System 2는 오프라인으로 후보 정책을 생성하고, 온라인에서는 완료 여부를 판정하는 Judge와 후보를 추천하는 Advise를 제공한다. System 1인 임바디드 라우터가 모든 제어 흐름을 결정한다.

무엇과 다른가

라우터의 첫 장치는 라우트 메모리다. 평가 전에 각 후보 정책을 개발용 시드에서 실행해 과제별 성공률과 평균 스텝을 저장하고, 시험 때는 성공률이 높고 동률이면 스텝이 적은 정책을 조회만으로 고른다. 두 번째는 경계 트리거 판정 게이트다. 정책이 반환될 때마다 두뇌에 완료 여부를 한 번 물어 done이면 멈춰 완료된 작업을 보호하고 not_done이면 다음 단계로 올라간다. 세 번째는 공유 예산 에스컬레이션 사다리다. first, other, first 순서로 현재 상태에서 다음 정책을 실행하되 모든 실행과 두뇌 호출이 같은 남은 스텝·시간 예산을 나눠 쓰므로 한 에피소드가 단일 정책 예산을 넘지 않는다. 변형은 REA-M(라우트 메모리+예외 게이트), REA-A(에이전트 라우팅), REA-V(라우트 메모리+시각 판정)로 나뉜다.

어떻게 쓰나

LIBERO-Pro의 60개 과제×50개 시드 3,000개 에피소드에서 REA는 95.9% 성공률을 냈다. 같은 정책 풀에서 가장 강한 단일 베이스라인인 Agents SDK+GPT-6의 94.7%를 넘었고 p=0.004였으며, 사후 과제별 최선 정책을 고른 오라클과는 1% 이내였다. 성공당 제어 스텝은 1,003 대 1,343으로 25% 적었고, Agents SDK+GPT-6보다 제어 시간이 17% 적었다. 정렬된 37개 과제에서는 95.3% 대 93.7%(p=0.001)였고, 라우트 메모리는 모델 토큰 없이 프로그램당 10개 개발 시드, 총 1,790개 에피소드만 썼다. 반면 REA-A는 같은 95.9%를 냈지만 짝지은 에피소드당 1.39초 더 느렸다. 모든 이동을 이미지에서 고르는 Show-Harness는 3,000개 중 78개만 풀었다.

전제와 한계

모듈 기여도 실험에서 ASPIRE Fix 정책은 66.3%에서 REA-M 적용 시 71.9%로 올랐고, 판정 게이트를 더한 REA-V는 74.9%가 됐다. 이 +3.1%는 성공당 2.1배의 벽시계 시간을 썼다. 제로샷 GPT-6 정책도 19.3%에서 26.3%로 개선됐다. 선택된 어려운 부분집합에서는 전체 라우터가 72개 중 48개를 풀어 최선 단일 정책보다 11.1% 높았고, 예외 게이트 대신 판정 게이트를 쓰는 비교는 15.3% 차이였다. 다만 이는 Fix 실패 에피소드로 고른 부분집합이고, 비선택 시드에서 같은 게이트 효과는 +3.1%로 보고됐다. 무조건 재시도는 첫 정책과 거의 차이가 없었다(24 대 21, p=0.66).

VLA와 코드 정책은 같은 System 0 인터페이스로 들어간다. RoboTwin 2.0의 100개 에피소드에서 REA는 VLA 정책만으로 84%, VLA+코드 혼합으로 86% 성공률을 냈고, 가장 강한 단일 VLA 베이스라인 MEDex는 80%였다. 깨끗한 장면은 두 구성 모두 44/50, 무작위화 장면은 40/50에서 42/50으로 늘었고 VLA만의 성공을 잃지는 않았다. BEHAVIOR-1K에서는 50개 중 27개를 풀어 Agents SDK 에이전트의 25개를 앞섰지만 통계적으로 유의하지 않았다. 별도 200장면 RoboTwin 전이 연구에서는 Codex CLI의 75개에 대해 97개를 풀었고, 다른 날 재실행에서는 133개로 ASPIRE 105, Agents SDK 103, Show-Harness 12를 앞섰다. 저자들은 같은 구성이 두 밤 사이 36장면 움직였으므로 나란히 실행한 비교만 창 효과 없이 해석해야 한다고 밝혔다.

실제 Unitree G1 휴머노이드에서 의자로 걸어가 미는 과제는 10회 중 8회 성공으로 Agents SDK 5회, Codex 4회, ASPIRE 2회를 앞섰다(p=0.023). AlohaMini2 오른팔 블록 배치 과제는 10/10으로 ASPIRE 8/10, Codex 5/10, Agents SDK 4/10보다 좋았다. 별도 20회 컨트롤러 연구에서는 π0.5와 Code 컨트롤러를 비동기로 라우팅해 8/10 성공, π0.5 단독은 3/10이었고 배치 실패는 5회에서 0회로 줄었다. 다만 이 연구들은 시행 수가 적고 수동 검토를 쓰며, 컨트롤러 연구는 서로 다른 날 원래 세션 설정으로 수집됐다. REA 쪽의 평균 기록 시간은 더 길었다. 네 방법 연구에서 1,618.0초 대 ASPIRE 1,314.9초였고, 컨트롤러 연구에서는 128.89초 대 π0.5 단독 16.57초의 활성 시간이었다.

개발자에게 REA는 새 정책 모델이 아니라 정책·라우터·두뇌를 분리하는 실행 계약으로 읽힌다. 코드 정책과 VLA를 함께 쓰면서 LLM/VLM 호출을 제어 루프 밖으로 빼고, 개발 에피소드로 라우트 메모리를 만든 뒤 경계에서만 판정을 호출하는 패턴이 핵심이다. 다만 저자들도 두뇌가 성공률의 상한을 정하며 정책 생성 방법 간 성공률 차이가 20~47%라고 밝힌다. 라우트 메모리는 개발용 시드가 필요하고, 판정 게이트는 조용한 실패가 많은 정책 라이브러리에서만 비용을 정당화한다. 논문은 판정 모델의 최종 정확도가 항상 done이라고 답하는 것과 비슷하거나 더 낮을 수 있고(0.72 대 0.67, 0.67 대 0.75), 재실행이 실패 첫 실행의 24~19%를 살리지만 성공의 5~9%를 되돌릴 수 있다는 근사 분석을 제시한다. 이는 검증된 메커니즘이 아니라 최종 판정만으로 본 설명이라고 저자들은 한정한다.