AtomicRL이 원자 단위 과제 구조로 장기 로봇 조작 강화학습을 개선한다

무엇인가

VLA(vision-language-action) 모델은 로봇 조작에서 성과를 냈지만, 대규모 시연으로 학습하는 모방학습만으로는 긴 시간에 걸친 복합 과제를 익히기 어렵다. 논문은 그 보완책으로 강화학습 후학습(post-training)을 택하는데, 기존 VLA-RL 방식에는 두 가지 구조적 문제가 있다고 지적한다. 첫째는 궤적 단위의 희소한 성공 보상 때문에 생기는 신용 오염(credit contamination)이다. 에피소드가 k번째 하위 과제까지 성공하고 k+1번째에서 실패하면, 종료 성공 보상이 없으므로 GAE가 실패 관련 TD 잔차를 t0까지 역방향으로 전파해 정작 올바르게 수행된 행동의 어드밴티지까지 깎아버린다. 지평이 길수록 악화된다. 둘째는 하위 과제 숙련도의 불균형이다. 학습 후반으로 갈수록 실패가 몇 개의 병목 과제에 몰리는데, 균일한 과제 샘플링과 고정된 탐색은 이미 포화된 과제에 상호작용 예산을 낭비한다.

어떻게 동작하나

AtomicRL은 이 두 문제를 '원자 과제(atomic subtask)'라는 하나의 의미 구조로 묶어 해결한다. 전체 지시를 순서 있는 K개의 원자 과제 G=(g1,…,gK)로 분해하고, 활성 과제 인덱스 z_t와 경계 지시자 b_t=𝕀[z_{t+1}≠z_t]를 정의한다. 이 경계를 알려주는 것이 경량 모듈 PCC(Progress–Completion Critic)다. PCC는 최근 관측-행동 쌍을 보고 현재 원자 과제의 진행도 로짓 B−1개와 완료 로짓을 출력하고, 시그모이드 값이 임계값을 넘는 개수로 진행도 p̂_t를, 완료 확률 q̂_t를 계산한다. q̂_t≥τ_s이고 p̂_t≥τ_p인 상태가 N스텝 연속되면 과제가 완료된 것으로 보고 z를 하나 증가시킨다. PCC는 시연 데이터로 오프라인 학습되며(누적 순서 손실 + 클래스 균형 완료 손실), 진행도 추정치는 진행 기반 셰이핑 보상(PBSR)을 만드는 데도 쓰인다.

무엇과 다른가

핵심 기여인 SAPO(Semantic-Aware Policy Optimization)는 GAE 재귀 추적에 결과 인지 소프트 게이트를 곱한다. 원자 과제 내부에서는 b_t=0이므로 표준 γλ 감쇠가 그대로 유지되고, 의미 경계에서는 다음 과제가 성공했으면 κ_t=1로 평소처럼 전파하되 실패했으면 0<κ_t<1로 감쇠시킨다. 즉 1:k 과제가 성공하고 k+1이 실패한 경우, 실패 구간 내부의 잔차는 그 구간 안에서 정상 전파되지만 완료된 접두부로 넘어올 때 추가로 약해진다. 한 걸음 TD 잔차와 가치 부트스트래핑은 건드리지 않으므로, 과제 내부 신용 할당과 성공한 과제 간 의존성은 보존된다. 어드밴티지는 정규화 전에 V(s_t)+Â^SAPO_t로 가치 타깃을 구성한다.

어떻게 쓰나

BATE(Bottleneck-Adaptive Target Exploration)는 과제별 완료율의 지수이동평균 μ_k를 추적해 숙련 격차 1−μ_k를 계산하고, 이를 두 곳에 쓴다. 전체 과제 샘플링 확률은 w_i=1+ρ[max_k(1−μ_k)]^η로 재가중해 병목을 가진 과제를 더 자주 뽑되 기준 가중치 1을 남겨 숙련된 과제의 망각을 감시한다. 또 활성 과제의 숙련도에 따라 엔트로피 정규화 계수를 조절해, 못하는 과제에는 탐색을 늘리고 익힌 과제에는 줄인다. 마지막으로 실제 로봇 배포를 위한 Real2Sim2Real 파이프라인을 붙였다. 실제 세계의 멀티모달 시연 하나와 로봇 모델 메타데이터, 보조 물체 관측만 주면 상호작용 가능한 시뮬레이션 환경과 공유 관측-행동 인터페이스, 재현 가능한 무작위 초기 배치를 생성하고, RLinf 분산 학습 프레임워크에서 SAPO와 BATE로 정책을 최적화한 뒤 같은 인터페이스로 실기 로봇에 배포한다.

전제와 한계

시뮬레이션 실험은 LIBERO-LONG(장기 과제 10개)과 CALVIN ABC-D(A·B·C 학습, D 평가)에서 수행했고, 각 학습은 200 최적화 스텝이다. LIBERO-LONG에서 AtomicRL은 OpenVLA-OFT 백본으로 98.8%, π0.5 백본으로 99.0% 성공률을 기록해 각각 PPO 대비 4.0%p, 3.6%p 높았다. 두 아키텍처 모두에서 일관된 이득이 나온 점을 저자들은 방법의 범용성 근거로 든다. CALVIN에서는 평균 완료 시퀀스 길이가 SFT 3.56에서 AtomicRL 4.56으로 늘었고(PPO는 4.36), 5개 과제 연쇄를 모두 성공하는 비율은 PPO 70.6%에서 80.1%로 9.5%p 올랐다. 긴 시퀀스에서 이득이 더 크다는 점을 장기 지평 학습의 효과로 해석한다.

실제 로봇 실험은 AgiBot G1으로 빵 접시에 담기, 휴지·자동차를 쓰레기통에 버리기, 리모컨과 간식을 보관함에 넣기 세 가지 장기 과제(각 4~6개 원자 과제)에서 진행했고, 과제당 SFT용 전문가 시연 100개를 모아 과제당 25회씩 평가했다. AtomicRL은 SFT 대비 평균 21.3%, PPO 대비 8.0% 향상됐다. 시뮬레이션과 실기의 성공률 상관계수는 9개 조합에서 r=0.909로 보고됐다. 절제 실험은 시연 수가 적은 약한 SFT 체크포인트에서 수행했는데, PPO 78.2%에서 SAPO를 더해 87.8%(+9.6%p), 어닐링된 PBSR을 더해 89.6%(+1.8%p), BATE를 더해 91.2%(+1.6%p)로 누적 13.0%p 개선됐다. 흥미로운 관찰은 조밀한 보상이 항상 낫지는 않다는 것이다. SAPO 아래에서는 과정 수준의 조밀 보상보다 과제 수준의 상대적으로 희소한 보상이 더 좋았고, 그래서 PBSR 가중치를 선형 어닐링해 초반 탐색 안내와 후반 종료 보상 정렬을 절충한다. PCC 품질은 성공·실패가 섞인 궤적 150개로 학습해 500개 롤아웃으로 평가했으며 정밀도 95.92%, 재현율 89.20%, 추론 지연 42.4ms였다. 주석은 VLM이 자동 생성한 뒤 수동 교정한 것을 정답으로 썼다.

개발자 관점에서 이 논문의 쓸모는 '보상을 더 촘촘하게 설계하는' 접근과 '신용 할당의 전파 구조를 고치는' 접근을 분리해 비교했다는 데 있다. 실제로 조밀 보상은 정책이 약할 때만 도움이 되고 이후에는 종료 성공 신호를 희석했다. 장기 과제 파이프라인을 RL로 후학습시킨다면, 먼저 과제를 의미 단위로 분해할 수 있는지, 그 경계를 추정하는 별도 모듈(여기서는 PCC)을 감당할 수 있는지, 그리고 실기 상호작용 비용을 시뮬레이션으로 옮길 수 있는지를 순서대로 확인하는 편이 좋다. 다만 PCC의 경계 판정이 틀리면 SAPO의 게이트도 함께 틀어지므로, PCC 정밀도·재현율과 임계값(τ_s, τ_p, N) 설정은 배포 전에 반드시 자체 데이터로 검증해야 한다.

논문은 별도의 한계 절을 두지 않는다. 대신 본문에 전제가 드러나 있다. PCC는 VLM 자동 주석과 수동 교정에 의존하는 오프라인 학습 모듈이고, Real2Sim2Real 파이프라인은 실제 시연 하나와 로봇 모델 메타데이터, 필요 시 보조 물체 관측을 입력으로 요구한다. 저자들은 장면 재구성·물리 자산 준비·제어 정합을 맞추는 기존 방식이 복잡하고 재현 비용이 크다는 점을 지적하며 자기 파이프라인의 자동화를 강점으로 내세우지만, 재구성된 환경이 과제와 무관한 시각·상호작용 구조까지 보존한다는 보장은 제시하지 않는다. 또한 실험은 LIBERO-LONG, CALVIN ABC-D, 그리고 원자 과제 4~6개짜리 탁상 과제 세 종으로 한정되며, 학습은 200 최적화 스텝으로 짧다.