로봇 함대가 공유 정책을 집단 경험으로 개선한다

무엇인가

이 논문은 배포 중 로봇이 스스로 만든 실행 경험을 이용해 공유 정책의 신뢰성을 높이는 문제를 다룬다. 로봇 파운데이션 모델은 초기 능력을 주지만 물체 속성, 접촉 조건, 개별 로봇 차이 때문에 실행 신뢰성이 자동으로 보장되지 않고 다단계 과제에서는 오류가 누적된다. 기존에는 전문가 시연이나 인간 교정이 정책 개선에 쓰였지만, 함대가 커질수록 텔레오퍼레이터가 모든 실행을 감시하고 실패 시 개입해 교정 행동을 제공하는 비용이 확장되지 않는다. 저자들은 추가 전문가 시연·교정 없이 함대 경험을 공유해 공통 정책을 개선하는 집단 경험 학습(CEL)을 제안한다.

어떻게 동작하나

CEL은 배포된 로봇들이 실행 경험을 공유해 하나의 정책을 갱신하고, 갱신된 정책이 다시 함대 실행에 쓰여 새 경험을 만드는 폐루프다. 이를 구현한 FERT는 성공 궤적을 집단 경험 버퍼 D+에 저장하고, 실패 궤적은 행동 감독 대상이 아니라 검색 질의로만 쓴다. 즉 성공 실행이 모방할 행동 목표를 제공하고, 실패 맥락이 어떤 성공 경험에 학습을 집중할지 결정한다. 초기 정책은 SFT와 다중 로봇 HG-DAgger로 만들 수 있지만, 이후 FERT 단계에서는 추가 전문가 시연이나 교정 행동을 수집하지 않고 인간은 에피소드 성공·실패 라벨과 환경 리셋을 담당한다.

무엇과 다른가

FERT는 비동기 경험 수집, 경험 인코딩, 실패 유도 검색, 우선순위 미세조정의 네 단계로 구성된다. 인코딩에서는 π0 비전-언어-행동 모델의 비전 타워를 동결한 복사본으로 각 카메라 뷰의 16×16 토큰을 4×4 풀링해 4×4 특징으로 줄이고, 정규화한 관절 상태와 이어 붙여 검색 표현을 만든다. 실패 질의는 실패 궤적 끝에서 δ=10프레임 앞선 지점까지 최대 L=90프레임, 30Hz 기준 약 3초 문맥으로 구성한다. 이 질의를 성공 궤적들에 대해 경사 제약 서브시퀀스 DTW로 정렬해 프레임 간 임베딩 거리 평균이 낮은 구간을 찾고, 상위 K=10개 구간을 앞뒤 30프레임씩 확장한다. 검색은 다운샘플링으로 약 6배 빨라진다.

어떻게 쓰나

검색된 구간은 성공 액션 청크의 샘플링 우선순위를 높인다. 우선순위는 이전 값에 감쇠 계수 ρ를 곱하고, 검색 구간과 청크가 겹치는 비율을 청크 길이 H로 나눈 값을 더해 갱신되며, 반복적으로 검색된 실패 맥락 주변의 성공 행동이 더 자주 학습된다. 학습 목표는 성공 궤적의 관측과 지시에 조건화된 액션 청크의 음의 로그 가능도를 최소화하는 것이고, 구현에서는 흐름 기반 정책의 조건부 흐름 매칭 손실을 대리로 쓴다. 별도 학습된 크리틱, 가치 타깃, 어드밴티지 추정 없이 이진 결과가 데이터 선택과 우선순위에만 작용한다. FATS는 실행과 정책 최적화를 분리하고, 데이터 플레인 SwarmLink가 클라우드 추론과 궤적 스트리밍을 맡으며, 제어 플레인 HotSwarm이 실패한 로봇 워커를 제자리에서 재시작해 다른 로봇의 수집을 계속하게 한다.

전제와 한계

실험은 변형 물체, 정밀 정렬, 도구 사용, 다단계 실행을 포함한 실제 조작 5개 과제에서 수행됐다. 각 과제는 학습 데이터 수집에서 제외한 두 대의 실제 로봇에서 120회 시행으로 평가됐고, 과제별 최대 함대 크기에서 성공률 93.3~99.2%를 기록했다. 로봇당 수집 시간을 고정한 함대 크기 실험에서는 함대가 커질수록 더 많은 경험이 모였고 FERT 성공률이 대체로 증가했다. 다단계 휴대폰 포장에서는 96대 로봇 학습으로 FERT 시작 시점 79.2%에서 98.3%까지 상승했다. 같은 과제 16대 실험에서 실패 유도 검색을 제거하면 86.7%에서 64.2%로 떨어져 검색 기반 선택의 기여를 보였다.

시스템 측정도 제시된다. 동기 라운드 방식은 독립 수집 대비 에피소드의 33%만 모았고, 라운드 중앙값은 9.3분으로 로봇의 일반 주기 4.1분보다 길었다. 전체 재시작은 2·5·10분 재시작 시간에서 각각 92·86·74%의 에피소드를 보존했고, 이 실행에서 국소 복구의 손실은 1.3%였다. 통신에서는 224×224 RGB 3장이 관측당 약 0.45MB, 액션 청크가 로봇당 약 1.88kB/s, 대표 휴대폰 포장 에피소드가 약 3,500 타임스텝에 1.58GB였고 약 4분마다 한 에피소드가 완료됐다. Env-to-Rollout은 95.18%가 20ms 이내, 99% 이상이 50ms 이내였고, Rollout-to-Env는 97.6%가 250ms 이내였다.

개발자에게 이 논문은 다중 로봇 배포에서 인간 교정 파이프라인을 무한정 늘리지 않고도 정책을 계속 개선하는 설계를 보여준다. 핵심은 실패를 버리지 않고 검색 질의로 쓰되 실패 행동은 모방하지 않는다는 점, 성공 경험 버퍼와 우선순위 샘플링으로 데이터 선택을 자동화한다는 점, 그리고 실행·추론·학습을 비동기로 분리해 로봇별 중단이 전체 학습을 멈추지 않게 한다는 점이다. 실무에서는 성공·실패 라벨 품질, 성공 버퍼의 롤링 윈도 크기, 검색 임베딩의 일관성, 함대 이질성과 통신 지연이 성능에 미치는 영향을 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 현재 평가는 단일 로봇 플랫폼에서 과제별 정책 5개에 한정되며, 더 넓은 과제 분포, 이기종 로봇 플랫폼, 장기 운용 중 변화 적응은 향후 과제로 남는다. 또한 FERT는 전문가 감독 초기화 이후를 다루고, 실험에서는 인간이 이진 결과 라벨과 환경 리셋을 제공한다. 성공 궤적만 행동 감독에 쓰고 실패 행동은 쓰지 않는 전제, 검색이 실패 시작점을 프레임 단위로 정확히 알지 않고 끝점 앞 문맥에 의존한다는 점도 함께 봐야 한다.