QF3가 필터링한 Q 그래디언트로 흐름 정책 RL을 10배 빠르게 학습한다

무엇인가

흐름 정책(flow policy)은 시연에서 로봇 행동을 학습하는 표준 정책 클래스로 자리 잡았다. 하지만 사전학습된 흐름 정책을 더 개선하거나, 상호작용만으로 처음부터 학습하려면 강화학습이 여전히 필요하다. 문제는 흐름 정책이 여러 스텝의 샘플링을 거치는 생성 모델이라는 점이다. 크리틱의 행동 그래디언트를 정책 업데이트에 쓰려면 이 샘플링 체인을 미분해야 하는데, 이 비용과 불안정성이 오프폴리시 학습을 어렵게 만든다. 최근의 온폴리시 흐름 RL은 샘플 효율이 낮고 벽시계 시간이 오래 걸린다.

어떻게 동작하나

QF3는 이 문제를 온라인 오프폴리시 RL로 푼다. 정책 학습 목표는 흐름 매칭(flow matching) 손실에 크리틱의 행동 그래디언트를 더한 형태다. 핵심은 이 그래디언트를 흐름 출력의 원스텝 예측을 통해 역전파한다는 점이다. 전체 샘플링 경로를 끝까지 통과시키는 대신 한 스텝 앞선 예측만 미분해, 계산량과 그래디언트 전파의 불안정성을 함께 줄인다.

무엇과 다른가

여기에 필터링이 붙는다. 크리틱과 그 원스텝 예측이 신뢰할 수 있는 영역에서만 업데이트가 일어나도록, 리플레이에 저장된 행동 근처에 머무는 행동 차원에만 크리틱 그래디언트를 적용한다. 이름의 Filtered Q-Gradients가 이것이다. 오프폴리시 학습에서 크리틱은 데이터 분포 밖의 행동에 대해 부정확한 값을 내기 쉽고, 흐름 정책처럼 여러 스텝을 거치는 구조에서는 그 오차가 증폭될 수 있다. 필터는 그래디언트가 닿는 차원을 제한해 이 위험을 잘라낸다.

어떻게 쓰나

저자들은 여기에 고처리량 오프폴리시 학습 레시피를 결합했다. 논문이 내세우는 첫 번째 성과는 QF3가 휴머노이드 보행(locomotion) 정책을 처음부터 학습하고 이를 하드웨어로 제로샷 전이한 최초의 오프폴리시 흐름 RL 방법이라는 것이다. 두 번째는 속도다. 최근 온폴리시 흐름 RL 방법인 FPO++와 비교해 휴머노이드 보행 및 모션 트래킹 정책을 10배 빠른 벽시계 시간으로 학습한다고 보고한다.

전제와 한계

학습만이 아니라 파인튜닝에도 쓴다. 사전학습된 흐름 기반 조작(manipulation) 정책을 ABC-Sim과 Robomimic 태스크에서 QF3로 미세조정했다. 이 결과들은 QF3가 로봇 정책을 처음부터 배우는 용도와, 시연에서 얻은 정책을 다듬는 용도 양쪽에 쓰일 수 있음을 시사한다고 저자들은 정리한다.

실무 관점에서 QF3는 두 가지 상황에서 후보다. 하나는 시뮬레이터에서 오프폴리시 데이터를 모아 로봇 정책을 처음부터 학습하는 경우, 다른 하나는 시연으로 사전학습해 둔 흐름 정책을 강화학습으로 개선하는 경우다. 도입 전에 확인할 것은 필터가 어떤 기준으로 어떤 행동 차원을 남기는지, 리플레이 버퍼를 어떻게 구성하고 크리틱 신뢰도를 어떻게 판단하는지, 그리고 하드웨어 전이가 어떤 조건에서 성립했는지다. 이 세부가 자신의 로봇·태스크 분포에 그대로 옮겨지는지가 재현의 관건이 된다.

한계는 방법의 전제 자체에 있다. 크리틱 그래디언트를 리플레이 행동 근처로 제한한다는 것은 곧 업데이트가 그 근방을 벗어나지 않는다는 뜻이고, 탐색 범위와 분포 이동에 제약이 생길 수 있다. 또한 원스텝 예측의 정확도에 성능이 의존한다. 초록 수준에서는 구체적인 성공률 수치, 실패 사례, 하드웨어 실험 세부가 제시되지 않으므로, 실제 적용 전에는 원문의 실험 설정과 비교 대상을 직접 확인해야 한다.