품질 라벨 조건화와 반복 재라벨링으로 로봇 정책의 실행 품질을 통제한다
Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling
무엇인가
로봇 정책은 대개 성공한 시연만 모아 행동 복제(behavior cloning)로 학습한다. 이 방식은 모든 성공 궤적을 똑같이 바람직한 것으로 취급하므로, 데이터에 빠른 실행과 느린 실행, 부드러운 동작과 덜컹거리는 동작이 섞여 있으면 정책은 그 중간 어딘가를 평균낸 행동을 재현한다. 그러나 배포 현장에서 요구되는 것은 성공 여부만이 아니다. 컨베이어 라인에 투입된 로봇은 실행 속도가 중요하고, 와인잔을 든 트레이를 나르는 로봇은 운반 안정성이 중요하다. 기존의 품질 제어 정책들은 정적인 시연 데이터셋으로만 학습해서, 데이터가 담고 있는 제한된 품질 구간을 벗어나지 못한다는 것이 이 논문이 지적하는 출발점이다.
어떻게 동작하나
제안 방법 QCP(Quality-Controllable Policy)의 첫 구성 요소는 품질의 측정과 이산화다. 각 궤적에 대해 규칙 기반 점수 함수 m(τ)를 적용하는데, 가장 단순한 예가 평균 실행 시간의 역수(1/T)로 속도를 근사하는 것이다. 논문은 그 외에 정규화된 행동 차분(부드러움), 총 관절 경로 길이(효율성), 말단효과기 속도, 트레이 기울기 등을 축으로 쓴다. 이렇게 얻은 점수를 데이터셋 전체의 경험적 누적분포함수로 B개의 등빈도 구간에 나누고, 구간 인덱스 q(τ) ∈ {0, …, B−1}을 이산 품질 라벨로 붙인다. 실험 전반에서 B=4를 쓴다.
무엇과 다른가
두 번째 구성 요소는 품질 조건화 정책 학습이다. 정책은 최근 L개 관측의 히스토리와 품질 라벨 q를 입력받아 H개 미래 행동 청크를 예측하며, 목표 함수는 라벨이 주어진 조건부 행동 복제다. 구현은 플로우 매칭(flow matching)으로, 노이즈와 실제 행동 청크를 보간한 지점에서 속도장이 (A_t − ε)를 예측하도록 회귀한다. 처음부터 학습하는 단순 정책은 라벨을 임베딩 벡터로 만들어 관측 인코딩에 이어 붙이고, π0.5 같은 비전-언어-행동(VLA) 모델은 라벨을 "quality level: 3" 같은 텍스트로 프롬프트에 삽입해 아키텍처 변경 없이 파인튜닝한다. 추론 시 사용자는 목표 구간 q*를 지정하는 것만으로 실행 속도나 안정성을 조절한다. 여러 품질 축을 동시에 제어할 때는 축마다 별도의 라벨을 계산해 각각의 임베딩으로 조건화한다.
어떻게 쓰나
세 번째 구성 요소인 반복적 사후 재라벨링(iterative hindsight relabeling)이 시연 데이터의 품질 범위를 넘어서는 장치다. 매 반복에서 가장 높은 구간 q*=B−1로 롤아웃을 수집하고, 그중 과제에 성공한 것만 남긴다. 요청은 최고 구간이었지만 실제 달성 점수는 제각각이므로, 요청 라벨이 아니라 실측 점수 m(τ)로 사후 재라벨링해 데이터셋에 추가한다. 그다음 원래 시연을 포함한 전체 데이터에 대해 경험적 누적분포를 다시 계산하고 라벨을 재부여한 뒤 정책을 재학습한다. 고품질 롤아웃이 쌓일수록 구간 경계가 위로 밀려 최고 라벨이 나타내는 품질 수준 자체가 올라가고, 낮은 품질 구간은 원래 시연이 지탱하므로 제어 가능 범위가 양쪽으로 넓어진다. 주목할 점은 이전 반복의 정책을 파인튜닝하지 않고 매번 재초기화한다는 것이다. 재라벨링으로 라벨이 가리키는 품질 구간이 달라지면 이전 반복에서 학습한 라벨-행동 대응이 더 이상 유효하지 않아, 그대로 두면 풀어내야(unlearn) 하기 때문이다.
전제와 한계
시뮬레이션 실험은 Robomimic의 Square·Transport(Multi-Human 데이터셋)와 RoboEval의 Pack Box·Pick Book에서 이뤄졌다. 비교 대상은 성공 롤아웃을 누적한 BC, 목표 축 상위 10%만 남긴 품질 필터 BC, 스타일 조건화 오프라인 RL인 SORL·SCIQL, 품질 보상을 더한 온라인 RL인 DSRL·EXPO다. 반복이 진행될수록 QCP는 목표 품질과 성공률을 함께 올렸고, 누적 BC는 성공률만, 필터 BC와 SORL은 품질만 개선하며 성공률을 잃는 경향을 보였다. Square에서 최고 구간을 요청한 정책의 평균 성공 소요 스텝은 193.7로, 최저 구간을 요청한 경우의 308.1보다 빨랐고 중간 구간들은 그 사이에 위치했다. 반복 재라벨링 후 성공 롤아웃 분포는 초기 시연 분포에서 크게 벗어나, 부드러움과 관절 경로 길이에서 초기 시연 점수의 사분위 범위로 정규화한 Wasserstein-1 거리가 1.5를 넘었다. RoboEval에서는 하나의 정책에 여섯 개 품질 라벨을 동시에 조건화해 대부분의 품질 축에서 초기 BC와 누적 BC보다 나은 품질을 달성했다.
실제 로봇 실험은 Franka Research 3와 DROID 하드웨어 구성으로 수행됐다. 컨베이어 과제는 텔레오퍼레이션 시연 400개, 와인잔 운반 과제는 50개로 시작했다. 와인잔 과제에서 최고 안정성 구간으로 조건화한 QCP는 평균 트레이 기울기를 0.0660rad에서 0.0482rad로 27.0% 줄였고, 성공률은 30.7%에서 42.0%로 올랐다. 참고로 데이터 수집 당시 사람의 텔레오퍼레이션 성공률은 382회 시도 중 50회, 13.1%에 불과했다. 컨베이어 과제에서는 평균 말단효과기 속도가 188.6mm/s에서 257.6mm/s로 36.6%, 분당 처리량이 8.2개에서 13.0개로 59.3% 증가했으며, 이는 사람 텔레오퍼레이션의 173.5mm/s를 넘는 수치다. 반면 품질 필터 BC는 반복 2에서 처리량이 8.3개에서 6.3개로 떨어져, 저품질 데이터를 버리는 것이 오히려 성공률을 지탱하는 커버리지를 잃는 결과로 이어졌다.
분석 파트는 개선이 샘플링이 아니라 정책 업데이트에서 온다는 점을 분리해 보인다. 반복 0에서 고정한 정책으로 1,800개 롤아웃을 뽑아도 그 분포는 반복 0 수준에 머물렀고, 어떤 성공 롤아웃도 최종 반복의 중앙 부드러움 값에 도달하지 못했다. 같은 롤아웃 예산을 300개씩 6회로 나눠 재학습을 끼워 넣어야 품질이 올라갔다는 뜻이다. 또한 연속 점수 대신 4개 구간으로 이산화한 이유도 실험으로 뒷받침한다. 최고 라벨 하나를 최상위 4분의 1의 궤적이 공유하므로 요청한 행동의 학습 예시가 여러 개 확보되고, 이것이 소수 예시에만 의존하는 연속 점수 조건화보다 안정적인 학습 신호가 된다는 설명이다. 실제로 Square에서 이산 라벨은 모든 반복에서 고정 연속 목표보다 빨랐고, 구간 수를 4개보다 늘리면 속도는 조금 오르지만 성공률 비용이 커졌다.
실무 관점에서 이 논문이 주는 시사점은 명확하다. 성공/실패 라벨만으로 학습한 정책에 품질 축을 하나의 조건 입력으로 추가하는 것만으로도, 별도 아키텍처 변경 없이 배포 시점에 속도와 안정성을 다이얼처럼 조절할 수 있다. 특히 품질 점수가 규칙 기반으로 자동 계산되므로 사람의 추가 주석 없이 온라인 루프를 돌릴 수 있다는 점이 실용적이다. 다만 도입 전 확인할 전제가 있다. 첫째, 제어하려는 품질 축을 신뢰성 있게 측정하는 규칙 기반 점수 함수가 있어야 한다. 둘째, 루프는 과제 성공 롤아웃만 데이터에 넣으며, 실패 롤아웃을 저품질 데이터로 포함하면 성능이 떨어졌다고 저자들은 명시했다. 셋째, 반복마다 정책을 재초기화하므로 반복 수만큼 학습 비용이 반복된다. 저자들은 재초기화가 심층 강화학습에서 관찰되는 플라스티시티 손실과 프라이머시 편향을 피하는 데도 도움이 될 수 있다고 언급하면서도, 이 효과 자체를 직접 연구하지는 않았다고 밝힌다. 아울러 실험은 두 시뮬레이션 벤치마크와 두 개의 실제 조작 과제로 한정되며, 와인잔 과제의 초기 시연은 50개로 규모가 작다는 점도 함께 봐야 한다.