확산 모델을 행동열 제안 분포로 쓰는 모델 기반 온라인 계획 GTP

무엇인가

온라인 의사결정은 효율적인 추론과 장기 지평 추론 사이의 긴장을 안고 있다. 가치 기반 강화학습은 미래 결과를 스칼라 가치로 압축하고 단기 부트스트래핑으로 갱신하는데, 이 방식은 장기 정보가 천천히 전파되고 추정 오차가 누적되며, 개별 행동 수준의 확률적 잡음에 의존하는 탐험은 일관된 행동을 발견하기 어렵다. 반대편의 궤적 최적화는 행동열을 명시적으로 최적화해 장기 계획이 가능하지만, 매 의사결정마다 고차원 비볼록 문제를 풀어야 하고 학습된 동역학의 예측 오차가 긴 지평에서 누적되어 최적화기가 이를 악용할 수 있다. 생성 모델로 계획을 조건부 궤적 생성으로 재정식화하는 연구는 오프라인에서는 강력했지만, 온라인에서는 생성 모델을 사실상 정책 대체물로 취급해 기존 강화학습의 단점을 그대로 물려받았다. 이 논문은 이 공백을 "의사결정을 생성적 추론으로 보는" 관점으로 메운다.

어떻게 동작하나

제안하는 Generative Trajectory Planning(GTP)은 네 개의 학습 요소로 구성된다. 첫째, 현재 상태에 조건화된 H스텝 행동열 분포 p_θ(a_t|s_t)를 확산 모델로 표현하는 생성적 사전분포로, 매 스텝 처음부터 최적화하는 대신 후보 행동열을 제안한다. 둘째, 다음 상태를 예측하는 동역학 모델 f_φ를 N개 앙상블로 두고 후보를 자기회귀적으로 롤아웃하며, 앙상블 간 불일치를 궤적 수준 불확실성으로 사용한다. 셋째, 시뮬레이션된 궤적 위에서 보상을 예측하는 보상 모델 r_ξ, 넷째, 무한 지평 할인 수익을 추정해 계획 지평 끝에서 부트스트랩을 제공하는 가치 함수 V_ψ다. 후보 행동열의 점수는 각 앙상블 구성원별로 할인 보상 합과 종단 가치를 더한 h스텝 수익 J_h^(i)로 계산하고, 이를 집계 규칙으로 하나의 스칼라로 합친다. 집계 방식이 핵심 설계인데, 탐험을 위한 롤아웃 평가에는 낙관적인 max 집계를, 가치 학습 목표에는 보수적인 median 집계를 쓴다.

무엇과 다른가

계획 절차는 빔 서치와 확산 정제를 교차시킨다. 확산 사전분포에서 후보 궤적을 초기화하고 J_1 기준 상위 B개를 남긴 뒤, 매 반복마다 행동 하나를 확정하고 각 후보를 D개 변형으로 분기하며, 확정되지 않은 나머지 접미부를 부분 노이징·디노이징으로 정제한다. 노이즈 수준 K_ref가 확정된 접두부와의 시간적 일관성을 유지하면서 정제 강도를 조절하고, 다시 J_{h+1} 기준 상위 B개를 남긴다. 여러 빔을 병렬로 돌려 사전분포의 다양한 모드를 탐색한다. 온라인 학습에서는 네 가지 문제를 명시적으로 다룬다. 사전분포를 표본-모방 루프로 학습하면 엘리트 집합이 자기 출력과 다를 바 없어져 모드 붕괴가 일어나므로, 계획기가 찾은 엘리트에서 출발해 계획 목적식에 대한 Langevin 상승 몇 스텝으로 새로운 고득점 후보를 주입한다. 탐험은 행동 잡음이 아니라 동역학 앙상블 불일치로 궤적 전체 수준에서 유도한다. 장기 지평에서 표준 시간차 학습의 느린 보상 전파는 빔 서치가 만든 다중 스텝 수익 추정으로 대체하고, 앙상블 간 분산의 역수로 지평별 가중치를 주어 단기 편향과 장기 불확실성을 균형 잡는다. 계산 비용은 학습 시 엘리트 궤적을 여러 그래디언트 갱신에 재사용하고, 추론 시에는 계획 없이 사전분포만으로 행동을 생성하거나 재계획 사이에 여러 행동을 실행해 줄인다.

어떻게 쓰나

이론적으로 저자들은 학습된 모델을 고정하고 충분한 궤적 샘플링과 정확한 확산 모델 피팅을 가정한 이상적 조건에서 사전분포 갱신이 p_{n+1}(a|s) ∝ p_n(a|s)·exp(J_H(s,a)/λ) 형태의 KL 정규화 정책 개선 단계에 대응함을 보인다. 정리 3.1에 따르면 J_H가 유계이고 온도 λ>0이 고정일 때 각 갱신은 기대 계획 목적식을 최소 λ·KL(p_{n+1}‖p_n)만큼 단조 증가시키며, 초기 사전분포가 모든 δ>0에 대해 δ-최적 행동열 집합에 양의 확률을 부여하면 기대값이 최적값으로 수렴하고 확률 질량이 점근적으로 최적 궤적에 집중된다.

전제와 한계

실험은 세 질문에 대응한다. MuJoCo 이동 과제에서는 5개 환경(휴머노이드는 4개)에서 1M 상호작용, 5회 실행으로 학습했고, GTP-H4가 다섯 환경 모두에서 모든 베이스라인을 앞섰으며 GTP-H1은 DPMD 같은 확산 기반 강화학습과 경쟁적이었다. 지평을 4로 늘릴 때 성능이 크게 오르는 것이 궤적 수준 계획의 가치를 확인시켜 준다. 비교 대상은 모델 프리(SAC, TD3), 확산 정책 강화학습(QSM, DPMD), 궤적 최적화(CEM-MPC, 가치를 추가한 CEM-MPC-V), 모델 기반(DreamerV3, TD-MPC2)이다. CEM 계열은 GTP의 동역학과 가치를 그대로 재사용하고 확산 사전분포만 가우시안 CEM 샘플링으로 바꾼 것으로, 확산 사전분포의 기여를 분리하기 위한 설정인데도 크게 뒤처졌다. Fetch 조작 3종에서는 1M 상호작용, 4개 병렬 환경, 5개 시드, 시드당 100회 평가로 GTP를 지평 8로 실행했으며, 모델 프리와 확산 정책 베이스라인은 성공률이 거의 0이었다. TD-MPC2는 FetchPush에서 5개 시드 중 2개가 수렴에 실패한 반면 GTP는 모든 실행에서 수렴했고, FetchPickAndPlace에서는 최종 성공률이 비슷해도 GTP가 훨씬 빠르게 높은 보상에 도달했다. PushT-Vision에서는 GTP가 거의 완벽한 성공률을 보인 반면 기본 학습 조건에서 모든 학습 기반 베이스라인이 완전히 실패했고, 2M 상호작용을 추가해도 TD-MPC2만 뒤늦게 근접 성능에 도달할 뿐 나머지는 그대로였다. 다만 표에 담긴 구체적 수치 자체는 제공된 본문에 옮겨져 있지 않고 서술적 비교만 제시된다.

절제 실험은 각 설계 선택의 기여를 분리한다. Langevin 증강을 제거하면 모드 붕괴가 일어나 회귀 목표가 고정점으로 퇴화하고, 기존 온라인 확산 강화학습이 쓰는 등방 가우시안 섭동으로 대체하면 성능의 상당 부분을 되찾지만 GTP에는 못 미친다. 궤적 수준 가치 목표를 단일 스텝 시간차 부트스트래핑으로 바꾸면 최종 수익이 낮아지고, 반복적 빔 서치를 단일 배치에 대한 best-of-BD 필터로 대체하면 성능이 크게 떨어진다. 동역학 앙상블을 단일 모델로 축소하면 치명적이며, 가치 목표 집계를 보수적 방식에서 바꾸면 낙관적 예측이 목표에 새어 들어가 가치 학습이 불안정해진다. 롤아웃 집계를 낙관적 방식에서 바꾸면 최종 수익은 경쟁적이지만 학습 곡선이 대부분 구간에서 아래에 머물러, 보수적 롤아웃이 고불확실·고수익 궤적 탐험을 억제해 표본 효율을 희생함을 보여준다. 지평선을 1, 2, 4, 8, 12, 16으로 훑으면 두 과제 모두 4까지 이득이 뚜렷하고, 그 이후 HalfCheetah에서는 동역학 롤아웃 정확도 문제로 성능이 떨어지지만 FetchSlide에서는 정체에 그친다. 조작 과제에서는 지평 16에서도 학습이 안정적이어서, 긴 지평의 제약 요인은 학습 안정성이 아니라 동역학 모델 정확도라고 저자들은 해석한다. PushT에서 2000개 평가 롤아웃의 엔드이펙터 방문 분포를 물체 중심 좌표계로 변환해 그려 보면, SAC와 DPMD는 물체와 거의 상호작용하지 않고 TD-MPC2는 넓지만 무차별적으로 탐험하는 반면, GTP는 물체 윤곽과 주요 접촉 영역 주변으로 점진적으로 집중한다.

개발자 관점에서 이 논문의 실용적 메시지는 생성 모델을 정책으로 쓰지 말고 계획의 제안 분포로 쓰라는 것이다. 확산 모델을 정책으로 학습하면 추론 시 계획이 없어 반응적 정책의 한계를 그대로 안고, 반대로 순수 궤적 최적화는 매 스텝 고차원 최적화 비용과 모델 오차 악용을 감수해야 한다. GTP는 사전분포로 탐색 공간을 낮은 차원의 그럴듯한 매니폴드로 제한하고 그 안에서만 정제하므로, 계획 비용을 상각하면서 궤적 수준 추론을 얻는다. 실무에서 차용할 만한 패턴은 명확하다. 동역학 앙상블 불일치를 탐험 신호로 쓰고 계획 시에는 낙관적으로, 가치 목표로는 보수적으로 집계하는 비대칭 설계, 지평별 분산 역수 가중으로 단기 편향과 장기 오차를 절충하는 가치 학습, 그리고 엘리트 재사용·재계획 간격 조정으로 추론 비용을 줄이는 배포 전략이다. 다만 계획 지평을 늘리는 이득은 동역학 모델 정확도에 좌우되므로, 접촉이 많은 과제에서는 지평을 키우기 전에 모델 정확도를 먼저 확인해야 한다.

저자들이 밝힌 한계와 전제도 분명하다. 이론 분석은 학습된 모델이 고정되고 궤적 샘플링이 충분하며 확산 모델 피팅이 정확하다는 이상적 조건에 의존하므로, 실제 온라인 루프에서 모델이 계속 갱신되는 상황은 보장 범위 밖이다. 또한 계획이 종단 가치 함수에 의존하기 때문에, 보상이 희소하거나 가치 추정이 불신뢰할 만한 환경에서는 장기 계획이 제약된다. 저자들은 종단 가치 의존을 줄이는 대안적 장기 결과 평가, 풍부한 시각 관측을 가진 더 복잡한 과제로의 확장, 그리고 생성 궤적의 품질과 다양성을 유지하면서 계산 비용을 낮추는 더 효율적인 계획 알고리즘을 향후 과제로 제시한다.