DiffDreamer는 세계 모델과 미분 시뮬레이션을 결합해 쿼드로터를 제어한다

무엇인가

이 논문은 쿼드로터가 움직이는 게이트를 통과하거나 고속 표적을 추적할 때처럼 외부 물체의 미래 운동을 예측하면서 고주파의 정밀한 자세 제어를 동시에 해야 하는 문제를 다룬다. 기존 모듈형 파이프라인은 예측·계획·제어를 분리해 해석 가능하지만 모듈별 최적화에 의존하고 예측 오류가 하류 제어로 전파될 수 있다. Dreamer류 세계 모델 기반 RL은 통합 정책 학습을 제공하지만, 하나의 학습된 롤아웃 안에 부분 관측 가능한 외부 동역학과 로봇의 빠른 강체 동역학을 함께 섞어 모델 편향이 정책 최적화를 방해한다는 점을 지적한다.

어떻게 동작하나

DiffDreamer는 한 번의 액터 최적화 스텝에서 두 롤아웃을 같은 행동 시퀀스로 동기화한다. 학습된 RSSM 세계 모델은 히스토리 의존적 외부 동역학을 담은 잠재 상태 s_imp=(h,z)를 전파하고, 미분 가능한 쿼드로터 시뮬레이터는 위치·속도·자세·각속도로 구성된 명시적 물리 상태 s_exp를 전파한다. 액터는 sg(s_imp)와 s_exp를 함께 입력받고, 크리틱은 두 상태를 결합한 s_t로 가치를 추정한다. 잠재 입력에는 stop-gradient를 걸어 액터가 잠재 롤아웃으로 역전파하지 않게 하고, 명시적 상태 입력은 미분 가능하게 남겨 물리 롤아웃을 통한 그래디언트가 액터로 흐르게 한다.

무엇과 다른가

보상은 미분 가능한 운동 보상 r_diff와 게이트 통과 같은 비미분 이산 보상 r_disc로 나뉜다. 크리틱은 r_disc만으로 λ-return을 회귀해 비미분 과업 보상을 담당하고, 액터 손실은 크리틱 기반 L_imp와 시뮬레이터 기반 L_exp를 λ_imp, λ_exp로 결합한다. 액터 최적화 중 세계 모델과 크리틱 파라미터는 고정된다. 이 구조는 세계 모델이 외부 예측에 집중하게 하고, 미분 시뮬레이터가 로봇의 매끄러운 물리 동역학에 대한 1차 그래디언트를 제공하게 한다.

어떻게 쓰나

실험은 PyTorch로 작성된 미분 가능 쿼드로터 시뮬레이터 VisFly에서 수행됐다. 공격적 추적은 단안 카메라 FOV 중앙에 고속 표적을 유지하며 일정 거리를 보는 과업이고, 동적 게이트 레이싱은 3D로 움직이는 게이트를 순서대로 최단 시간에 통과하는 과업으로 5개 랜덤 환경에서 네 개 게이트 시퀀스를 사용했다. 정책은 위치 명령이 아니라 집단 추력과 바디 레이트(CTBR)를 직접 출력하며, 비교 대상은 DreamerV3, PPO, BPTT, 그리고 고전 기법으로 Elastic Tracker와 정책 탐색 기반 레이싱, MPC다. 각 방법은 5개 랜덤 시드로 학습됐고, 외부 운동 예측은 3차원 정가속도 EKF와도 비교됐다.

전제와 한계

추적 실험에서 DiffDreamer의 평균 거리 오차는 0.381m로 Elastic Tracker 0.793m, BPTT 0.835m, DreamerV3 1.003m보다 낮았다. 동적 게이트 레이싱에서는 게이트 최대 이동 속도 1.0, 1.5, 2.0m/s에서 평균 통과 게이트 수가 16, 12, 8로, MPC의 12, 4, 1보다 높았다. BPTT는 게이트 속도가 빨라질수록 성능이 떨어졌고, DreamerV3는 학습된 물리 전이와 희소한 게이트 통과 보상의 결합 부담으로 제한적 성능을 보였다고 저자들은 해석한다. 외부 운동 예측에서도 세계 모델이 측정 업데이트 없는 EKF보다 민첩한 표적·게이트 운동을 더 정확히 예측했다.

절제 실험에서 보상 분해의 기여가 수치로 드러난다. 전체 목적함수는 1.0, 1.5, 2.0m/s에서 게이트 16, 12, 8개를 통과했지만, 이산 게이트 통과 보상을 제거하면 2, 2, 0개로, 미분 운동 보상을 제거하면 7, 4, 2개로 떨어졌다. 오도메트리 조건의 상대 상태 표현을 제거하고 표적의 절대 위치를 재구성한 세계 모델은 재구성 오차 분포가 더 넓고 추적 중 쿼드로터 좌표계의 표적 분포도 더 분산됐다.

실기 검증은 3.5인치 프로펠러, NVIDIA Jetson Orin NX, Betaflight 비행 컨트롤러를 단 커스텀 쿼드로터에서 이뤄졌다. 학습된 정책은 100Hz 이상으로 온보드 실행되며 CTBR 명령을 보냈고, 쿼드로터와 표적·게이트의 오도메트리는 외부 모션 캡처로 제공됐다. 저자들은 물리 파라미터를 식별해 미분 시뮬레이터에 반영하고 실내에서 추력 한계를 둔 비행으로 개념 증명을 제시했다. 한계로는 쿼드로터 외 구현체로의 확장에 적합한 미분 모델과 과업별 엔지니어링이 필요하다는 점, 접촉·불연속·액추에이터 한계·인지 모듈이 미분을 어렵게 한다는 점, 실기 검증이 모션 캡처에 의존해 완전 온보드 인지와 인지 노이즈 강건성은 검증되지 않았다는 점을 밝힌다.

개발자 관점에서 DiffDreamer는 로봇의 매끄러운 동역학은 미분 시뮬레이터로, 외부 물체의 부분 관측 운동은 학습 세계 모델로 분리하는 설계 패턴을 제안한다. 적용을 검토할 때는 미분 가능한 물리 모델과 보상이 있는지, 시뮬레이터 파라미터 식별이 충분한지, 외부 상태를 실시간으로 줄 수 있는지, 그리고 stop-gradient와 보상 분해가 학습 안정성에 어떤 영향을 주는지 확인해야 한다. 특히 게이트 통과 같은 희소 이산 보상은 크리틱이, 자세·속도 규제 같은 연속 보상은 시뮬레이터 그래디언트가 맡는 구조가 핵심이므로, 자기 과업의 보상을 이 두 갈래로 어떻게 나눌지가 실무 적용의 첫 질문이 된다.