VLM 에이전트가 자기 잠재 공간 상상으로 정책을 개선하는 Dwell

무엇인가

이 논문은 VLM 기반 에이전트가 환경과 상호작용하며 스스로 실력을 키우는 문제를 다룬다. 사전학습된 VLM은 풍부한 세계 지식을 갖고 있지만, 그 지식을 온라인 상호작용을 통한 정책 개선에 쓰는 일은 거의 이뤄지지 않았다. 모델프리 RL은 환경 상호작용을 많이 요구해 경험 수집이 확장의 병목이 되고, 세계 모델을 붙이면 상상으로 이를 보완할 수 있지만 세 가지 걸림돌이 있다. 첫째, 세계 모델의 잠재 상태가 VLM 정책에 그대로 쓸 수 있는 형태가 아닐 수 있다. 둘째, 정책이 갱신되면 상호작용 분포가 이동해 세계 모델의 학습 데이터가 낡는다. 셋째, 큰 사전학습 모델을 계속 업데이트하는 비용이 크다.

어떻게 동작하나

제안 방법 Dwell의 핵심은 VLM을 재귀적 잠재 전이 연산자로 재정의하는 것이다. 관측 o_t에서 뽑은 비주얼 토큰과 이전 잠재 상태 z_{t-1}, 이전 행동 a_{t-1}로 두 가지 갱신을 정의한다. 관측을 조건으로 받는 사후(posterior) 상태 z_t = Σ_φ(z_{t-1}, a_{t-1}, ν(o_t))와, 관측 없이 행동만으로 다음을 예측하는 사전(prior) 상태 ẑ_t = Ψ_φ(z_{t-1}, a_{t-1})다. 잠재 상태는 K개의 슬롯 × D 차원으로 표현되고, 두 갱신은 같은 파라미터 φ를 공유한다. VLM 백본은 동결하고, 세계 모델용 LoRA 어댑터와 정책 π_θ용 LoRA 어댑터를 따로 붙여 파라미터 효율적으로 역할을 분리한다(실험 설정은 LoRA rank 32, scaling 64).

무엇과 다른가

세계 모델은 네 개의 항으로 학습한다. 사전 상태를 사후 상태(정지 기울기)에 맞추는 동역학 손실 L_dyn, 사후 상태를 동결된 V-JEPA2 비주얼 인코더 임베딩에 슬롯별 투영 후 코사인 거리로 정렬하는 표현 손실 L_rep, 보상 손실 L_rew, 표현 붕괴를 막는 정규화 L_reg다. 보상 학습이 눈에 띄는 부분인데, 잠재 공간 계획이 사전 상태로 굴러가기 때문에 사후 상태에서 출발해 길이 L의 미래 행동을 사전으로 전개한 끝 상태 ẑ_{t+L+1}에서 보상을 예측하도록 학습한다. L=0이면 스텝별 예측, L이 최대 길이 이상이면 사후와 완전히 분리된 순수 예측이 되어, 지평선 길이로 안정성과 장기 예측 사이를 조절한다.

어떻게 쓰나

계획과 학습 루프는 다음과 같다. 실제 상호작용으로 얻은 사후 상태에서 출발해, 사전과 현재 정책으로 길이 H의 상상 궤적 배치를 만들고 그 위에서 PPO로 가치 함수와 정책을 함께 업데이트한다. 상상 상태는 원시 관측으로 디코딩했다가 다시 인코딩할 필요 없이 다음 전이와 의사결정에 그대로 전달된다. 학습 초반에는 가치 추정치가 과제 수익에 맞춰져 있지 않으므로, actor와 세계 모델을 고정한 채 실제 경험의 n-step 리턴으로 크리틱을 워밍업한다. 이후 실제 상호작용으로 세계 모델과 보상을 갱신하고, 다시 잠재 상상으로 정책을 개선하는 순환이 반복된다.

전제와 한계

실험은 Sokoban, FrozenLake, Navigation, PrimitiveSkill, EB-ALFRED의 5개 대화형 시각 환경에서 이뤄졌다. 공간 추론, 1인칭 시점 구현체 내비게이션, 시각 기반 조작, 장기 가사 과제를 아우른다. 모든 학습 가능한 에이전트는 Qwen2.5-VL-3B 백본을 공유하며, 비교 대상은 모델프리 온라인 RL인 PPO와 GRPO, 잠재 동역학을 같은 파이프라인에 연결한 LeWorldModel 변형, 그리고 생성형 세계 모델 계열의 AdaWorld다. 지표는 과제 성공률이고 3개 시드의 평균과 표준편차를 보고한다. 저자들이 정리한 결과는 이렇다. Dwell은 학습 가능한 방법 중 종합 성능이 가장 좋았고, 현재 행동이 미래 상태를 어떻게 바꾸는지 예측하는 것이 중요한 Sokoban, FrozenLake, EB-ALFRED에서 이점이 두드러졌다. 반면 GRPO는 Navigation에서 더 강했고 PrimitiveSkill에서도 근소하게 앞섰는데, 저자들은 전자는 즉각적 관측이 행동 단서를 충분히 주고 후자는 접촉이 많은 조작이라 압축된 잠재 롤아웃에 미세 동역학을 담기 어렵다고 해석한다. 효율 측면에서 Dwell은 AdaWorld 대비 평가된 4개 환경에서 GPU-hours를 약 38~58% 줄였고, 같은 학습 일정에서 PPO와 GRPO보다도 총 연산이 적었다. 다만 가장 저렴한 것은 압축된 잠재 동역학만 쓰는 LeWorldModel이었다. 표 1의 환경별 성공률 개별 수치는 제공된 본문 발췌에 제시되지 않았다.

절제 실험은 두 가지를 확인한다. L_dyn을 제거하면 Sokoban과 Navigation 모두에서 성능이 크게 떨어져, 행동 조건부 미래 상태에 대한 직접 감독이 유용한 상상 궤적의 필수 조건임을 보여준다. L_rep를 제거하면 하락 폭은 작지만 일관되게 나타나, 예측 일관성만으로는 부족하고 지각적으로 의미 있는 표현에 잠재 상태를 고정하는 것이 도움이 된다는 해석이다. 또 세계 모델을 초기 학습 후 동결하면 초반에는 경쟁력이 있으나 Sokoban과 FrozenLake에서 곧 정체되는 반면, 전체 Dwell은 상호작용이 쌓일수록 계속 개선됐다. 정책이 바뀌며 방문하는 상태·행동 영역이 초기 모델의 학습 범위를 벗어나기 때문에, 새 경험으로 세계 모델을 계속 갱신해야 상상이 정책 분포와 정렬을 유지한다는 주장이다.

개발자 관점에서 이 논문의 실무적 메시지는 세계 모델이 미래를 재구성할 필요는 없고 행동에 쓸모 있는 미래를 예측하면 된다는 것이다. 관찰 생성을 건너뛰므로 상상 비용이 크게 줄고, 동결 백본 위에 LoRA 두 개만 학습하므로 기존 VLM 서빙 스택을 크게 건드리지 않고 세계 모델과 정책을 분리해 실험할 수 있다. 도입을 검토한다면 세 가지를 확인해야 한다. 상상이 실제로 이득인 과제인지(관측만으로 행동이 결정되는 내비게이션류는 이점이 작다), 접촉이 많은 조작처럼 미세 동역학이 중요한 과제에 압축 잠재가 충분한지, 그리고 온라인 루프에서 세계 모델 갱신 비용을 감당할 수 있는지다.

저자들이 명시한 한계도 분명하다. 상상의 이득은 과제에 따라 균일하지 않으며, 얼마나 오래 상상할지를 상태와 과제에 맞춰 선택적으로 정하는 것이 다음 과제로 남는다. 압축 잠재는 시각적으로 부수적인 세부를 버리는 대신 조작에 중요한 미세 동역학까지 잃을 수 있고, 결정론적 잠재 동역학은 불확실성을 표현하지 못해 정책이 확신 있는 예측과 모호한 예측을 구분하지 못한다. 또한 근거는 단일 VLM 백본과 5개 시뮬레이션 환경에 한정되며, 잠재 세계가 VLM 안에 있음에도 표현은 동결된 사전학습 비주얼 인코더로 접지된다는 점, 상호작용만으로 같은 수준의 예측 구조가 형성되는지는 열린 질문이라는 점을 인정한다. 연산도 공짜가 아니어서, 생성형 세계 모델보다는 훨씬 싸지만 더 단순한 잠재 동역학보다는 비싼 성능-연산 트레이드오프다.