VLM의 설명과 평가를 분리해 제로샷 로봇 보상 모델로 쓴다
D&A: Decoupling Description and Assessment Enables VLMs as Zero-Shot Robotic Reward Models
무엇인가
이 논문은 로봇 수행 영상을 보고 각 시점의 작업 진행도를 0에서 1 사이 보상으로 추정하는 문제를 다룬다. VLM을 그대로 불러 진행도를 물으면 실패 영상에서도 성공했다고 상상하는 확인 편향이 생기고, 단순 프롬프트는 결국 성공 여부만 판별하는 이진 분류기로 퇴화한다. 기존 제로샷 방식인 GVL은 프레임 순서를 섞어 순위를 매기고, TOPReward는 ‘True’ 토큰의 로짓을 읽는데, 두 방식 모두 성공 쪽으로 편향되기 쉽다. 로봇 데이터로 후학습하는 방법도 있지만 실패 라벨이 붙은 다양한 실제 데이터를 구하기 어렵고, 기반 VLM마다 다시 학습해야 한다.
어떻게 동작하나
제안 방법 D&A는 보상 함수를 설명 단계와 평가 단계로 분리한다. 먼저 설명기 D는 작업 지시문 없이 전체 영상 o1:T를 한 번에 보고 로봇이 실제로 무엇을 했는지 텍스트 d1:T로 서술한다. 지시문을 숨기는 이유는 모델이 의도된 작업을 전제로 영상을 해석하는 확인 편향을 막기 위해서다. 다만 지시문 없이 서술하면 평가에 중요한 장면 요소가 빠질 수 있어, 별도의 엔티티 추출기 E가 영상과 지시문에서 장면 엔티티를 나열하고, 설명기는 그 엔티티에 근거해 영상을 서술한다. 계산 비용을 줄이기 위해 T개 프레임을 H=8개로 선형 다운샘플링한 뒤 보상을 다시 T 길이로 보간한다.
무엇과 다른가
평가기 A는 지시문 l과 설명 d1:T를 받아 바로 점수를 내지 않는다. 먼저 ‘작업이 완전히 달성됐을 때 관찰 가능한 세계 상태’를 자연어 성공 기준 c로 만들고, 각 시점의 설명을 l이 아니라 c에 비추어 채점한다. 이렇게 하면 ‘l을 향한 진행도’를 ‘c를 얼마나 만족하는가’라는 더 명확한 질문으로 바꿔 부분 진행과 실패를 구분할 수 있다. 실제 구현에서는 평가기 호출 한 번 안에서 시스템 프롬프트로 성공 기준 생성과 채점을 연쇄 추론하게 한다. 추가로 피드백 생성기 F가 실패 원인 분석과 교정 지시를 텍스트로 내보내, 스칼라 보상뿐 아니라 언어 피드백도 제공한다.
어떻게 쓰나
이 보상은 여러 하위 정책 개선 방식에 바로 쓰인다. 온라인 RL에서는 D&A의 절대 진행 점수를 밀도 있는 환경 보상으로 사용한다. 오프라인 RL에서는 진행 점수를 잠재 함수로 보고, 행동 청크 크기 C에 대해 A_t = r_min(t+C,T) - r_t 형태의 어드밴티지를 계산해 데이터 필터링이나 정책 조건화에 쓴다. 코드 정책 실험에서는 이전 시도 이력에 D&A의 실패 분석 피드백을 추가해 다음 계획을 고치게 한다.
전제와 한계
실험은 새로 만든 D&A-Bench와 RBM-EVAL-OOD, RoboRewardBenchmark에서 진행됐다. D&A-Bench는 YAM 작업 14개에 대한 54개 궤적(성공 27, 실패 27)과 지시문 패러프레이즈 10개로 구성되며, Kendall τ_α로 평가한다. Gemini 3 Flash를 기반으로 한 D&A는 D&A-Bench에서 0.67을 기록해 Robometer 0.56, RoboReward 0.43, 제로샷 TOPReward 0.24, GVL 0.27을 앞섰고 Naive VLM보다 +0.23 높았다. RBM-EVAL-OOD에서는 RoboReward를, RoboRewardBenchmark에서는 Robometer를 앞서며 SOLE-R1도 두 벤치마크에서 이겼다. GPT-6 Astra를 쓴 D&A*는 세 벤치마크 모두 SOTA를 기록했고, RBM-EVAL-OOD에서 Gemini 4 Argon 기반 D&A가 0.734, GPT-6 Astra 기반이 0.714였다.
실제 로봇 실험도 수치가 제시된다. DROID 주방의 ‘과일을 그릇에 넣기’ 온라인 RL에서 π0 정책의 초기 성공률은 10%였는데, D&A 보상을 쓰자 약 90분 만에 100%가 됐다. TOPReward를 쓴 경우 성공률은 5%에 머물렀다. 양팔 YAM의 ‘빨간 책을 회색 상자로 옮기기’ 오프라인 RL에서는 성공·준최적 데이터로만 미세조정한 π0.5 기준선이 20%였고, D&A는 준최적 행동을 걸러 BC를 +80% 개선하며 다른 모델을 앞섰다. 어드밴티지 필터링 BC에서는 D&A가 성공 시 평균 18.8±1.8초로 기준선 π0.5의 28.5±9.2초보다 빨랐다. LIBERO의 Code-as-Policies 실험에서는 이력 없음 11.4%, 이력만 사용 40.6%, D&A 피드백 추가 51.4%로 올랐다(p=0.00076). 절제 실험에서는 명시적 성공 기준만 추가해도 Naive VLM보다 +0.18, 설명을 장면 엔티티에 근거시키면 +0.26 개선됐다.
개발자에게 D&A의 핵심은 로봇 전용 학습 없이 프롬프트만으로 보상 모델을 구성하고, 기반 VLM을 바꿔 성능 향상을 그대로 받을 수 있다는 점이다. 영상 진행도 평가, 실패 데이터 필터링, 에이전트 재시도 피드백 같은 파이프라인에 붙여볼 수 있다. 다만 저자들이 밝힌 한계도 분명하다. 상용 프론티어 모델의 높은 추론 지연과 토큰 비용, 제한된 컨텍스트, 폐쇄형 API의 확률성과 제어 한계를 그대로 물려받고, 간헐적 의미 환각이 설명 충실도와 보상 평가를 떨어뜨릴 수 있다. 또한 보상의 해상도는 자연어로 표현 가능한 수준에 묶여, 정밀한 공간 관계나 절대적 기하 거리처럼 언어화하기 어려운 연속 보상에는 취약하다.