정책이 좋아져도 VLM 성공 판정은 남은 실패를 더 놓칠 수 있다

무엇인가

이 논문은 고정된 VLM 성공 판정기가 로봇 정책의 개선을 감시하는 상황을 다룬다. 정책이 좋아지면 전체 실패는 줄지만, 남은 실패의 종류와 물리적 위치가 달라져 같은 판정기가 그 실패를 더 자주 통과시킬 수 있다는 것이다. 저자들은 판정기 자체가 같은 이미지에서 나빠졌다는 뜻이 아니라, 학습이 어떤 실패가 판정기에 도달하는지를 바꾸는 분포적 메커니즘을 coverage shift라고 부른다. 이는 과제 성능 향상과 실패 감지 가능성을 같은 것으로 보면 안 된다는 주장으로 이어진다.

어떻게 동작하나

실험은 ManiSkill3의 Franka Panda와 4cm 큐브로 트레이 넣기와 스택 과제를 구성한다. 정책은 스크립트 컨트롤러의 테이블/목표 분기, 수평 오프셋, 목표 해제 높이, 해제, 후퇴 파라미터를 샘플링하는 저차원 분포이고, 매 라운드 100개 파라미터를 새 장면에서 실행한 뒤 이진 필터로 선택된 샘플만으로 식 3의 목표, 즉 선택된 샘플의 로그 가능도를 최대화하도록 재적합한다. 구현에는 베르누이 스무딩, 확률 클리핑 [0.02,0.98], 분산 제약이 들어간다. 통제군은 학습 없는 N0, 모든 샘플을 재적합하는 R0, 시뮬레이터 진실만으로 성공을 고르는 C1, 판정기 수용 샘플을 고르는 C3, 진실 성공/실패 층 안에서 판정기 수용을 순열해 TP/FP/수용 개수는 유지하되 어느 상태가 수용되는지를 바꾸는 C2* 등이다.

무엇과 다른가

감시 지표는 성공률 s_t, 실패 발생률 b_t, 실행당 수용된 실패 m_t, 특정 실패 집합에 조건부 수용률 c_t=m_t/b_t로 분해된다. 이 항등식 때문에 실패 발생률이 크게 줄면 조건부 수용률이 올라도 실행당 절대 미탐지는 줄 수 있다. 정적 진단은 348개 실행 종료 상태를 네 시점에서 렌더링한 1,392개 이미지와 9개 판정기로 구성되며, hover, held_on, behind, edge, beside 같은 실패 유형별 수용률 지도와 예측 실패 구성을 만든다. 경계 프로브 F1은 같은 40개 장면에서 트레이 림 위 hover D와 림 아래 hover D+를 비교해 고정 판정기가 위는 0/160, 아래는 148/160을 수용했다고 보고한다. 차이의 단측 95% 장면 수준 하한은 .891이다.

어떻게 쓰나

핵심 감사는 M1/tray/V1에서 20개 시드 공통 리셋으로 N0, R0, C1을 비교한다. C1은 시뮬레이터 진실만으로 학습 샘플을 고르므로 판정기 오류가 학습에 들어가지 않는다. 그런데 성공률은 66.8%에서 97.0%로 오르고 hover 발생률은 15.9%에서 1.8%로 줄며 실행당 수용된 hover 실패도 5.0%에서 0.9%로 줄었지만, hover가 주어졌을 때 판정기가 수용하는 비율은 31.1%에서 50.0%로 올랐다. 짝지은 증가는 18.9pp, 양측 95% 구간 [9.7,28.1]이다. 림 아래 hover 비중도 31.3%에서 52.6%로 21.4pp [11.7,31.1] 증가했다. 풀링 수치는 림 아래 수용이 N0 431/499, R0 640/795, C1 82/91이고, 림 위 또는 같은 높이에서는 66/1093, 81/969, 4/84였다.

전제와 한계

재적합 자체도 감시 분포를 바꾼다. R0는 N0보다 조건부 hover 수용률을 10.3pp [5.2,15.4] 올렸고, C1은 R0보다 8.6pp [1.4,15.8] 더 올렸다. 다만 C1-R0의 림 아래 비중 차이는 6.9pp [-0.7,14.6]로 양측 수준에서 해소되지 않았다. 판정기가 학습 샘플을 고르는 경우에는 상태별 수용 배정이 중요했다. C3는 7개 진단 블라인드스팟 셀 중 6개에서 C1 대비 규칙을 만족했고 차이는 0.6~14.0pp였으며 M1/stack/V1은 실패했다. C2* 순열에서는 8개 중 4개 C3-C2* 구간이 완전히 양수, 3개가 0을 가로지르고 1개가 0에 닿았다. J1/tray/V1에서 behind 실패는 C3 15.4% 대 C2* 1.2%, 성공률은 75.8% 대 92.8%였다.

추가 시점을 쓰는 CV는 8개 셀에서 최종 성공률 93.8~97.4%로 C1의 97.0%와 3.2pp 이내였고, J1/tray/V1은 C3 75.6%에서 CV 94.0%로 개선됐다. 반면 더 엄격한 임계값을 쓰는 T3 수리 규칙은 전체적으로 실패했다. 분리 가능한 3개 셀에서는 C6가 성공률을 10.6~11.4pp 올렸지만 C3t가 같은 최고 점수 샘플을 골라 비열등성 검정이 무의미했고, 분리 불가능한 3개 셀은 T3를 만족하지 못했다. 중간 셀 J1/stack/V1에서 .995 임계값은 진단 성공의 약 1/3만 유지하며 최종 성공률을 91.4%에서 72.8%로 낮췄고 grasp veto는 71.0%로 낮췄다. 정적 가중 모델도 충분하지 않아 반복 가중의 평균 궤적 오차는 5.1pp로, 라운드 0 온폴리시 수용 3.9pp와 변화 없음 7.8pp 사이였고 M1/tray/V2에서는 최종 대상 실패를 0.3%로 예측했지만 실제는 16.0%였다.

개발자 관점에서 이 논문은 VLM 성공 판정기를 보상이나 데이터 선택, 운영자 경보에 쓰는 로봇 학습 루프에서 전체 실패율만 보면 안 된다는 경고다. 정책이 개선될수록 남은 실패가 림 아래처럼 시점상 증거가 약한 영역으로 이동할 수 있으므로, 절대 미탐지 수와 조건부 미탐지율, 감사가 실제로 어떤 상태를 덮는지를 함께 보고해야 한다. 저자들이 밝힌 한계는 분명하다. 두 개의 시뮬레이션 과제와 스크립트 조작, 저차원 정책 분포만 사용했고, 핵심 진실 필터 효과는 이전 관찰 뒤 수정된 프로토콜을 쓴 한 판정기-과제-시점 설정에서 확립됐다. 재적합, 분포족 불일치, 공유 파라미터, 클리핑, 유한 샘플이 얽혀 있어 메커니즘을 완전히 분리하지 못했고, 신경망 정책으로의 전이는 1시드 확산 파일럿으로 검증되지 않았다. 다중 시드 루프는 J1/M1만 완료됐고, 폐쇄형 판정기는 정적 증거만 있으며 입력 커버리지와 제공자/버전 제약이 있다. C2*는 셀당 5개 짝 시드와 조정되지 않은 구간을 쓰고, 시뮬레이터 진실과 자유 렌더링 시점은 배포보다 단순하다. 독립적 전향 예측, 신경망 정책 확인, 실제 이미지 경계 테스트, 동일 라벨 예산 감사는 이 논문에서 완료된 공식 증거가 없다.