LVLM 에이전트의 판단을 TAMP 제약 검증으로 묶어 이동 조작을 푼다

무엇인가

이 논문이 푸는 문제는 집 안에서 로봇이 처음 보는 환경을 상대로 장기 이동 조작을 해내는 일이다. 사과가 다른 방에 있거나, 장바구니 뒤에 가려져 있거나, 닫힌 냉장고 안에 있을 수 있는 상황에서 로봇은 무엇을 먼저 확인할지와 어떻게 움직일지를 동시에 정해야 한다. 최근 LVLM 에이전트는 지각·파지·이동 도구를 프로그램처럼 호출해 이런 과제를 풀어 왔지만, 각 행동이 만족해야 할 기하·확률적 제약을 명시적으로 표현하지 않기 때문에 새로운 과제에 제로샷으로 배치하면 자주 실패한다. 반대로 TAMP는 파라미터화된 행동의 사전조건과 제약을 명시적으로 다뤄 실행 전에 계획을 검증할 수 있지만, 손으로 작성한 문제 정의와 완전 관측 장면을 전제로 하고 계산 비용이 크다. 기존 VLM-TAMP 계열은 문제 정의만 에이전트에게 맡기고 탐색은 고전 솔버가 주도해, 에이전트가 사실상 한 번 질의되고 마는 경직된 파이프라인에 머문다.

어떻게 동작하나

제안 방법의 핵심은 LVLM 에이전트를 belief-space 정책 π(a_t | b_t)로 세우는 것이다. 에이전트는 매 스텝 현재 이력과 기억으로부터 문제 P_t를 새로 쓴다. 여기에는 관측한 객체, 그 객체의 범주(옮길 수 있는지, 받침이 될 수 있는지), 사용자 지시에서 파싱한 목표, 그리고 각 상태 변수에 대한 belief가 담긴다. belief는 혼합형이다. 아무 정보가 없으면 균등 사전분포, 추측 단계에서는 "아마 갈색 테이블 위에 있을 것" 같은 자연어 가설, 도구가 인증하면 마스크·RGB-D 추정·파지·로봇 구성·궤적 같은 연속값이 된다. 에이전트는 언어 belief 위에서는 확률 적분 없이 제약과 비용을 암묵적으로 판단하고, 실제 모터 실행에 쓰이는 값은 반드시 도구가 인증한 연속값이어야 한다.

무엇과 다른가

행동 도메인은 detect, pick, place 세 가지다. 각 행동은 대상 객체와, 결과물이 갖춰야 할 성질을 적은 자연어 설명 ℓ을 인자로 받고, 값의 종류에 따라 엄격한 타입을 요구한다. detect는 객체를 볼 수 있는 시점으로 이동해 belief를 Unif나 Lang에서 Mask나 RGBD로 정교화하고, pick은 RGBD belief를 입력으로 Grasp·Kin·Motion 제약을, place는 파지 상태에서 Stable·Kin·Motion 제약을 요구한다. 타입 규칙이 행동 순서를 강제한다. pick은 RGBD belief를 전제하므로 반드시 detect 뒤에 와야 한다. 제약은 모두 도구가 인증한다. Mask는 SAM 3, RGBD는 SAM 3와 Fast-FoundationStereo, Grasp는 GraspGenX, Kin은 cuRobo 역기구학, Motion은 cuRobo 운동 계획기와 베이스 계획기, Stable은 배치 샘플러와 cuRobo가 맡는다.

어떻게 쓰나

계획 루프는 세 단계다. 먼저 에이전트가 관측하고 가설을 세워 P_t를 쓰면, 플래너가 그 안의 객체와 범주 위로 행동들을 그라운딩하고 에이전트가 후보 계획 중 하나를 고른다. 다음으로 플래너가 그 계획 뼈대를 제약 충족 문제로 컴파일한다. 마지막으로 에이전트가 첫 행동의 인자를 바인딩할 도구 계산 그래프를 샌드박스에서 파이썬으로 작성해 실행하고, 모든 제약이 인증되면 플래너가 할당을 수락해 로봇이 그 행동을 수행한 뒤 새 관측으로 다시 계획한다. 첫 행동이 인증되지 않으면 다른 후보나 시점, 다른 계획, 새 가설 순으로 에스컬레이션하며 가려진 상자 같은 인식적 공백과 컵이 파지를 막는 kinematic 공백을 모두 해소한다. 이 구조 덕분에 에이전트는 형편없는 계획을 추구할 수는 있어도 실행 불가능한 행동을 하지는 못한다.

전제와 한계

실험은 MuJoCo에서 MolmoSpaces와 RoboCasa 자산으로 만든 주방에서 RBY1 이동 조작기와 G1 휴머노이드를 대상으로 했다. 베이스라인은 도구를 직접 호출하는 CaP와 도구 호출 그래프를 작성·검증하는 GaP이고, 동일한 도구와 문서를 제공했다. RBY1 주방 과제 전체에서 TAMPAgent는 절대 성공률 77.2%로 CaP 57.2%, GaP 61.1%를 앞섰다. 가림이 있는 T3·T7에서는 사과를 20회 중 14회와 13회 찾은 반면 두 베이스라인은 각각 9회와 10회였고, CaP의 순차 탐색은 시간 예산을 소진해 대부분 타임아웃으로 끝났다. 비파지 조작이 필요한 T4~T6, T8, T10에서는 75% 성공으로 CaP 50%, GaP 56%를 기록했고, 이 다섯 과제에서 객체를 떨어뜨리거나 장면을 파괴한 횟수는 CaP 20회, GaP 11회, TAMPAgent 9회, 타임아웃은 30·33·16회였다. 세 방 집 환경의 T11~T13에서는 세 방법 모두 T11·T12에서 5/5, T13에서 4/5로 동률이었다.

효율도 수치로 제시된다. 시뮬레이션 시간 1분당 미캐시 입력·출력 토큰은 TAMPAgent가 19.3k·1.75k로 CaP의 20.3k·1.91k, GaP의 27.4k·2.73k보다 적다. 저자들은 P_t가 에이전트가 읽을 수 있는 압축된 상태이고, 컴파일된 제약이 어떤 도구를 불러야 하는지 알려주기 때문에 토큰이 절약된다고 설명한다. 냉장고 안 컵 뒤에 사과가 있는 T9에서 전략 문서를 모두 제거하고 반복 시도로 학습시키는 실험에서는 TAMPAgent와 GaP가 3번째 시도에, CaP가 4번째에 성공했고, TAMPAgent는 GaP와 CaP보다 미캐시 입력 토큰을 42%·31%, 출력 토큰을 9%·12% 덜 썼다. 실제 RBY1에서는 단순 집기·놓기, 시야 밖 수납체 탐색, 가려진 객체 찾기 세 과제를 시연했고 회당 토큰 사용량은 376k/39k에서 438k/58k, 973k/127k로 늘었다. 실제 G1에서는 캔 파지를 막는 장난감 개를 치우는 과제를 수행했다.

개발자 관점에서 이 논문의 쓸모는 "에이전트를 어디에 두고 검증기를 어디에 두는가"에 대한 설계 패턴에 있다. 자유 형식 코드 생성 에이전트는 도구 호출의 기하적 타당성을 스스로 확인하지 못하므로, 실행 직전에 제약 충족 문제로 컴파일해 도구 인증값만 통과시키는 계층을 두는 것이 성능과 토큰 양쪽에서 이득이라는 주장이다. 로봇이나 시뮬레이터 파이프라인을 만든다면 도구마다 어떤 제약을 인증하는지 계약으로 정의하고, 첫 행동의 인자만 먼저 바인딩해 실행한 뒤 재계획하는 루프를 참고할 만하다. 다만 도구 자체의 정확도와 지각 품질이 성능 상한을 결정한다는 점, 도메인 행동 집합이 고정되어 있다는 점은 그대로 전제 조건이다.

저자가 밝힌 한계는 분명하다. 보증의 강도는 도구와 로봇 지각의 정확도에 종속된다. 에이전트가 제약과 비용을 보정된 확률 없이 판단하기 때문에, 실제로 행동하면 성공할 상황에서도 계속 탐색하는 경우가 생기고 이것이 타임아웃의 대부분을 차지한다. 행동 도메인이 고정되어 있어 에이전트가 스스로 새로운 행동을 추가할 수 없고, 인증은 기하적 실행 가능성만 보장할 뿐 과제 해석의 정확성까지 보장하지는 않는다.