GPT-6-Astra는 정책 호출로 성공률을 높였지만 정밀 접촉은 못 푼다

무엇인가

이 보고서는 전방위 MLLM이 로봇 전용 학습 없이 조작을 수행할 때 어디까지 직접 제어로 가능하고 어디서 후처리 VLA·WAM 정책과 결합해야 하는지를 EBench에서 진단한다. 기존 연구는 직접 제어나 정책 호출 하네스를 각각 평가했지만, 같은 관측 프로토콜에서 두 구성을 VLA·WAM과 과제군·일반화 축별로 비교하지 않았다는 문제를 제기한다. 특히 직접 제어의 강점과 약점, 정책 호출이 보완하는 부분, 새로 생기는 실패 모드를 묻는다.

어떻게 동작하나

에이전트는 MLLM 코어와 프롬프트, 관측 인터페이스, 도구 집합으로 구성된 하네스로 정의된다. 직접 제어에서는 EEF·베이스·그리퍼 명령만 노출되고, 하네스 위드 폴리시에서는 같은 명령에 더해 고정된 VLA π0.5 또는 WAM InternW0-Δ를 1~300 물리 스텝 범위에서 호출할 수 있으며 필요하면 주석된 시연을 다시 조회할 수 있다. 두 구성 모두 3개 RGB 카메라(overlook, 양쪽 손목)와 EEF 자세·그리퍼 폭·베이스 자세·경과 스텝만 받고 깊이·캘리브레이션·객체 자세·보상·서브골·남은 스텝은 받지 않는다. 과제당 하나의 학습 시연에서 별도 GPT-6-Astra가 10~18개 키프레임과 작업 순서, 로봇 상태·행동을 주석한 단일 샷 ICL을 제공하며, 에피소드마다 독립 세션을 열고 상태·경험을 유지하지 않는다.

무엇과 다른가

EBench는 ARX Lift2 양팔 이동 로봇과 Isaac Sim 기반의 26개 과제, 9개 장면 범주, 510개 테스트 에피소드(468개 장면)로 구성된다. 24개 과제는 20개, Sandwich와 Microwave는 15개 에피소드이며, 배경·물체·지시문·혼합의 네 일반화 축을 포함한다. 성공률(SR)과 단계 완료 점수를 과제별 평균 후 26개 과제에 동일 가중해 평가하고, 에피소드는 30Hz에서 1,500~5,000 물리 스텝 제한을 두되 에이전트에는 공개하지 않는다. 비교 대상은 6,600개 EBench 시연으로 후처리된 8개 정책(OpenWAM-α, InternW0-Δ, Qwen-RobotManip, π0.5, InternVLA-A1.5, π0, GigaBrain-0.7, Fast-WAM)이다.

어떻게 쓰나

직접 제어에서 GPT-6-Astra 에이전트는 46.7% SR, 0.654 점수로 8개 정책 중 3위다. OpenWAM-α(55.3%, 0.701)와 InternW0-Δ(49.2%, 0.660)에는 뒤지지만 Qwen-RobotManip(45.6%, 0.608)과 π0.5(41.4%, 0.544)는 앞선다. 단기 과제에서는 73.2% SR, 0.766 점수로 OpenWAM-α(65.9%, 0.700)를 포함해 1위이고, 이동 과제 56.6%로 2위, 저정밀 과제 2위다. 반면 장기 과제 27.3%(OpenWAM-α 47.6%), 탁상 과제 20.0%(Qwen-RobotManip 50.0%), 고정밀 접촉 과제 11.3%로 떨어진다. 네 일반화 축에서 성공률 변동이 가장 작고, 비교한 두 정책이 실패한 새로운 복합 지시를 제로샷으로 완수했다고 보고한다. 실패는 시각적 그라운딩과 에피소드 내 오류 복구는 잘하지만, 관측 사이의 긴 액션 청크와 RGB에서 명시적으로 추론해야 하는 접촉 기하 때문에 물리 실행이 제한되는 양상이다. 또한 의도한 그립 테스트 밖에서도 물체를 떨어뜨리고 급격한 손목 회전이 하드웨어 손상 위험을 만든다고 지적한다.

전제와 한계

정책 호출 하네스는 전체 SR을 π0.5와 53.0%, InternW0-Δ와 56.0%로 끌어올린다. InternW0-Δ 구성은 표 1의 비교 대상 정책보다 높은 SR·점수를 기록한다. 성공당 토큰은 직접 제어의 8.1M에서 π0.5 3.5M(57% 감소), InternW0-Δ 4.0M(51% 감소)로 줄고, 에피소드당 토큰도 3.77M에서 1.83M(52% 감소), 2.22M(41% 감소)로 줄며 도구 호출은 42.6회에서 23.7·22.7회로 감소한다. 장기 과제 성공당 비용은 6.2M·7.5M로 직접 제어의 5분의 2 미만이지만, 단기 과제에서는 4분의 1~3분의 1만 감소한다. 실패 에피소드는 성공 에피소드보다 2.6~2.4배 토큰을 더 쓴다. 정책은 에피소드당 π0.5 45회, InternW0-Δ 135회 추론을 추가한다. 공개 단가 기준 성공당 비용은 직접 제어 16.82달러에서 4.99·5.49달러로 낮아진다.

그러나 하네스는 구성 요소의 과제별 상한을 넘지 못한다. 고정밀 접촉 과제에서 에이전트 단독과 정책 단독 중 사후 선택해도 21.3% SR에 그치고, 세 구성 요소 중 최선을 골라도 30.0%로 OpenWAM-α의 32.5%보다 낮다. 더 나은 구성 요소를 과제별로 고르면 π0.5 56.2%, InternW0-Δ 60.8%에 이르지만 실제 하네스는 각각 53.0%, 56.0%로 3.1·4.8포인트 뒤진다. 고정밀 과제에서는 격차가 13.8·8.8포인트다. 원인은 세 가지로 정리된다. 에이전트가 정책의 과제 역량이 아니라 과제 지평에 따라 물리 스텝을 배분하고, 정책 세그먼트가 에이전트의 서브골이나 완료 단계가 아닌 고정 과제 지시와 관측에 조건화되며, 정책 호출 후 제어를 되찾을 때 잡고 있던 물체를 반환된 손가락 폭으로 유지하지 않아 그립이 깨진다. 두 정책 구성의 공통 실패는 510개 중 164개로, 과제 내 독립 실패를 가정한 168개에 가깝고 고정밀 80개 중 65개가 둘 다 실패해 과제 난이도가 지배적이다. 물체 손실은 π0.5 109개, InternW0-Δ 105개 공통 실패의 결정적 사건이고, π0.5는 에이전트 자체 리프트·운반 중 58개, 정책 세그먼트 내 37개, InternW0-Δ는 정책 내 53개, 에이전트 자체 42개로 위치가 바뀐다. 삽입·나사산·안착 단계 정체가 19·24개, 빈손·오물체 정책 실행이 16·15개, 결정적 손실 없이 스텝 한도에 도달한 사례가 19·20개이며 Bottle에서는 14개가 스텝 한도에 걸려 12개 중 9개 이상을 놓지 못한다.

개발자 관점에서 이 보고서는 MLLM을 로봇 제어 루프에 넣을 때 직접 웨이포인트 제어만으로는 장기·탁상·고정밀 접촉에서 병목이 생기고, 후처리 정책을 도구로 호출하면 장기 과제 성공률과 성공당 비용을 개선할 수 있음을 수치로 보여준다. 다만 정책 호출을 단순 스텝 한도 위임으로 두면 정책 역량과 무관한 배분, 서브골 미전달, 제어 복귀 시 그립 유지 실패가 생기므로 하위과제 인터페이스, 구조화 피드백, 그립 유지, 안전 제약을 먼저 설계해야 한다. 저자들은 서브골을 전달하고 진입·종료 조건과 구조화 피드백을 반환하는 하위과제 인터페이스, 정책을 하네스의 학습 가능한 도구로 훈련하는 일, 검증된 실패-수정 경험을 메모리·도구로 축적하는 일, 깊이·검출·분할과 작업공간·도달성·속도 제한 및 충돌 중단 안전 계층을 결합하는 일을 후속 방향으로 제시한다. 한계로는 GPT-6-Astra 한 모델, 하나의 시뮬레이션 벤치마크, 동기 실행, 두 정책만 평가했다는 점을 밝히고 비동기 실행·다른 MLLM·실물 로봇·자기개선 평가를 확장 과제로 남긴다.