ZAP은 시뮬레이션 학습만으로 실제 로봇 작업을 해낸다

무엇인가

로봇 정책은 장면에서 지시가 무엇을 원하는지 이해하는 의미 추론과 그 이해를 정밀한 움직임으로 옮기는 운동 제어를 동시에 해야 한다. 기존 VLA와 WAM은 로봇 행동 데이터로 두 능력을 함께 학습해 데이터 분포에 묶이기 쉽고, 코드 기반 정책은 예상 가능한 상황에서는 빠르지만 새 물체나 모호한 지시, 예기치 못한 실패에 약하다. 프런티어 모델을 도구로 쓰는 방식은 추론은 좋지만 로봇 움직임을 훈련받지 않아 느리고 비싸다. 논문은 이 둘을 분리해 사전학습된 비전언어모델이 무엇을 할지 판단하고 시뮬레이션이 어떻게 움직일지를 가르치는 ZAP을 제안한다.

어떻게 동작하나

ZAP은 27B Qwen 3.6을 출발점으로 삼아 두 개의 6자유도 YAM 팔과 평행 조 그리퍼를 제어한다. 모델은 관절 각도나 궤적, 액션 청크 대신 절대 말단효과기 포즈와 그리퍼 개방값을 명령한다. 하네스는 시뮬레이션과 실제 하드웨어에서 동일하며, 모델은 먼저 계획을 쓰고 카메라 장면에서 찾을 물체를 지정한 뒤 인식과 이동 도구 호출을 반복한다. 인식에는 SAM 3.1이 쓰여 모델이 지정한 물체를 각 카메라 스트림에서 분할하고, 마스크와 보정된 깊이 카메라를 결합해 물체의 3D 중심, 높이, 주축을 얻는다. 도구는 move_to, set_gripper, change_query, update_todo, done의 다섯 가지이며 파지 매크로나 모션 프리미티브는 없다. 모든 접근과 파지, 들어올리기, 놓기는 모델이 두 이동 도구의 연속으로 직접 계획한다.

무엇과 다른가

훈련은 Isaac Sim에서 만든 40개 시뮬레이션 과제로 이뤄진다. 과제는 파지와 들어올리기, 단일 및 다중 물체 픽앤플레이스, 쌓기, 재정렬을 다루지만 목표는 의도적으로 단순하고 무거운 추론을 요구하지 않는다. 먼저 짧은 GRPO 워밍업으로 어려운 과제를 과표집해 성공 롤아웃을 채굴하고, 그래도 성공하지 못한 과제는 최대 과제당 약 1,000개 잎을 탐색하는 프리픽스 트리 탐색으로 성공 궤적을 찾아 SFT 데이터로 쓴다. 이후 40개 과제 전체에 GRPO를 적용하며, 과제 성공 여부만 주는 이진 보상 대신 장면의 최종 상태로 판정하는 조밀한 보상 사다리를 쓴다. 예를 들어 픽앤플레이스에서는 접근 최대 0.2, 파지 0.2, 들어올리기 최대 0.55, 운반 단계까지 합계 최대 0.9의 부분 점수를 주고, 성공 시 5.0에서 길이 패널티를 뺀다. 성공 판정은 목표 상태가 최소 0.5초 유지되는지 확인하도록 강화됐고, 도구 호출이 없거나 검증을 통과하지 못한 이동에는 해당 턴에 음의 어드밴티지를 준다.

어떻게 쓰나

시뮬레이션 양팔 평가인 RoboLab-120에서 기본 모델은 8.3%였고 SFT 후 58.3%, GRPO 후 74.0%로 올라 GPT-6 Astra와 Opus 5.5를 웃돌았다. 실제 로봇에서는 RoboLab-120 과제 목록에서 고른 10개 과제를 과제당 3회씩 평가했는데, ZAP은 96.7%로 같은 하네스의 GPT-6 Astra와 맞먹었다. MolmoAct2 VLA는 33.3%, 운동 훈련이 없는 기본 Qwen 모델은 16.7%였고, 같은 GPT-6 Astra도 Robocurve 하네스에서는 36.7%에 그쳤다. ZAP은 과제당 평균 146초로 GPT-6 Astra의 397초보다 약 3배 빠르고, 턴당 응답은 6.2초 대 19초였으며, 과제당 비용은 0.29달러 대 4.87달러로 약 17배 쌌다. 양팔 YAM만으로 학습한 같은 체크포인트를 재훈련 없이 단일 팔 Franka에 옮겼을 때 RoboLab-120에서 55.9%를 기록해 Lakeside의 51%, FLUX 3 Action의 42.9%를 앞섰다. SFT 데이터 품질 실험에서는 초기 455개 성공 궤적을 쓴 경우 17.2%, 더 오래 GRPO를 돌리며 어려운 과제 중심으로 3.9k 궤적을 채굴한 경우 58.3%로 일반화가 크게 개선됐다.

전제와 한계

논문은 훈련에 없던 실제 과제로 일반화도 보여준다. 시험관을 랙에 수직으로 내려놓기, 같은 장면에서 랙의 다른 구멍을 지정하면 그쪽으로 옮기기, 두 팔 사이에서 공중 핸드오프 후 랙에 넣기, 틱택토 보드 중앙에 X 그리기, 체스에서 한 수 메이트 상황을 관찰해 말을 집어 목표 칸에 놓기를 수행했다. 이 목표와 물체, 장면, 전략은 훈련 데이터에 없다. 반면 MolmoAct2는 루빅스 큐브를 그릇에 넣으라는 요청에는 3/3 성공했지만 그릇 뒤에 넣으라는 요청에는 0/3이었고, 바나나를 정확히 3개만 넣으라는 과제에서는 계속 너무 많이 넣었다. 논문은 이를 VLA가 뒤나 정확히 세 개 같은 의미를 로봇 행동 데이터에서만 배워야 하는 반면, ZAP은 사전학습된 언어 이해를 행동에 활용한다는 근거로 제시한다.

개발자 관점에서 이 논문의 핵심은 거대 VLM을 로봇의 두뇌로 쓰고, 좁은 도구 인터페이스와 시뮬레이션 RL로 운동 제어를 붙이는 패턴이다. 하네스 설계가 성능을 크게 좌우한다는 점도 확인된다. 같은 GPT-6 Astra가 논문의 하네스에서는 96.7%, 다른 하네스에서는 36.7%였다. 말단효과기 포즈를 명령하는 추상화 덕분에 양팔 YAM에서 배운 운동 기술이 재훈련 없이 단일 팔 Franka로 옮겨졌지만 Franka 성능은 55.9%로 완전하지 않다. 실무에서는 시뮬레이터 충실도, 보정된 카메라와 깊이 센서, SAM 기반 인식 지연, 과제별 보상 설계, 검증 규칙, 27B 모델의 146초와 0.29달러 수준의 추론 비용을 함께 확인해야 한다.

저자들이 명시한 전제와 한계도 분명하다. 훈련에는 실제 로봇 데이터가 전혀 없고, 40개 시뮬레이션 과제는 일상적 조작 기술을 다루도록 단순하게 설계되어 무거운 추론을 요구하지 않는다. 조밀한 보상의 세부 수치는 소거 실험으로 검증되지 않고 과제 유형별로 전체적으로 선택됐으며, 성공 판정은 보상 해킹을 막기 위해 목표 상태의 0.5초 유지를 요구하도록 강화됐다. 실제 로봇 평가는 10개 과제에 과제당 3회로 제한됐고, 새 로봇 embodiment로의 전이는 하네스가 관절 제어를 대신 처리한다는 전제 위에서 이뤄진다. 논문은 운동 기술이 전적으로 시뮬레이션에서 오기 때문에 확장에는 로봇 시연보다 더 많은 시뮬레이션 과제가 필요하다고 말한다.