ENCORE는 소수 시연을 읽을 거리로 바꿔 로봇 조작 전략을 코드로 찾아낸다

무엇인가

로봇 과제는 보통 한 문장으로 주어진다. 그 문장에는 어디를 어떻게 잡을지, 어떤 순서로 접촉할지, 끝나면 무엇이 되어 있어야 하는지가 빠져 있다. 논문은 이 빈칸을 에이전트가 시행착오로 메꿔야 하는 상황을 문제로 잡는다. 같은 시연 다섯 개로 정책을 학습하는 기존 방식은 시연이 상태 공간의 아주 작은 부분만 덮기 때문에, 시연 경로를 벗어나는 순간 실패한다. 반면 사람 엔지니어는 시연을 보고 프로그램을 쓰고, 돌려보고, 고친다. 저자들은 코딩 에이전트가 잘하는 일이 바로 이 쓰기·실행·수리 루프라고 본다. 기존 접근이 시연을 텍스트 요약이나 압축 토큰열로 미리 정해진 방식으로 뭉개거나, 반대로 전체 에피소드를 컨텍스트에 밀어 넣어 에이전트를 잡다한 세부로 압도한다는 점도 지적한다. 실제로 가장 강한 선행 에이전트 파이프라인(ASPIRE)에 같은 시연을 날것의 궤적 파일로 줬을 때 측정 가능한 이득이 없었다고 밝힌다.

어떻게 동작하나

ENCORE의 첫 구성 요소는 결정론적 증류기다. 시연 D={(I_t, s_t, a_t)}를 하나의 팩 P(D)=(ℓ, K, E, τ, A)로 바꾼다. ℓ은 의도 문장, K는 키프레임 집합으로 선택된 시점의 모든 카메라 뷰와 전체 상태를 담는다. 키프레임 인덱스는 시연자 자신이 남긴 그리퍼 부호 전이(sign g_t ≠ sign g_{t-1})와 평활화한 엔드이펙터 속도의 가장 급격한 방향 전환을 합쳐 고른다. 그래서 다단계 과제는 영상 이해 없이도 미리 분절된 형태로 도착한다. E는 그리퍼 이벤트 표로 각 열림·닫힘의 시각, 팔, 폭 신호를 기록하며, 라벨은 폭 신호만 설명하고 어느 열림이 놓기인지는 에이전트가 판단한다. 하드웨어에서는 각 이벤트에 약 1.5초 구간을 타일로 붙인 프레임 스트립이 따라붙는다. τ는 스트라이드 5의 상태 경로(단위 명시), A는 전체 액션 스트림이다. 화이트리스트 검증기가 시뮬레이터 상태, 물체 포즈, 파일 경로 등 나머지 필드를 모두 제거해 팩이 벤치마크 파일로 에이전트를 유도하지 못하게 한다.

무엇과 다른가

두 번째는 인식·행동 API다. 시뮬레이션과 하드웨어에서 동일하게 감지와 이동만 제공하고, 어떤 물체를 잡을지·어떻게 잡을지·어디로 갈지·도착을 어떻게 알지는 전부 팩이나 개발 중 측정에서 나와야 한다. 인식·이동 호출은 에피소드당 예산이 있어 무제한 질의로 성공을 살 수 없다. 세 번째는 개발 루프다. 과제마다 새 에이전트가 배정되어 스스로 작성한 분석 코드로 팩을 탐색하고, 프로그램을 구현하고, 별도의 초기 상태 대역에서 소수의 개발 롤아웃으로 반복 수정한다. 성공 판정 신호는 런타임에 주어지지 않고, 에피소드 종료 플래그를 읽는 프로그램은 평가가 정적으로 거부한다. 그래서 프로그램은 고유수용감각과 RGB-D로 자기 나름의 파지·배치 검사를 직접 구현한다. 개발이 끝나면 버전 하나를 골라 동결하고, 동결된 정책은 모델 호출을 하지 않으므로 수천 개의 봉인 에피소드에 에이전트 없이 돌릴 수 있다.

어떻게 쓰나

LIBERO-PRO 실험은 spatial·object·goal 스위트 30개 과제를 세 축으로 돌려 90개 셀, 셀당 50개 봉인 에피소드로 구성된다. 교란 없는 30개 셀에서 98.6%를 기록했다. 배치가 바뀌는 Pos 축에서는 시연 3개를 받은 첫 프로그램이 30개 셀 중 11개에서 개발 상태 일부를 성공시켰고 개발 에피소드 평균 29%를 성공시켰지만, 시연 없이 쓴 첫 프로그램은 어디서도 성공하지 못했다. 첫 성공의 중앙값은 버전 2 대 4였고 21개 셀에서 더 빨랐으며 5개 셀에서 더 느렸다. 최종 성공률은 1500개 봉인 에피소드 중 1454 대 1437로 거의 붙는다. 문장과 보상 종료 상태가 다시 쓰이는 Task 축에서는 차이가 커진다. 첫 프로그램이 30개 셀 중 18개에서 성공(개발 에피소드 평균 53%)한 반면 시연 없는 쪽은 1개 셀, 2%였고, 첫 성공 중앙값은 버전 1 대 5였다. 셀별 짝 비교에서 시연 3개가 10승 2패 18무, 봉인 에피소드는 1435 대 1409였다.

전제와 한계

개별 셀 사례가 이 논문의 주장을 가장 선명하게 보여준다. open_middle_drawer-Task는 문장이 아래 서랍을 요구하는데 시연은 가운데 서랍을 연다. 시연이 있으면 50/50, 없으면 0/50이다. 시연 없는 에이전트는 33개 버전 동안 기울인 집기, 아래에서 걸어 올리기, 닫은 턱을 막대 위에 눌러 바깥으로 끌기 등을 시도했지만 아래 손잡이를 걸지 못하고, 이 API로는 불가능하다고 결론 내린 프로그램을 동결했다. 시연에는 빠진 조각이 있었다. 당기는 내내 시연자의 액션이 바깥 방향뿐 아니라 아래 방향으로도 향했고 손목이 수평 아래 15~36도 기울어 있었다. 시연 3개 프로그램은 그 끌기를 재현해 아래 서랍을 연다. 반대 사례도 있다. put_bowl_top_cabinet-Task에서 시연 3개 에이전트는 접시를 충분히 오래 들지 못해 11개 버전 만에 0/50으로 동결했지만, 시연 없는 에이전트는 23개 버전을 더 탐색해 호를 그리며 들어 올리는 파지를 찾아 50/50을 냈다. 시연은 탐색을 줄여줄 뿐, 탐색이 옳은 곳에서 끝난다는 보장은 아니다.

선행 시스템과의 비교에서 교란 60개 셀 기준 시연 3개 프로그램은 3000개 봉인 에피소드 중 2889개(96.3%), 시연 없음은 2846개(94.9%)로, 같은 모델로 ASPIRE를 다시 돌린 89.3%와 논문에 발표된 71.7%를 앞선다. 시연 1개는 2791개(93.0%)였다. 저자들은 브리프에서 공유 노트 파일을 제거하기 전 수행한 초기 측정에서 시연 3개의 252 에피소드 우위가 나왔지만, 정리된 프로토콜이 그 수치는 재현해도 격차는 재현하지 못해 효과로 보고하지 않는다고 명시한다. 시연을 유지한 채 검증 루프를 제거하면 goal 스위트가 450개 중 440개에서 117개로 떨어진다. 양팔 Isaac Sim 벤치마크 RoboDojo 22개 과제에서는 시연 없이는 어떤 프로그램도 성공하지 못했다. 처음 10개 과제에서 시연 3개는 450개 중 95개를 성공시켰고 그 95개는 4개 과제에서 나왔는데, 시연 없는 에이전트는 조작 자체는 풀고도 무엇을 만들어야 하는지 알 수 없었다고 기록했다. 포즈·그리퍼 값·액션을 모두 제거하고 키프레임 이미지만 준 팔은 쌓기·교환·튜브 삽입·T 밀기에서 전체 팩보다 크게 낮았고, 쌓기와 교환에서는 아무 팩도 안 준 경우보다 낮았다. 시각적으로 목표가 드러나는 버튼 누르기에서만 이미지가 효과를 온전히 전달했고, 틱택토에서는 전체 팩 에이전트가 시연의 턴 사이 멈춤을 따라 하다 스텝이 부족해 오히려 이미지 팔이 더 잘했다. 실제 양팔 로봇(Trossen WidowX AI, 6-DoF 팔 2개, RealSense D405 4대, 상단 카메라를 테이블 평면에 1.1mm까지 캘리브레이션)에서는 시연 5개씩으로 큐브 핸드오버와 컵 뒤집기를 학습해 봉인 10회 인간 판정에서 각각 9/10을 기록했다.

개발자 관점에서 이 논문이 주는 실무적 신호는 명확하다. 시연을 정책 가중치로 바꾸는 대신, 에이전트가 질의할 수 있는 구조화된 증거로 바꾸고, 그 위에 사람이 읽고 감사하고 수정할 수 있는 프로그램을 산출한다는 점이다. 배포 시점에 모델 호출이 없다는 것도 운영 비용과 재현성 측면에서 중요하다. 다만 도입 전에 확인할 것은 API가 감지와 이동만 제공하고 과제 특화 정보를 전부 팩이나 개발 중 측정에서 얻어야 한다는 전제, 그리고 인식·이동 호출에 에피소드당 예산이 걸린다는 제약이다. 저자들이 밝힌 한계도 분명하다. 충전기 꽂기, 열쇠 넣기, 나사 조이기, 토스트 만들기, 노트북 보관, 머그 걸기 같은 접촉 정밀 과제 여섯 개는 모든 조건에서 0점이었고, 이는 현재 프로그램 방식의 한계로 명시된다. 이미지만 주면 접촉이 섬세한 과제에서 오히려 성능이 떨어지며, 시연은 탐색을 단축할 뿐 성공을 보장하지 않는다.