모방 가능한 교사 데이터가 정밀 로봇 조작 성능을 끌어올린다

무엇인가

이 논문은 CoRL 2026 RoboFineMani 워크숍의 MetaFine Open Competition을 다룬다. 이 대회는 단순 성공 여부를 넘어 정밀 조작을 평가하며, 병의 지정된 부위를 잡는 일부터 4mm 간극의 글자 모양 페그를 삽입하는 일까지 다섯 가지 시뮬레이션 과제를 사용한다. 점수는 조명과 카메라 변화 아래의 지각, 지시 이해, 행동을 함께 반영한다. 조직위의 π0 베이스라인은 과제별 200~400개의 플래너 시연으로 미세조정해 0.430을 기록했고, Team Friday는 16개 팀 중 2위로 0.947을 얻었다. 저자들은 2025 BEHAVIOR 챌린지 우승 VLA도 서투른 조작을 주된 실패로 보고했다는 점을 들어, 정밀도 문제가 여전히 크다고 본다.

어떻게 동작하나

해법의 중심은 큰 VLA를 미세조정하는 대신 과제별 19M 파라미터 정책 하나를 학습하는 것이다. 지시문 읽기와 행동을 분리해, all-MiniLM-L6-v2 문장 인코더와 과제별 선형 헤드로 구성된 지시 분류기가 문장을 변형 인덱스로 바꾸고 제어 네트워크에는 언어를 직접 넣지 않는다. 각 과제의 ACT 정책은 CVAE 없이 ImageNet 초기화 ResNet-18과 변형 조건을 위한 FiLM으로 손 카메라 이미지를 7×7 토큰으로 만들고, 4+4층, d=256 트랜스포머가 관절 위치와 변형 토큰을 받아 32개 행동(7개 관절 델타와 그리퍼)을 출력하며 8개씩 실행한다. 분류기는 부정 표현, 방해물, 속성 결합, 오타를 포함한 과제별 문법의 패러프레이즈로 미세조정되어 공식 지시 14개와 보류 패러프레이즈 226개를 모두 맞혔다. 학습 시 객체 상태 회귀 헤드와 지시 대상 위치를 예측해 디코더에 넣는 목표 헤드도 두는데, 목표 헤드가 없을 때 T3 정책은 변형을 무시해 깨끗한 40개 에피소드 중 30개만 풀었고, 같은 데이터에서 목표 헤드가 있으면 80개 중 78개를 풀었다.

무엇과 다른가

모든 학습 데이터는 시뮬레이터의 특권 스크립트 교사가 생성한다. 교사는 시뮬레이터 상태로 지각을 대신하고, 대상이 손 카메라 시야에 남도록 자세와 근접 관찰을 유지한다. 일반 시연은 주변광을 무작위화하고, 실행 행동에 DART 노이즈를 주입하되 깨끗한 레이블을 기록하며, 성공 후에도 잠시 계속해 학생이 정지 상태를 배우게 하고, 모든 변형의 모든 시드을 커버한다. 교사는 정렬이 어긋난 하강 같은 오류를 연출하고 해당 프레임은 손실에서 마스킹한 뒤 레이블된 복구를 보여줄 수 있다. 이어하기는 HG-DAgger 방식으로, 학습된 학생이 멈추거나 허공을 향해 닫히거나 보드에 가까워지는 등의 트리거가 걸리면 교사가 이어받아 교사의 스텝만 기록한다. 성공한 에피소드만 남기고 학습 시드와 평가 시드를 분리한다.

어떻게 쓰나

저자들의 핵심 주장은 교사가 거의 항상 성공해도 모방 가능한 교사가 아닐 수 있다는 것이다. 모방 가능성을 두 조건으로 정의한다. 첫째, 교사의 행동이 관측의 안정적인 함수여야 해서 학생이 구분할 수 없는 상태에는 같은 행동이 나와야 한다. 둘째, 교사의 여유가 학생의 오류보다 커야 해서 학생이 도달한 상태에서도 교사의 행동이 여전히 성공해야 한다. 이들은 학생 실패를 추적해 위반된 조건을 찾고, 런타임이 아니라 교사 자체를 고쳤다.

전제와 한계

첫 번째 실패 유형은 교사의 멈춤이 학생의 정지로 굳는 경우다. 교사의 정착 대기는 13~25스텝으로 학생의 8스텝 지평보다 길었고, 학생은 정지 레이블이 붙은 프레임을 보고 다시 정지를 예측해 벗어나지 못했다. 한 T5 네트워크는 240개 중 0개를 풀었고, 전형적으로 삽입된 페그를 시간 제한까지 붙잡고 있었다. 교사가 페그를 10~15스텝 동안 고정한 뒤 여는 습관 때문이었다. 대기를 3스텝으로 제한하고, 페그가 제자리에 오면 바로 놓고, 손가락을 움직이면서 닫게 하자 정지가 사라졌다. 이 정지 문제는 T3 실패의 약 3분의 1과 T1 400개 중 10개도 설명했다. 두 번째는 고정 습관이 지름길로 학습되는 경우다. T3 교사는 항상 접촉점 4cm 위에서 밀기를 시작했고, 교사 상태에서는 4cm 스트로크와 스위치 밀기가 구분되지 않아 학생이 스트로크를 배웠다. 그 결과 10mm 호버 오류가 11mm 밀기 오류가 되어 공식 접촉 게이트를 놓쳤고, 교사 자신은 4mm 여유로 겨우 통과하고 있었다. 밀기 전 거리를 2.5~7cm로 무작위화하고 최대 4mm의 측면 지터를 주자 학생이 이미지에서 밀기 높이를 읽게 되었다. 대기 제한과 함께 T3는 짝지은 로컬 500개에서 439개에서 497개로 올랐고(맥니마 검정 p<10^-4), 공식 점수는 0.919에서 1.000으로 올랐다. 다만 새 데이터셋은 두 배로 커졌다.

세 번째는 학생이 만드는 오류를 교사가 보여주지 않는 경우다. T5 교사는 계획한 위치에서 정확히 잡았고 페그를 중심에서 벗어나 잡은 모습을 보여주지 않았는데, 학생의 파지는 스트로크를 따라 몇 mm 어긋나 4mm 간극의 슬롯에서 6~13mm 벗어난 채 눌렀다. 수정된 교사는 파지를 최대 6mm 지터하고 실제 손 안 자세에서 페그를 앉히며, 정렬이 어긋난 하강과 복구를 연출하고, 이어하기로 학생이 실제로 만드는 오류를 추가한다. 이 보정은 일반 시연과 일치해야 한다. 처음 이어하기는 파지 위 2cm에서 시작했지만 일반 시연은 곧바로 하강했고, t5_f는 파지 위 1.5~2cm에서 호버해 새 시드의 83개 실패 중 48개를 냈다. 현재 높이에서 재개하고 이어하기 라운드를 한 번 더 돌자 새 480개 에피소드에서 한 번도 잡지 못한 실패가 88개에서 11개로 줄었다. 네 번째는 급격한 전환이 오류를 키우는 경우다. 교사가 그리퍼를 한 번에 열자 학생이 한 스텝 일찍 조금 어긋나 놓아 충격으로 o가 12~15도 돌아갔고 10도 허용치를 넘었다. 8스텝에 걸쳐 열면 로컬 o 성공률은 0.81에서 0.92로 올랐지만 공식 점수는 오르지 않았다.

공식 결과에서 정밀도가 필요한 과제일수록 베이스라인과의 격차가 컸다. 컵을 움직이는 T2는 베이스라인이 이미 0.93이었지만, T4는 0.33에서 0.99로, 가장 어려운 T5는 0.04에서 0.88로 올랐다. T5의 경로를 보면 첫 네트워크는 1,541개 일반 시연으로 80개 로컬 에피소드 중 13개만 풀었다. 이후 버전은 교사가 보여주는 내용을 바꾸고 최신 학생의 이어하기를 추가했으며, 성능 향상은 데이터 양보다 이러한 변경을 따랐다. t5_f는 t5_c보다 6% 적은 에피소드로 학습하고도 34개 대신 61개를 풀었고, t5_c에서 t5_g로 공식 점수는 0.442에서 0.817로 거의 두 배가 되었는데 에피소드는 32% 늘고 네트워크는 같았다. 최종 T5는 0.88, T3는 공식 0.92에서 1.00으로 올라 전체 0.947이 되었다. 다만 로컬과 공식 수치는 달랐다. 공식 점수는 보통 로컬 추정보다 0.03~0.08 낮았고, 변형별 20개 고정 시드에서는 T1 한 에피소드가 전체 점수를 0.003 움직였다. 같은 T1 가중치도 T1 렌더링이 비트 단위로 재현되지 않아 0.894와 0.888을 기록했다. 짝지은 로컬 테스트에서 이긴 두 변경, 즉 T1 네트워크(불일치 45 대 19, p=0.002)와 T5 놓기 수정(69 대 47, p=0.05)은 공식 점수에서 각각 0.867 대 0.894, 0.869 대 0.875로 약간 낮아서 최종 제출은 이전 네트워크를 유지했다.

개발자 관점에서 이 논문은 정밀 조작 모방 학습에서 모델 크기나 데이터 개수만 보지 말고 시연의 모방 가능성을 감사하라는 실무 교훈을 준다. 대기 시간을 제한하고, 과제와 무관한 고정 습관을 무작위화하고, 학생이 실제로 만드는 오류와 일치하는 복구를 수집하며, 로컬 개선을 공식 평가로 확인하고 짝지은 시드로 버전을 비교해야 한다. 한계도 분명하다. T1과 T5는 여전히 가장 약하고, 교사는 특권 시뮬레이터 상태를 요구하며, 여러 수정이 함께 도입되었고 모든 결과가 시뮬레이션이다. 또한 각 모방 가능성 문제를 저자들이 수동으로 찾았고 이어하기 트리거도 손으로 작성했다. 향후 자동 탐지와 적응형 컨포멀 예측 같은 불확실성 추정으로 교사 개입 시점을 정하는 연구가 필요하다고 저자들은 남긴다.