LLM 에이전트가 텔레오퍼레이터 대신 실제 로봇 데이터를 생산한다

무엇인가

텔레오퍼레이션은 로봇 정책 학습 데이터의 기본 수집 경로지만, 에피소드마다 로봇과 조작자 시간이 들고 새 과제·장면·시점마다 처음부터 다시 수집해야 한다. 기존 합성 데이터 파이프라인은 수집 비용을 인간의 엔지니어링 비용과 시뮬레이션-현실 시각 격차로 바꾸는 데 그쳤고, 비디오 생성 모델만 쓰면 정확한 행동 레이블을 잃는다. 이 논문은 코딩 에이전트가 텔레오퍼레이터의 역할을 대신할 수 있는지 묻고, 데이터 요청과 대상 장면에서 로봇을 짧게 기록한 캘리브레이션 에피소드 하나만으로 실제 배포 가능한 데이터를 생산하는 DataFarm을 제안한다.

어떻게 동작하나

DataFarm의 절차는 캘리브레이션 에피소드를 장면 기술로 접지하는 것에서 시작한다. 이 에피소드는 장면과 카메라를 식별하지만 행동의 출처로는 쓰지 않는다. 이어 시뮬레이터가 과제에 필요한 기술을 재현하는지 짧은 프로브로 자격을 검사하고, 과제 계약과 전문가 컨트롤러, 성공 판정기를 컴파일한다. 공유 능력 계층과 과제별 산출물을 분리해, 새 과제용 어댑터나 프롬프트가 미리 없어도 에이전트가 장면, 전문가, 판정기, 렌더 계약을 직접 만든다. 이후 시뮬레이터가 여러 초기 상태에서 전문가를 실행해 정확한 행동·상태·접촉 이벤트를 만들고, 실제 이미지에 조건화된 비디오 모델이 모든 카메라 시점을 한 번에 일관되게 렌더링한다. 행동, 기하, 타이밍은 시뮬레이터가 맡고 외형은 비디오 모델이 맡으며, 출력은 동기화된 다중 시점 영상과 행동 레이블이다. 생산과 인증은 분리된다. 전문가는 볼 수 없는 판정기와 홀드아웃 초기 상태로 검증되고, 렌더러는 외형만 바꿀 수 있으며, 자동 검사와 독립 리뷰어가 모든 에피소드를 통과시켜야 데이터셋에 들어간다. 모든 시도와 실패는 원장에 기록된다.

무엇과 다른가

비용 구조도 논문의 핵심 주장이다. 과제 적응과 렌더 계약 비용은 한 번만 지불하고, 에피소드마다 시뮬레이션·렌더링·리뷰 비용이 들며, 실패와 재렌더링은 수율을 통해 비용에 반영된다. 저자들은 Claude Opus 5.5와 SoL-Pi 조합에서 과제 적응 API 비용이 평균 21달러, 렌더 계약이 5달러, 추가 에피소드가 평균 0.80달러라고 보고한다. 100개 에피소드에서는 에피소드당 평균 1.06달러, 1,000개에서는 0.83달러이며, 한 과제의 3시점 동기화 데이터 1시간은 이 비용을 포함해 평균 107달러, 추가 1시간은 81달러다. 이는 중국 텔레오퍼레이션 견적 시간당 117달러보다 약간 낮고, 북미 인건비만 시간당 약 290달러라는 계산보다 낮다. 단, 이 비용은 자체 호스팅 렌더러를 전제로 하며 Seedance 공개 가격으로 렌더링하면 에피소드당 12~63달러가 든다고 밝힌다.

어떻게 쓰나

실험은 이중팔 PiPER 로봇의 5개 양팔 조작 과제에서 이뤄졌다. 컵 3개 중첩, 무게에 따라 표시가 바뀌는 디지털 저울에 사과 올리기, 드럼 리듬 연주, 서랍에 블록 넣고 닫기, 수건 접기가 포함된다. 각 과제마다 동일한 크기 N=100의 학습 세트로 π0.5를 포스트트레이닝했고, 실제 텔레오퍼레이션 데이터, 시뮬레이터 렌더링에 도메인 랜덤화를 적용한 Sim+DR, DataFarm 데이터만 사용한 정책을 비교했다. 원래 장면에서 DataFarm 정책은 100회 중 93회 성공해 텔레오퍼레이션 84회를 앞섰거나 대등했고, 학습에 없던 식탁보와 색 조명을 준 OOD 조건에서는 87회 성공으로 텔레오퍼레이션 정책의 46회를 크게 앞섰다. 반면 Sim+DR은 원래 장면 26회, OOD 21회에 그쳤고 무게 측정 과제는 한 번도 완수하지 못했다.

전제와 한계

저자들은 렌더링이 시뮬레이션 동작을 보존하는지도 정량화한다. H3 렌더의 광류는 시뮬레이션 광류와 평균 4.4픽셀 차이, 움직이는 픽셀의 65% 일치로, 시뮬레이션 동작을 정확히 재현하는 Sim+DR의 3.4픽셀·73%에 가깝고, 0.5초 어긋난 대조군의 8.8픽셀·41%와는 분명히 구분된다. 실제 카메라 프레임과의 KID는 H3 0.83, Seedance 0.88로 시뮬레이터 1.93, 도메인 랜덤화 2.50보다 실제에 훨씬 가깝다. 또한 비디오 모델을 직접 호출하면 한 캔버스에서는 참조 프레임의 과제 상태를 복사해 시뮬레이션 동작과의 상관이 0.07에 그쳤고, 카메라를 따로 렌더링하면 손목 시점에 없는 팔이나 컵을 만들어냈다. DataFarm의 렌더러는 세 시점을 함께 생성하고 청크 경계를 이어 붙여 이런 불일치를 줄이며, 직접 호출 대비 동작 상관 0.74를 보인다.

개발자 관점에서 이 논문은 로봇 학습 데이터 수집을 물리적 텔레오퍼레이션에서 소프트웨어 파이프라인으로 옮기는 청사진을 준다. 새 과제마다 사람이 시뮬레이션 장면과 보상, 성공 판정을 손으로 만드는 대신, 캘리브레이션 영상과 텍스트 요청으로 과제를 컴파일하고 렌더 계약으로 외형 변형을 통제할 수 있다는 점이 실무적이다. 다만 도입 전에 시뮬레이터가 해당 기술을 재현하는지 자격 검사가 필요하고, 행동 레이블이 실제 로봇에서 실행 가능한지, 세 카메라 시점이 같은 상태를 보는지, 자동 검사가 변조된 에피소드를 실제로 잡아내는지 확인해야 한다. 비용 비교도 자체 호스팅 렌더러와 상용 비디오 API 중 무엇을 쓰느냐에 크게 좌우된다.

저자들이 밝힌 한계는 분명하다. DataFarm은 각 과제의 기술을 재현할 수 있는 시뮬레이터에 의존하며, 그렇지 않으면 새 시뮬레이터 변형이 필요하다. 짧은 캘리브레이션 에피소드로는 질량이나 마찰 같은 동역학을 알 수 없어 가정하고 랜덤화하는데, 정밀한 동역학이 성공을 좌우하는 과제에는 부족할 수 있다. 생성 비디오 검증도 완전하지 않아 자동 검사가 놓치는 결함이 있을 수 있고, 그래서 독립 리뷰와 거부된 렌더의 비용이 포함된다. 평가는 하나의 이중팔 로봇 구현과 5개 과제에 한정되어 다른 구현과 과제군은 추가 검증이 필요하다. 또한 합성 데이터는 출처 추적이 가능해야 하며, 학습된 정책은 배포 전에 실제 로봇 평가를 거쳐야 한다고 강조한다.