PhysRSI-eval은 LLM 로봇 정책의 자기개선을 다섯 축으로 측정한다

무엇인가

이 논문은 LLM 에이전트가 로봇 조작 행동을 직접 생성하고, 시행착오를 거치며 스킬·코드·도구를 갱신해 스스로를 개선하는 과정을 'physical RSI(recursive self-improvement)'로 정의한다. 그리고 성능 자랑이 아니라 세 가지 근본 질문을 던진다. 이 능력은 어디서 오는가, 어떤 스케일링 법칙을 따르는가, 개선은 과적합인가 일반화인가. 저자들은 최종 점수 하나로는 이 질문에 답할 수 없다고 보고, 물리적 시도와 그 사이에 축적되는 작업공간을 함께 기록하는 평가 프로토콜 PhysRSI-eval을 만든다.

어떻게 동작하나

프로토콜은 모델 가중치를 고정한 채 진행된다. K0 단계는 영속 작업공간 없이 각 과제를 3회 수행해 평균한 출발점이다. K1부터는 호스트의 읽기 전용 도구만 있는 빈 Harness 작업공간이 주어지고, 라운드마다 물리 시도 1회가 실행되어 네이티브 점수·성공 플래그·실패 이유를 반환한다. 이후 로봇 행동을 비활성화한 상태에서 에이전트가 작업공간(코드, 도구, 노트)을 수정하고 다음 라운드를 위해 커밋한다. 과제당 최대 H=17 라운드이며 첫 네이티브 성공에서 멈춘다. 라운드당 추론 4200초, 수정은 GPT 계열 1800초·Claude 계열 600초가 주어진다. 실험은 RoboDojo의 양팔 조작 과제 18개로, 공식 성공률 기준 6개 난이도 층(D1 60~68.7%에서 D6 0~0.4%)에서 각 3개씩, 5개 공식 카테고리를 아우르게 뽑았다. 점수는 [0,1] 네이티브 점수이고 스텝 한도는 25Hz에서 300~1300스텝이다. 평가 대상은 GPT-6 Astra, GPT-6.1 Sol, GPT-6 Sol, GPT-5.6 Sol, Claude Opus 5.5, Claude Sonnet 5.5 여섯 시스템이고, Gemini 4는 10개 과제만 부분 실행해 별도로 보고한다(K0 0.050, K10 0.48, 6개 해결).

무엇과 다른가

핵심 산출물은 다섯 축 프로필이다. A1 First-Attempt Performance는 K0 평균 점수 q0로 첫 시도의 수준을 잰다. A2 Efficiency는 (K1~H-1 구간 평균 점수 − q0)/(qH − q0)로, 최종 이득 대비 이득이 얼마나 일찍 나타났는지를 본다(최종 이득이 양수가 아니면 정의되지 않음). A3 Success는 최대 점수의 90%에 처음 도달한 라운드 τ90 이후 구간의 평균 점수로, 이분법적 성공률도 점근적 상한도 아니다. A4 Budget는 성공 과제마다 소모 스텝과 초과 시도를 정규화한 U_t를 계산해 max(0, 1 − U_t/H)를 평균한, 절약된 물리 예산의 비율이다. A5 Improvement는 K1에서 실패한 과제 중 예산 안에서 나중에 해결한 비율 (C_H − C_1)/(1 − C_1)이다. A4와 A5는 조건부 과제 집합을 쓰기 때문에 시스템마다 분모가 다르다.

어떻게 쓰나

결과는 축이 실제로 갈라진다는 것을 보여준다. 여섯 시스템의 과제 평균 점수는 K0에서 0.01~0.37이었으나 평가 종료 시점에는 0.10~0.84까지 올라갔고, 18개 중 해결 수는 Astra 15, GPT-6.1 Sol 12, GPT-6 Sol 7, GPT-5.6 Sol 1, Opus 13, Sonnet 11이었다. Astra가 다섯 축 모두에서 앞섰다. Opus는 Success 0.744로 GPT-6.1 Sol의 0.703보다 높지만 Efficiency는 0.609 대 0.822로 낮고, 자신이 해결한 과제에서 절약한 예산도 0.579 대 0.808로 뒤진다. 두 시스템이 공통으로 해결한 10개 과제에서도 이 격차는 유지된다. 즉 높은 점수가 빠른 개선이나 적은 물리 비용을 뜻하지 않는다.

전제와 한계

그렇다면 이 능력은 어디서 오는가. 17개 공개 벤치마크 점수를 Spatial, Harness, Perception, Coding 네 묶음으로 재구성해 축별 순위와 비교했더니, 공간 추론이 A1과 ρ=0.94, A2·A4와 ρ=0.83으로 가장 강하게 연관됐고 지각은 A3·A5와 ρ=0.94였다. 코딩은 모든 축에서 ρ≤0.37로 가장 약했다. 실제로 GPT-5.6 Sol은 LiveBench 코드 생성·완성에서 Astra를 앞서지만 18개 중 1개만 풀었다. 저자들은 이를 Physical Barrel Hypothesis로 정리한다. 개선의 각 국면을 제약하는 역량이 따로 있을 수 있고, 특정 역량이 최소 수준에 못 미치면 다른 강점으로 메우기 어렵다는 가설이다. 공개 벤치마크 평균만 보면 이 차이가 잘 드러나지 않는다. GPT 계열 네 시스템의 17개 벤치마크 평균은 54.1~78.1에 몰려 있지만, 동일 가중치의 물리 프로필 평균은 13.9~73.4로 훨씬 넓게 퍼진다.

스케일링 분석은 두 방향이다. 먼저 네 역량 프로필의 동일 가중 평균으로 시스템을 정렬하면 K17까지 도달한 최고 점수 q̄17의 관측 순서가 재현된다. 또한 K1~K17 이득의 절반에 처음 도달하는 라운드 T50을 두고, 나머지 시스템들의 프로필로 학습한 커널 회귀가 임의의 두 시스템 중 누가 먼저 T50에 닿는지 예측했을 때 모든 쌍별 순서가 복원됐다. 다음으로 조기 물리 피드백의 예측력이다. Astra의 K1~K17 평균 점수에 Weibull 성장 템플릿을 적합한 뒤, GPT-6.1 Sol의 시작값·정체값·상대 속도를 K1~K5만으로 보정해 나머지 라운드를 예측했더니 K17까지 평균절대오차 0.019였고, 마지막 관측 점수를 그대로 유지하는 기준선의 0.112를 크게 앞섰다. 참고로 90% 이득 도달 라운드 τ90은 Astra K9, GPT-6.1 Sol K7, Opus K15, Sonnet K13, GPT-6 Sol과 GPT-5.6 Sol은 K17이었다.

마지막으로 개선이 남기는 것을 작업공간 개입으로 분해한다. Astra 6과제·2체인 소거 실험에서 K4~K6 후반 성공률은 전체 루프 15/36(41.7%)였으나 이력을 모두 제거하면 3/36(8.3%)로 떨어졌다. 채널별로는 채점 피드백을 빼는 것이 5/36(13.9%)로 가장 타격이 컸고, 이전 라운드 이미지를 빼면 12/36(33.3%), 작업공간과 채점 피드백만 남기면 17/36(47.2%)로 오히려 원본과 비슷했다. K6 이후 작업공간을 동결해 수정과 피드백 없이 미지 레이아웃 5개에 적용한 실험에서는 파일만으로 25/60(41.7%) 성공했고, 원본 레이아웃에서의 14/16(88%)에는 못 미치지만 전이 자체는 확인됐다. 도구 계보 분석에서는 Opus의 재사용률이 0.347로 Sonnet 0.167, GPT-6 Sol 0.086보다 높았고, 상위 10% 계보가 이후 호출에서 차지하는 비중도 Opus 48%로 Sonnet 76%, GPT-6 Sol 83%보다 분산돼 있었다. Sonnet·Opus는 후반 행동의 96% 이상을 자체 작성 도구로 생성한 반면, Astra와 GPT-6.1 Sol은 약 99%를 모델이 직접 생성하고 메모리·스킬 노트로 반복 추론을 줄이는 경로를 택했다.

개발자 입장에서 이 논문의 실용적 메시지는 평가 설계에 있다. 최종 성공률 하나로 에이전트를 비교하면 개선 시점과 물리 비용, 실패로부터의 회복이 모두 가려진다. 같은 벤치마크 평균을 가진 시스템이 실제 조작에서는 전혀 다른 궤적을 그릴 수 있고, 코딩 점수가 높다고 로봇 정책 개선이 잘 되는 것도 아니다. 에이전트를 붙일 때는 최종 점수와 함께 첫 시도 성능, 이득 도달 라운드, 소모 스텝, 실패 복구율을 따로 로깅하고, 작업공간을 비우거나 동결해 이득이 경험에서 오는지 반복 시도에서 오는지 확인하는 절차를 두는 편이 좋다.

한계는 저자들이 명시한다. 비교 대상이 모델과 런타임 설정을 묶은 여섯 시스템뿐이고 과제당 개선 체인이 하나라 K0 반복으로 전체 체인의 변동성을 추정하지 못한다. 첫 성공에서 멈추므로 신뢰성 있는 반복 실행은 별도 검증이 필요하다. A4·A5가 쓰는 조건부 과제 집합이 시스템마다 다르고, Astra는 힌트 없이 수행한 실험에서 13개를 풀어 본 평가의 15개와 달라진다. 역량 연관 분석은 평가 설정이 다른 공개 벤치마크 점수에 의존하며 여섯 시스템으로 독립 검증이 없어, 병목 가설과 이득 시점 예측은 여전히 검증 대상이다. 소거·동결 실험은 Astra와 6개 과제에 한정되고 교차 과제 결과는 세 건의 첫 실행 사례에 불과하다.