RES는 기존 에이전트 벤치마크 환경을 재귀적으로 확장해 난이도를 높인다

무엇인가

이 논문은 에이전트 벤치마크의 난이도를 올리는 새로운 축으로 '환경 자체'를 다룬다. AgentBench, OSWorld, TheAgentCompany 같은 기존 평가에서 난이도는 정보가 어떻게 조직되고, 자원이 어떻게 연결되며, 앞선 행동이 뒤의 행동을 어떻게 제약하는지에 달려 있다. 그렇다면 과제 목표를 바꾸지 않고 환경만 스케일링해도 난이도를 통제할 수 있다는 것이 문제 설정이다. 기존 연구가 새 과제를 합성하거나(TaskCraft, LOGIGEN) 환경을 처음부터 구축하는(EnvScaler, ScaleEnv) 것과 달리, RES는 이미 존재하는 벤치마크 환경을 변형 대상으로 삼는다.

어떻게 동작하나

형식화는 다음과 같다. 재귀 단계 k의 과제를 (C_k, E_k)로 두는데, C_k는 목표·제약·완료 조건이고 E_k는 실행 가능한 자원, 상태, 연산, 상호작용 의존성이다. RES는 핵심 목표와 기저 사실, 완료 요구사항을 고정하고, 명세 갱신(specification update)을 통해 환경 변경 후 필요한 접근 지시만 공개한다. 검증된 시드에서 (C_0,E_0) → (C_1,E_1) → … → (C_K,E_K)로 이어지는 재귀 계보가 시작된다. 제안자(proposer)는 승인된 부모 환경을 보고 변환 계획 Π_k를 구성하고, 이를 적용해 후보 Ẽ_{k+1} = Apply(E_k, Π_k)를 만든다. 변환은 세 종류다. 자원 변환은 정보 접근을 바꾸고, 관계 변환은 정보원 사이의 관계를 바꾸며, 연산 변환은 어떤 행동이 언제 가능해지는지를 바꾼다. 계획은 변환을 구체 자원에 묶고 실행 순서를 정한다.

무엇과 다른가

의존성 구성(dependency composition)이 난이도의 핵심 기제다. 한 연산이 다른 연산이 만들어낸 정보나 상태를 소비하도록 연결하고, 여러 선행조건을 결합해 하나의 행동을 가능하게 하거나 상태 변화를 이후 연산으로 전파한다. 다음 세대는 이 구조를 확장해 상호작용 요구를 더하면서도 유효한 해법 경로는 유지한다. 예를 들어 증거 뷰에 링크 질의와 내보내기 준비가 필요해지고, 이후 변환이 그 앞에 인덱스 복구를 추가하는 식이다. 후보는 검증 v_k = V(C_{k+1}, E_k, Π_k, Ẽ_{k+1}; ξ_k)를 통과해야 다음 부모가 된다. 검증자는 계보와 보호된 과제 요구사항을 확인한 뒤, 고정된 부모로부터 선언된 변환을 독립적으로 재실행한다. 재구축된 실행 정의가 제출된 후보와 일치해야 하고, 새 세션에서 공개 인터페이스만 따라 참조를 해석하고 준비 단계를 실행해 변환된 자원을 복원했을 때 원본 사실과 일치해야 한다. 레코드 누락, 잘못된 참조, 충족되지 않은 선행조건은 후보를 거부한다. 실패하면 진단을 받아 자원 바인딩·파라미터·연산 순서를 고쳐 재제출하며, 수리 한도까지 유효하지 않은 후보는 버리고 부모는 다음 구축을 위해 남겨둔다.

어떻게 쓰나

평가는 Claw-Eval-Live(105개), Workspace-Bench-Lite(100개), Terminal-Bench 2.1(89개)의 총 294개 초기 과제에서 이뤄졌다. 각 과제는 원본 환경과 RES가 마지막으로 승인한 환경의 쌍대 비교다. DeepSeek-V4.1-Flash, GPT-5.6 Sol, Claude Opus 5, GLM-5.2, Qwen3.8-Max, Kimi K3 여섯 모델을 두 버전에서 평가했고, 18개 모델-벤치마크 비교 전부에서 성공률이 하락했다. Claw-Eval-Live에서 DeepSeek-V4.1-Flash는 82.86%에서 5.71%로, Claude Opus 5는 86.67%에서 28.57%로 떨어졌다. 하락 폭은 Workspace-Bench-Lite에서 12.00~19.00%p, Terminal-Bench 2.1에서 41.57~47.19%p다. 부분 완료 지표도 함께 낮아졌다. GPT-5.6 Sol의 Claw native score는 91.24에서 35.44로, Workspace RPR은 모델군 전체에서 5.52~10.81점 하락했다.

전제와 한계

학습 쪽 결과도 제시된다. Qwen3.5-4B-Base, 9B-Base, 35B-A3B-Base를 두 조건으로 파인튜닝하는데, RES 없이 원본 ClawGym 궤적을 쓴 SFT와 RES 확장 환경에서 DeepSeek-V4.1-Flash가 수집한 궤적만 쓴 SFT를 같은 베이스 체크포인트, 같은 궤적 수, 동일한 최적화 설정으로 비교했다. 9개 모델-벤치마크 비교 전부에서 RES 궤적이 앞섰고, 세 백본 평균 이득은 Claw-Eval-Live 10.16%p, Workspace-Bench-Lite 10.00%p, Terminal-Bench 2.1 10.86%p다. 가장 큰 이득은 35B-A3B로 각각 12.38, 14.00, 14.61%p였다. 부분 완료에서도 개선이 나타나 4B의 Workspace RPR은 26.59에서 33.68로, TCR@80은 4.00에서 11.00으로 올랐다.

절제 실험은 Claw-Eval-Live에서 DeepSeek-V4.1-Flash, 50턴 제한, 성공 임계값 0.80으로 수행됐다. 저장된 RES 환경에서 교차 연산자 참조와 준비 선행조건을 제거하면 pass@1이 0.0%에서 100.0%로, 평균 native score가 7.73에서 92.93으로 오르고 평균 턴 수는 50.0에서 19.1로 줄었다. 재귀 상속을 같은 횟수의 독립적 강화로 바꾸면 pass@1이 6.7% 대 93.3%, 점수 14.40 대 88.73이었고 재귀 쪽이 목표 토큰을 약 2.5배 더 썼다. 깊이를 제한하면 pass@1이 E_0의 82.9%에서 1라운드 후 60.0%, 깊이 2에서 17.1%, 깊이 10에서 4.8%로 떨어지고 평균 native score는 87.84에서 13.37로 내려갔다. 변환 라이브러리를 6개 메커니즘의 Basic 부분집합으로 줄이면 pass@1이 6.7%에서 80.0%로 올랐다. 누적 효과로는 깊이 예산 0에서 10까지 성공률이 82.86%에서 18.18%, native score가 0.878에서 0.260으로 떨어지고, 평균 턴 수는 3.55에서 43.22, 도구 호출은 8.05에서 206.02로 늘었으며 턴 제한 도달률은 75.06%에 이르렀다. 비용은 Claw-Eval-Live에서 105개 시드로 289개의 승인된 자식을 만들었고, 92.0%가 외부 제안자 실행 2회 이하를 요구했으며 자식당 평균 1.45회 실행, 89.2k 토큰, 112.6초가 들었다.

개발자 관점에서 이 논문의 실용적 가치는 두 가지다. 첫째, 자체 에이전트 벤치마크가 포화됐을 때 과제를 새로 쓰지 않고도 난이도를 조절할 수 있다. 정보 접근 경로와 선행조건을 조작하는 것만으로 성공률을 수십 퍼센트포인트 떨어뜨릴 수 있고, 그 변형이 원래 목표를 보존하는지 재실행 검증으로 확인하는 절차가 함께 제시된다. 둘째, 확장된 환경이 학습 데이터 생성기로도 쓸 수 있다는 점이다. 같은 수의 궤적으로도 더 어려운 환경에서 수집한 궤적이 더 나은 SFT 결과를 냈다는 비교는, 평가셋 확장과 학습 데이터 확보를 한 파이프라인으로 묶는 설계의 근거가 된다. 다만 도입 시에는 변환 라이브러리의 범위와 검증 통과율, 그리고 자식 생성 비용을 함께 측정해야 한다.

한계와 전제는 논문에 흩어져 있다. RES는 핵심 목표·기저 사실·완료 요구사항을 고정한다는 전제 위에서만 성립하며, 명세 갱신으로 접근 지시를 공개해 원래 필요한 산출물에 도달할 경로가 남아 있어야 한다. 비용 집계는 승인된 자식에 연관된 실행만 포함하고 실패한 분기, 목표 해결, 채점은 제외한다. 또한 적응적 조기 중단이 어느 과제가 후반 단계까지 가는지를 바꾸므로, 깊이별 수치는 역사적 평균과 구분해 읽어야 한다고 저자들은 명시한다. 평가는 과제당 50턴 단일 시도, 높은 추론 노력, 고정된 도구 권한과 채점 기준이라는 프로토콜에 묶여 있고, 스케일링 단계에서는 60턴 목표 시도 3회가 중단 판단에 쓰인다. 본문에 별도의 한계 절이 따로 마련되어 있지는 않으며, 초록이 제시한 Claw-Eval-Live 하락 폭 57.14~77.14%p는 본문의 개별 모델 수치(예: 82.86%→5.71%)와 함께 읽어야 한다.