하네스 구성을 바꿔가며 RL하면 낯선 실행 환경으로 더 잘 전이된다

무엇인가

이 논문이 푸는 문제는 에이전트 강화학습이 단일 하네스에 과적합된다는 것이다. 하네스는 모델이 도구를 쓰고, 컨텍스트를 관리하고, 긴 호흡의 상호작용을 조율하는 실행 계층으로, 최근 에이전트 시스템의 중심 부품이 됐다. 그런데 기존 방식은 보통 하나의 고정된 하네스를 통해 정책을 최적화한다. 그러면 그 실행 구성 안에서는 잘하지만, 시스템 프롬프트나 도구 인터페이스, 관찰 형식이 바뀌면 전이가 약해진다. 저자들은 과제 스케일링(무엇을 푸는가)이나 환경 스케일링(어디서 움직이는가)과 구분되는 새로운 축, 즉 같은 과제·같은 환경에서 어떻게 실행하고 상호작용하는가의 다양성인 '하네스 스케일링'을 제안한다.

어떻게 동작하나

방법의 출발점은 하네스를 하나의 덩어리로 보지 않고 다섯 구성요소로 분해하는 것이다. 시스템 프롬프트(S), 도구 인터페이스(T), 관찰(O), 컨텍스트 관리(C), 워크플로(W)가 그것으로, 각 구성요소는 기저 구현에 변환을 적용한 여러 실현(realization)을 갖는다. 하나씩 선택해 조합하면 전체 하네스 공간이 곱집합으로 정의되고, 두 구성이 몇 개 차원에서 다른지를 세는 해밍 거리가 자연스러운 구조적 근접도가 된다. 실험에서는 각 구성요소에 3개 실현을 두어 3^5=243개의 전체 공간을 만들었다.

무엇과 다른가

전체 공간을 다 학습하면 예산 대비 중복이 크기 때문에, 저자들은 2차 직교 설계(strength-2 orthogonal design)로 조밀한 훈련 집합을 고른다. 각 구성요소의 실현이 균등하게 등장하도록 하고(성분 균형), 임의의 두 구성요소 실현 쌍이 모두 같은 횟수 λ만큼 등장하도록(쌍별 균형) 맞추는 것이다. 설계 크기는 N=λL²로 결정되고 Rao 하한 N ≥ 1+M(L−1)을 만족해야 한다. 그 결과 243개 중 18개 구성만으로 1차·2차 투영을 정확히 보존하는 훈련 집합을 얻는다. 이 18개를 과제에 배정할 때는 각 과제마다 앵커 하네스를 균등 샘플링하고, 해밍 거리가 가장 가까운 K−1개를 붙인다. 과제별로는 국소적 변이를 주고, 전체적으로는 훈련 공간을 넓게 덮는 이중 구조다. 실험에서는 K=2를 썼고, 이렇게 만들어진 과제–하네스 인스턴스로 롤아웃을 모아 PPO와 GRPO의 기존 클리핑 목적함수로 그대로 최적화한다.

어떻게 쓰나

실험은 Qwen3-4B-Instruct와 Qwen3-30B-A3B-Instruct를 ClawGym-Task 13.5K 과제로 학습하고, ClawGym-Bench·PinchBench·JobBench-Easy에서 평가했다. 화이트박스 일반화는 훈련에 쓰지 않은 18개 고정 구성에서 측정했고, 외부 블랙박스 전이는 Claude Code(그리고 OpenClaw)로 확인했다. 세 벤치마크 평균으로 단일 하네스 RL 대비 GRPO +9.80점, PPO +3.57점(4B), GRPO +5.21점, PPO +4.90점(30B)이 올랐다. 전체 평균은 4B에서 GRPO 29.81→39.04, PPO 33.91→36.93, 30B에서 GRPO 37.29→42.78, PPO 36.31→41.89다. Claude Code 전이에서는 4B 37.22, 30B 41.20으로, OpenClaw로 직접 학습한 블랙박스 SFT(35.08, 38.08)와 블랙박스 RL(33.38, 36.28)을 모두 앞섰다.

전제와 한계

소거 실험의 결론은 '많이'가 아니라 '어떻게'다. 모든 실현을 한 번씩 덮는 3개 하네스만으로도 ClawGym-Bench에서 +11.43/+4.84점, PinchBench에서 +3.44/+7.86점이 올랐고, 구조화된 18개 집합은 여기서 각각 +4.02/+1.57점, +7.20/+2.66점을 더 얹었다. 같은 크기의 무작위 18개 집합과, 심지어 화이트박스 평가 구성까지 포함한 전체 243개 집합보다도 좋았다. 과제당 하네스 수는 K=1만으로도 뚜렷한 이득이 있었고 K=2가 최적이었으며, 같은 하네스를 두 번 반복하는 대조군보다 우수했다. K=4는 추가 이득이 없었다. 근접 배정을 무작위 배정으로 바꾸면 ClawGym-Bench에서 2.32/2.20점, PinchBench에서 3.04/1.24점 떨어졌다.

행동 분석에서는 상태 추적, 워크플로 준수, 오류 복구에서 개선이 가장 컸고 관찰 읽기의 개선은 상대적으로 작았다. 해밍 거리 4만큼 다른 두 고정 하네스에서 같은 과제의 보상을 짝지어 보면, 하네스 스케일링 모델은 두 구성 모두에서 보상이 높고 분포가 대각선에 더 가깝게 정렬됐다. 기저 훈련 하네스에서의 성능 손실은 0.19점에 그친 반면, ClawGym-Bench 화이트박스 점수는 10.48점, Claude Code는 3.60점 올랐다.

개발자 관점에서 이 논문은 에이전트 RL 파이프라인을 짤 때 '하네스도 하이퍼파라미터'라는 점을 실증한다. 다만 무작정 여러 하네스를 섞는 게 아니라, 구성요소를 분해하고 직교 설계로 균형 있게 뽑고, 과제마다 구조적으로 가까운 변이를 묶는 방식이 필요하다. 또한 전체 공간을 다 돌리는 것이 최선이 아니라는 점, 과제당 하네스는 2개면 충분하다는 점은 학습 예산을 잡을 때 바로 참고할 만하다.

한계와 전제도 분명하다. 원문 본문에는 별도의 한계(Limitations) 절이 없고, 대신 다음과 같은 조건이 명시돼 있다. 하네스 공간은 저자들이 정의한 5개 구성요소 × 3개 실현이라는 인위적 화이트박스 설계이므로, 이 바깥의 실행 시스템에 대한 보장은 실험적으로만 확인된 것이다. 전체 243개 설정은 화이트박스 평가 구성까지 포함하기 때문에 홀드아웃 일반화가 아니라 고정 예산 스트레스 테스트로 취급해야 한다고 저자들은 못박는다. 평가는 3회 독립 실행의 Pass@1 평균이고, K=2가 최적이라는 결론도 1·2·4만 비교한 범위 안의 결과다.