Harness-S는 형제 하네스로 기본 하네스 실패를 구제해 정책에 전이한다

무엇인가

이 논문은 에이전트의 행동이 모델 정책과 하네스(프롬프트, 도구 인터페이스, 컨텍스트·메모리, 실행 규칙)의 결합으로 결정된다는 전제에서 출발한다. 같은 모델 가중치라도 하네스가 바뀌면 정책이 받는 정보와 행동 방식이 달라진다. 저자들은 공통 베이스 H0에서 파생된 하네스 변형을 형제 하네스라 부르고, 그 진화가 Locality(일부 실패만 고치고 다른 곳은 퇴행), Complementarity(서로의 오류를 복구), Nonstationarity(정책이 학습하면서 하네스 효용과 순위가 바뀜)를 보인다고 정리한다. 따라서 보편적으로 더 좋은 하네스 하나를 찾기보다, 기본 하네스가 실패한 과제를 형제 하네스로 선택적으로 구제하고 그 능력을 정책 자체에 옮기는 문제를 푼다.

어떻게 동작하나

먼저 Directional Harness Evolution으로 재사용 가능한 Sibling Harness Pool을 만든다. H0에서 실행한 훈련 과제의 실패 궤적을 진단해 여러 실패 과제가 공유하는 국소 원인 묶음(repair direction)을 만들고, 부모 하네스의 구성 요소를 그 원인에 맞게 편집한다. 자식 후보 중 실행 가능하고 프로토콜을 지킨 변형만 남기며, 다음 세대의 부모는 검증 과제에서 해결한 과제들의 합집합을 최대화하도록 최대 B개를 고른다. 부모로 선택되지 않은 유효 자식도 전부 풀에 보관하고, T세대 뒤 풀을 고정해 정책 학습 동안 재사용한다. Complementary Harness Rescue Training은 이 풀을 정책 학습의 탐색 확장에 쓴다. 각 과제에서 현재 정책이 H0로 K번 롤아웃을 생성해 모두 실패하면, Adaptive Harness Router가 고른 서로 다른 보조 하네스 Top-k에서 같은 정책이 과제 초기 상태로 한 번씩 새 롤아웃을 만든다. 이 구제 궤적군이 실패한 원래 그룹을 대체해 GRPO 학습에 들어간다. 논문은 구제군 안에 성공과 실패가 함께 있어야 보상 대비가 생긴다고 보고, 그룹 평균·표준편차로 상대 이점을 계산한 뒤 클리핑된 토큰 목적함수로 정책을 업데이트한다. 목적함수에는 정책 토큰만 들어간다.

무엇과 다른가

Adaptive Harness Router는 과제와 형제 하네스를 행동 증거로 매칭한다. Harness Behavior Profiles는 각 변형이 현재 정책 기준 H0보다 도움이 되거나 방해되는 조건을 When과 Behavior 항목으로 표현하고, LLM이 짝지은 검증 궤적의 차이를 묶어 만든다. 여러 LLM의 독립 순위를 투표로 집계해 Top-k를 고른다. 정책이 변하면 효용도 변하므로, 체크포인트마다 현재 정책을 고정한 채 각 하네스와 H0의 검증 궤적·결과를 다시 모아 프로필을 재앵커링한다. 짝지은 실행은 과제, 초기 상태, 실행 한도를 공유하고 테스트 결과는 제외한다. 학습 후에는 Rank-1 라우팅으로 추론 시 하네스 하나를 고를 수 있다.

어떻게 쓰나

실험은 Qwen3.5-4B와 Qwen3.5-9B를 AppWorld, DBBench, SWE-Gym에 적용하고 Pass@3와 Avg@3로 측정했다. 비교에는 정책만 학습하는 GRPO, H0 구제 GRPO, Claude Code나 형제 하네스를 섞은 고정 혼합, 하네스 진화만 하는 Harness-S(HE only), Meta-Harness, WHALE, HarnessForge 등이 포함된다. 저자들은 Harness-S가 정책 단독 학습, 고정 정책 하네스 최적화, 공동 적응보다 H0와 Rank-1 라우팅 모두에서 낫다고 보고한다. 라우팅된 4B 정책은 H0 구제를 쓰는 9B GRPO를 모든 보고 지표에서 앞서고, 라우팅된 9B 정책은 DBBench에서 프런티어 모델 참조를 앞선다고 주장한다. H0로 돌아온 평가에서도 plain GRPO와 H0 구제 GRPO를 모든 벤치마크·모델 크기 조합에서 앞서며, 이는 추가 샘플링만으로 설명되지 않는다고 해석한다. 고정 정책 Harness-S(HE only)는 Meta-Harness를 앞선다.

전제와 한계

학습 신호 분석에서 Harness-S는 AppWorld Qwen3.5-4B 기준 Effective Group 비율 79.38%를 기록해 H0 구제 GRPO 70.94%, 표준 GRPO 64.69%보다 높았다. Effective training-token share도 80.88% 대 72.68%로 높았다. 같은 시작 정책에서 최종 검증 성능은 63.33%로 H0 구제 GRPO 54.00%, GRPO 48.00%를 앞섰고, Claude Code 고정 혼합은 중간 상승에도 최종적으로 GRPO 아래였다. 구제 전략 비교에서는 과제별 라우팅이 무작위 선택보다 나았고, Top-8 Adaptive가 LLM Router(4×2)보다 높은 구제 성공률을 보였다. 같은 최종 AppWorld 정책에서 개별 형제 하네스는 11~15개의 기본 하네스 실패를 고쳤지만, 분석한 9개 형제를 한 번씩 실행한 합집합은 29개를 고쳤다. 고정 프로필 Top-8 대비 적응 프로필은 네 단계 모두 구제 성공률을 높이고 최종 Avg@3를 4.71%포인트 올렸다. 모든 구제 전략이 GRPO보다 최종 테스트 성능이 좋았고 Top-8 Adaptive가 Pass@3와 Avg@3 모두 최고였다.

행동 분석에서 Harness-S 정책은 H0 아래에서 API 스키마를 처음 사용 전에 더 자주 확인하고 execute code 반복은 줄였으며, 페이지네이션·다중 호출·쓰기 후 읽기를 늘렸다. SWE-Gym에서는 assertion 검사 작성, 편집 후 실패 대상 재방문, 최종 diff 검사가 더 자주 나타났고, 테스트가 막혔을 때 assertion으로 전환한 비율은 Harness-S 48.5% 대 GRPO 13.3%였다. 훈련 중 성공한 구제 행동이 보조 하네스 없이 H0의 미학습 인스턴스에서 재현된 사례도 제시된다. 라우터 분석에서는 Rank-1에서 Rank-3로 갈수록 Pass@3와 Avg@3가 낮아졌고, 학습 전에는 세 순위 모두 H0보다 좋았다. 학습 후 H0가 Rank-1로 선택되는 과제 비율은 1.53%에서 22.52%로 증가했고, Rank-1의 H0 대비 우위는 Pass@3 14.21→0.76점, Avg@3 13.49→4.58점으로 줄었다. H0 아래 훈련 정책이 Rank-2와 Rank-3를 앞서며, 저자들은 구제 행동이 정책으로 내면화됐다고 해석한다.

실무에서는 하네스 수정안을 하나의 만능 설정으로 합치기보다, 실패 원인별로 특화된 변형 풀을 두고 기본 하네스가 전부 실패할 때만 라우팅해 재시도하는 구조가 유효하다는 신호다. 에이전트 RL 파이프라인에서는 구제 궤적을 학습 신호로 쓰고, 정책 체크포인트마다 라우터 프로필을 갱신하며, 최종적으로는 보조 하네스 없이 기본 하네스에서 성능을 재평가해야 한다. 도입 전에는 라우팅 비용, 풀 관리 비용, 외부 하네스로 옮겼을 때의 민감도를 함께 확인해야 한다.

교차 하네스 일반화 실험에서 Harness-S는 AppWorld와 SWE-Gym의 DSH H0, Claude Code, OpenClaw 모두에서 가장 높은 Pass@3를 보였고 Claude Code·OpenClaw에서는 혼합 하네스 GRPO도 앞섰다. 다만 두 외부 하네스와 벤치마크에서는 DSH H0보다 낮은 점수를 기록해, 보조 구제가 훈련 하네스 밖에서도 유용한 행동을 만들지만 실행 인터페이스 민감성은 남는다고 본다. 저자들이 밝힌 전제는 풀이 정책 학습 동안 고정되고 프로필만 체크포인트에서 갱신되며, 라우터는 결과를 보기 전에 후보를 골라야 한다는 점이다. 향후 과제로 정책 간 지속 전이와 효율적 풀 재사용, 독립 개발 하네스 간 과제 상태 교환, 추가 수리 다양성이 정책 이득과 보정 비용에 미치는 Harness Scaling을 남긴다.