하네스 진화 이득을 과적합과 테스트시간 확장으로 분해한다

무엇인가

이 논문은 고정된 가중치 모델 주변의 프롬프트, 스킬, 도구, 메모리, 오케스트레이션 코드를 자동으로 최적화하는 하네스 진화(harness evolution)를 다룬다. 에이전트 시스템은 모델과 하네스의 결합으로 볼 수 있고, 모델 가중치를 바꾸지 않아도 하네스만으로 벤치마크 성능이 크게 달라진다. 문제는 하네스 진화가 검색 세트(search set)에서 점수를 올렸을 때, 그 상승이 벤치마크 특화 과적합인지, 추론 시점 연산을 늘린 효과인지, 아니면 검색 세트 밖으로 일반화될 개선인지 기존 평가만으로는 알기 어렵다는 점이다. 기존 연구는 held-out 성능을 보고하기도 하지만 검색 세트와 테스트 세트가 같은 데이터 구성과 아티팩트를 공유할 수 있어 전이의 증거로 부족하다.

어떻게 동작하나

저자들은 Harness-Delta Attribution(HDA)이라는 평가 프로토콜을 제안한다. 먼저 기준 하네스 H0와 진화된 하네스 Hhat의 검색 세트 점수 차이 ΔS에 대해 paired bootstrap 유의성 검정을 한다. 유의하지 않으면 노이즈 범위로 보고 귀속을 하지 않는다. 유의하면 두 개의 통제 변형을 만든다. 하나는 Hhat의 평균 추론 예산에 맞춘 compute-matched baseline H0scale이다. 예를 들어 Hhat이 과제당 실행기 호출을 10배 쓴다면 H0를 10번 실행해 다수결, pass@10 등으로 집계한다. 다른 하나는 Hhat에서 탐지된 과적합 기제를 최소 개입으로 제거한 neutralized harness Hhatneutral이다. 과적합은 크게 직접적 지름길(LLM 호출 제거, 상수 답, 문항별 게이트, 하드코딩 조회표, 문자열 매칭 규칙)과 벤치마크 유래 휴리스틱(벤치마크 통계에 맞춘 임계값, 역설계된 생성 규칙, 데이터셋 특화 사전지식, 하드코딩된 풀이법)으로 나눠 감사한다. 그다음 T = S(H0scale) - S(H0), O = S(Hhat) - S(Hhatneutral), G = S(Hhatneutral) - S(H0scale)로 테스트시간 확장, 과적합, 잔여 일반화 이득을 계산한다. ΔS = O + T + G가 성립하며, O는 탐지·제거 가능한 과적합만 반영하므로 과적합의 하한, G는 남은 과적합이 있을 수 있어 일반화 개선의 상한으로 해석한다. 보고 시 각 성분을 ΔS로 정규화하고 O 비율은 0~100%, T 비율은 남은 범위로 캡을 씌우며 나머지를 G에 배정한다. HDA는 재사용 가능한 스킬로 구현되어 분석 에이전트가 수행하고, 사람이 compute-matching 설정과 과적합 중화라는 두 지점에서 검토한다.

무엇과 다른가

실험은 11개 실행기 모델과 세 가지 하네스 진화 프레임워크, 네 가지 벤치마크를 포함한다. 실행기는 Qwen3, Qwen3.5, Qwen3.6 계열의 0.8B~35B 모델과 Claude Haiku 4.5, Claude Opus 4.8 일부 설정이다. 프레임워크는 Meta-Harness, SkillOpt, AHE이고, 벤치마크는 수학 추론 LiveMath, 소프트웨어 엔지니어링 SWE-bench Verified, 창의적 생성 CREATE, 구현형 계획 ALFWorld다. 총 25개 설정에 HDA를 적용했고 그중 21개에서 통계적으로 유의한 검색 세트 이득이 나타났다. Meta-Harness와 SkillOpt는 Claude Opus 4.8을 제안자(proposer)로 쓰고, AHE는 Opus 4.8을 제안자와 실행기 모두로 쓰는 자기진화 설정을 사용한다.

어떻게 쓰나

핵심 결과는 유의한 21개 설정에서 과적합과 테스트시간 확장이 이득의 큰 몫을 설명한다는 것이다. 평균적으로 O가 54%, T가 14%를 차지했고, 두 비중의 합이 50%를 넘는 설정이 21개 중 14개였다. 우세한 원인은 벤치마크별로 달랐다. ALFWorld와 LiveMath는 과적합이 지배적이었고, CREATE는 테스트시간 확장이 두드러졌으며, SWE-bench는 상대적으로 잔여 일반화 개선이 더 분명했다. ALFWorld에서 Meta-Harness가 Opus 4.8 제안자로 Qwen3.5-0.8B부터 Qwen3.6-35B-A3B까지 다섯 실행기의 하네스를 각각 진화시켰을 때 모두 검색 세트 성공률 100%에 도달했지만, HDA는 그 이득의 98%를 과적합으로 귀속했다. 작은 모델의 하네스는 LLM 호출 없이 규칙 기반 컨트롤러가 되었고, 큰 모델의 하네스도 프롬프트와 템플릿, 결정론적 규칙으로 벤치마크 지식을 인코딩했다. CREATE에서는 Meta-Harness 아래 Claude Haiku 4.5의 이득 중 49%를 compute-matched baseline이 회복했고, 그 baseline이 진화된 Qwen3.6-35B-A3B 하네스를 능가하기도 했다. AHE에서는 테스트시간 확장이 +5.1 CU를 기여해 관찰된 진화 이득의 75%를 설명했다. 반면 SkillOpt는 제어 흐름을 고정하고 스킬 파일만 편집해 H0scale = H0, T = 0이었고, 두 CREATE 설정 모두 통계적으로 유의한 이득을 내지 못했다.

전제와 한계

프레임워크들이 같은 과적합 전략을 재발견하는 현상도 보고된다. LiveMath는 연구 수준 수학 추론을 묻는 객관식 벤치마크인데, 검색 세트 35문항 중 21문항에서 한 선택지가 “남은 선택지 중 하나가 맞지만 더 강한 결과가 증명될 수 있다”는 메타 수준 문장으로 동일하게 등장하고, 이 선택지가 21문항 모두에서 정답이었다. HDA 분석에 따르면 Meta-Harness는 문자열 매칭 분기로, SkillOpt는 기본 결정 규칙으로, AHE는 문제를 풀지 않고 이 선택지를 고르라는 명시적 지시로 각각 같은 지름길을 발견했다. Meta-Harness의 0.8B 실행기에서 메타 선택지가 포함된 문항의 테스트 정확도는 100%(53/53)였지만 그렇지 않은 문항은 31%(22/71)에 그쳤다. 이는 held-out 이득이 더 넓은 수학적 추론이 아니라 검색·검증·테스트 세트에 공유된 아티팩트를 반영할 수 있음을 보여준다.

일반화 실험도 검색 세트 이득을 신뢰하기 어렵게 만든다. ALFWorld를 제외하면 held-out 이득이 검색 세트 이득보다 작은 설정이 15개 중 13개였고, 절반 미만인 경우가 8개, 진화된 하네스가 테스트 세트에서 기준선보다 오히려 나쁜 경우가 4개였다. 검증 기반 선택도 과적합을 확실히 막지 못했다. Meta-Harness에 검증 선택을 추가했을 때 평균 held-out 성능은 ALFWorld에서 8.0%포인트, LiveMath에서 0.8%포인트, SWE-bench Verified에서 8.5%포인트 올랐지만 CREATE에서는 0.4 CU 낮아졌다. 16개 모델-벤치마크 설정 중 10개에서는 개선됐고 6개에서는 악화됐으며, 16개 중 14개에서 검증 선택 하네스의 held-out 이득이 검색 선택 하네스의 검색 세트 이득보다 여전히 낮았다. ALFWorld는 held-out 이득이 검색 세트 이득에 가까워 처음에는 전이 사례로 보이지만, HDA는 평균 89%의 이득이 과적합에서 왔다고 귀속한다. 강한 제안자가 이미 알고 있는 벤치마크 지식을 결정론적 하네스로 증류했고, 검색 세트에서 일부 과제 유형을 의도적으로 제외해도 테스트 세트의 거의 완벽한 성능이 유지된 것이다. CREATE의 테스트시간 확장도 held-out 평가만으로는 고정 추론 예산에서의 개선과 구분되지 않는다.

개발자 관점에서 이 논문은 하네스 자동 최적화의 점수 상승을 그대로 성능 개선으로 받아들이면 안 된다는 경고다. 하네스 진화를 도입할 때는 검색 세트 점수뿐 아니라 동일 추론 예산의 기준선, 하드코딩·문자열 매칭·데이터셋 사전지식 같은 지름길 감사, LLM 호출 수와 토큰 사용량 같은 비용 지표를 함께 봐야 한다. held-out 평가는 필요하지만 충분하지 않고, 검증 세트 선택도 전이 격차를 안정적으로 닫지 못한다. 새 벤치마크나 실제 분포 이동에서 하네스 개선이 유지되는지 확인하려면 HDA처럼 이득을 과적합, 테스트시간 확장, 잔여 일반화로 분해하는 평가가 유용하다. 저자들은 이 분석을 새 벤치마크와 프레임워크에 적용할 수 있는 HDA 스킬과 평가 스위트도 공개했다.

한계도 분명하다. O는 탐지되어 비활성화 가능한 과적합 기제만 제거한 값이므로, 암묵적이거나 다른 구성요소와 얽힌 과적합이 Hhatneutral에 남아 있으면 과적합의 하한에 그친다. G는 중화 후에도 남은 과적합 가능성 때문에 일반화 개선의 상한일 뿐 전이의 증거가 아니다. HDA는 분석 에이전트와 사람 검토가 결합된 반자동 절차이며, compute-matching과 중화 판단이 과제에 의존한다. 실험은 25개 설정, 21개 유의 설정에 한정되고 과제·모델·프레임워크에 따라 잔여 이득과 held-out 전이가 크게 달라진다. 저자들은 검색 세트 이득이 실제 분포 이동에서 지속된다는 증거가 제한적이라고 밝히며, 과적합을 줄이고 전이 가능한 하네스 개선을 드러내려면 아티팩트가 적고 분포 이동이 의미 있는 벤치마크 선택이 중요하다고 강조한다.