하네스와 모델을 함께 진화시켜 작은 모델의 뇌와 몸 불일치를 줄인다

무엇인가

이 논문은 모델-하네스 공진화에서 반복적으로 생기지만 간과되어 온 뇌와 몸의 불일치 문제를 다룬다. 여기서 뇌는 추론과 행동 선택을 담당하는 언어모델이고, 몸은 도구 인터페이스, 행동 공간, 메모리, 실행 워크플로를 규정하는 하네스다. 하네스가 진화하면 모델이 배우지 않은 행동을 요구하거나 이미 가진 능력을 제한할 수 있다. 논문은 XML 도구 호출을 보내는 모델과 JSON을 기대하는 하네스, 능동적 컨텍스트 관리 도구를 잘 다루지 못하는 모델 같은 예를 든다. 저자들은 하네스가 요구하는 행동과 모델이 학습한 행동이 어긋나거나 하네스가 모델의 기존 능력을 제한할 때를 뇌와 몸의 불일치로 정의하고, 연속 라운드에서 두 요소의 호환성을 유지하는 문제로 형식화한다. 또한 관찰 가능한 인터페이스 위반을 세는 턴 수준 인터페이스 불일치율 TIMR을 값싼 진단 지표로 제안한다.

어떻게 동작하나

CoEvo-RSI는 이 문제를 양방향 역사 상속으로 푼다. 실행 가능한 에이전트를 하네스 H와 모델 파라미터 θ의 쌍으로 보고, 과거 하네스, 체크포인트, 개발 이력, 실행 결과를 진화 아카이브에 기록한다. 각 라운드에서 현재 쌍의 실행 피드백을 바탕으로 메타 에이전트가 두 결정을 조정한다. 하나는 하네스 편집자들이 아카이브의 과거 설계를 골라 새로운 하네스 후보 K개를 만드는 것이고, 다른 하나는 그 후보 하네스에 맞춰 과거 체크포인트를 선택하거나 병합해 모델 초기화를 정하는 것이다. 이후 평가, 선택된 하네스 아래에서의 모델 적응, 검증을 통한 승격을 거쳐 다음 라운드 쌍을 정하고, 성공과 실패를 포함한 모든 결과를 다시 아카이브에 넣는다.

무엇과 다른가

하네스 상속은 증거 큐레이션과 역사적 기반 선택으로 구체화된다. 먼저 검증 세트에서 현재 쌍의 관찰을 진단해 피드백을 만들고, 큐레이터가 아카이브 메타데이터와 자신의 검색 이력을 보며 관련 과거 사례를 읽는다. 그 결과로 공유 증거와 K개의 수정 가설을 만들면, 각 편집자는 독립적으로 아카이브를 둘러보며 자신의 시작 하네스를 고르고, 그 위에 수정 가설을 적용해 자식 하네스를 만든다. 어떤 과거 하네스를 기반으로 삼았고 어떤 설계를 채택했는지도 함께 기록해 계보를 보존한다. 이는 최신 하네스만 이어받는 대신, 현재 실패를 해결하는 데 유용한 과거 구조를 다시 꺼내 쓰게 한다.

어떻게 쓰나

모델 상속은 하네스가 바뀌면 모델 초기화도 호환성 문제가 된다는 관점에서 출발한다. 아카이브의 체크포인트들에 가중치 α를 부여하고, 하나만 고르는 원-핫 선택 또는 여러 체크포인트를 TIES-Merging으로 병합하는 후보를 만든다. 메타 에이전트는 후보 하네스, 공유 증거, 체크포인트 출처, 해당 하네스 아래의 과제 성능과 TIMR을 보고 α를 제안한다. 검증 세트에서 가장 좋은 후보 쌍을 고른 뒤, 그 하네스를 고정하고 학습 세트에서 모델이 생성한 궤적을 검증기로 걸러 거부 샘플링하고, 통과한 궤적만으로 SFT를 수행한다. 마지막으로 기존 쌍, 선택된 쌍, 적응된 쌍을 비교해 일정 마진 이상 좋은 경우에만 다음 라운드로 승격한다.

전제와 한계

실험은 Qwen3.5-9B를 손으로 작성한 초기 하네스에서 출발시켜 DeepSeek-V4.1-Flash를 Codex 안의 메타 에이전트로 쓰고, 10라운드 동안 라운드당 하네스 후보 K=8로 진행했다. 선택된 체크포인트는 학습 과제당 최대 3개 궤적을 temperature 1로 샘플링해 검증기가 처음 수용한 궤적을 모았고, 4대 H100에서 학습률 5e-6, 배치 8로 1에폭 전체 파라미터 SFT를 했다. 실패 귀인에서는 Who&When Hand에서 Who 68.39%, When 29.31%로 FALAT+MiniMax-2.5의 66.30%, 25.90%를 앞섰다. Who&When Algo에서는 62.17%, 44.71%로 가장 강한 베이스라인 68.25%, 47.62%에는 못 미쳤다. Who&When Pro에서는 Who 69.43%로 Qwen3.8-Max의 65.03%를 넘었고, TraceElephant에서는 70.78%로 DeepSeek-V4-Pro-0813의 56.62%보다 14.16포인트 높았다. Self-Harness는 Who&When Hand에서 CoEvo-RSI보다 Who 기준 11.49포인트 뒤졌고, TraceElephant에서 하네스 진화 베이스라인들은 When 정확도 10% 미만으로 떨어졌지만 CoEvo-RSI는 28.92%를 유지했다.

역할 기반 text-to-SQL에서는 RBAC의 Spider 서브셋에서 Safe-EX 80.85%, Safe-Deny 96.64%, 위반율 1.57%로 Pi+MiniMax-M3의 80.26%, 96.33%, 1.72%를 앞섰다. 진화 과정에서 하네스는 증거 확인, 참조 수준 권한 검사, 검증과 수리를 차례로 얻었고, 그 결과 Safe-EX가 77.09%에서 80.85%로 오르고 위반율이 2.00%에서 1.57%로 내려가 21.5%의 상대 감소를 보였다. 학습 없이 평가한 OOD BIRD 서브셋에서는 Safe-EX 60.15%로 GLM-5.3의 60.90%에 근접했고, Safe-Deny 91.26%, 위반율 5.65%, AC-F1 90.24%를 기록했다. 스마트홈 지시 수행에서는 HomeBench VM에서 성공률 75.51%, F1 89.23%로 DeepSeek-V4-Pro-0813의 75.10%, 89.18%를 조금 앞섰고, IM에서는 성공률 84.54%로 최고 동률, F1 91.80%로 최고를 기록했다.

절제 실험은 하네스만 진화시키거나 모델만 학습시키는 것으로는 부족하다는 점을 보여준다. Who&When Algo에서 하네스만 진화한 경우 매 라운드 SA가 전체 CoEvo-RSI보다 낮았고 10라운드 중 8라운드에서 TIMR이 1%를 넘었지만, 전체 CoEvo-RSI는 TIMR이 최대 0.22%였다. 모델만 학습한 경우 TIMR은 거의 0이었으나 SA가 최대 35%에 그쳤다. 최신 세대만 쓰는 변형은 4라운드에서 퇴행해 가장 낮은 SA로 끝났고, 전체 CoEvo-RSI는 4라운드 가중치를 6라운드와 8라운드의 새 하네스와 다시 조합해 AA 61.11%, 61.90%까지 회복했다. 후보 수 K를 4, 6, 8, 10으로 바꿔도 AA 45.11~52.17%, SA 28.80~37.50%, TIMR 0.12% 이하로 유지됐다. 비용은 3라운드 실행에서 API 2.06~3.69달러, 17.48~20.71시간이었고 기본 K=8은 17.48시간, 2.72달러였다. Who&When Hand에서 68.39%를 0.16달러에 달성해 3.55달러에 60.34%인 DeepSeek-V4.1-Flash보다 8.05포인트 높으면서 22배 낮은 비용을 보였다. RBAC Spider에서는 Pi+MiniMax-M3보다 Safe-EX 0.59포인트 높으면서 38배 낮은 비용이었다. 상속 분석에서는 라운드 1~3의 평균 정규화 TIMR이 약 0.72에서 라운드 6~10에 0.13으로 내려갔고, 10라운드 중 7라운드에서 선택된 체크포인트가 사용 가능한 것 중 가장 낮은 TIMR이었다. 10라운드는 하네스 4~9 아래에서 TIMR 0.54~1.00으로 높았던 체크포인트를 최종 하네스 아래에서는 0.02로 낮추며 최고 Safe-EX 80.85%를 냈다.

개발자에게 이 논문은 에이전트 성능을 올릴 때 모델 교체만 보지 말고 하네스 버전과 체크포인트를 쌍으로 관리하라는 신호를 준다. 도구 인터페이스, 권한 검사, 메모리, 실행 흐름이 바뀌면 같은 모델도 갑자기 실패할 수 있으므로, 하네스 변경 이력과 체크포인트 출처, 실행 결과를 아카이브로 남기고 쌍 단위로 평가하는 것이 유용하다. 특히 대규모 RL 훈련용 경량 실패 귀인 평가기, 로컬 스마트홈 제어기, 엄격한 DB 접근 권한 아래 동작하는 기업용 웹 어시스턴트처럼 도메인이 좁고 비용이 중요한 응용에서 참고할 만하다. 다만 저자들은 이 방법의 범위를 특정 도메인의 저렴한 전문화로 명시한다. 같은 도메인의 홀드아웃 성능이 좋아도 다른 도메인으로 전이된다는 뜻은 아니며, TIMR은 관찰 가능한 인터페이스 위반만 잡는 값싼 지표이지 뇌와 몸의 불일치 전체를 특성화하지 않는다. 또한 안전성과 유용성의 균형은 보수적 거부에서 일부 비롯될 수 있어, 권한 있는 질의의 성공 실행을 제한할 가능성도 있다.