스킬을 실행자 능력에 맞춰 고쳐 하네스 자기진화를 개선한다

무엇인가

이 논문은 LLM 에이전트가 모델 파라미터를 바꾸지 않고 실행 경험으로 하네스를 개선하는 하네스 자기진화에서, 주입된 스킬의 효과가 모델 능력에 따라 균일하지 않다는 문제를 다룬다. 7개 모델과 3개 벤치마크에서 103개 과제-스킬 쌍을 분석한 결과 같은 스킬이 GPT-5.6-luna를 31.1점 올렸지만 Gemma-4-E4B는 8.8점 떨어뜨렸다. 약한 모델의 실패 실행 중 86%는 스킬에 이미 적힌 요구사항을 위반한 경우였고, 저자들은 정보가 없어서가 아니라 실행자가 그 지침을 제대로 실행하지 못하는 것이 핵심이라고 본다.

어떻게 동작하나

저자들은 약한 실행자의 실패를 도구 실행, 문맥 관리, 지시 따르기, 검증의 네 유형으로 진단하고, 이를 고정된 과제 독립적 재작성 프로토콜인 메타스킬로 정리한다. 메타스킬은 도구 실행에서는 호출 가능한 도구와 문서를 구분하고 환경 점검과 오류 대응을 넣게 하며, 문맥 관리에서는 현재 과제와 허용 범위, 산출물 경로를 먼저 쓰고 예시·배경 자료와 분리하게 한다. 지시 따르기에서는 각 요구사항에 행동, 대상, 완료 조건을 명시하게 하고, 검증에서는 결과를 다시 읽고 다른 방법으로 재계산하며 명시적 기준과 비교해 통과할 때까지 반복하는 독립 점검을 넣게 한다. 실행 궤적이 있으면 첫 관찰 실패부터 고치도록 안내한다.

무엇과 다른가

실험은 SkillsBench 87개, DocOps 186개, Tessl 334개로 총 607개 과제 중 선별한 103개 과제-스킬 쌍에서 이뤄졌다. 103개는 SkillsBench 32개, DocOps 32개, Tessl 39개다. 실행 궤적이나 검증자 피드백 없이 과제와 스킬, 도구 목록만 받는 외부 재작성 실험에서 Kimi-K3가 메타스킬에 따라 스킬을 고치자 세 약한 실행자의 점수가 원래 스킬보다 5.1~14.1점 올랐고, 같은 재작성자가 일반적인 한 문장 재작성 지시를 받을 때보다 메타스킬이 5.1~6.0점을 더했다. 이 추가 이득은 평균 상승분의 절반 이상이었다. 가장 약한 Gemma-4-E4B는 Kimi-K3 재작성에서 0.029에서 0.170으로 올랐지만, 약한 실행자가 스스로 스킬을 한 번 고치는 설정에서는 원래 스킬보다 낮아졌다.

어떻게 쓰나

자기진화 실험에서는 각 모델이 이전 라운드의 실행 궤적과 검증자 피드백을 받아 자기 스킬을 고치는 5라운드 루프를 돌았다. 메타스킬을 넣은 쪽은 Gemma-4-E4B부터 Kimi-K2.5까지 7개 실행자 모두 5라운드 종료 시 메타스킬 없는 같은 루프보다 2.0~5.1점 높았다. 라운드 5의 차이는 Qwen3.5-27B +0.046, Gemma-4-26B +0.020, Qwen3.5-plus +0.025, Kimi-K2.5 +0.035로 보고됐다. 곡선은 단조롭지 않아 일부 모델은 중간에 하락하지만 최종 점수는 더 높다. 각 라운드를 한 번만 실행했으므로 저자들은 차이의 크기보다 7개 실행자 모두에서 부호가 같다는 점을 신뢰한다.

전제와 한계

분석에 따르면 한 번의 스킬 재작성은 스킬 텍스트에서 보이는 문제를 주로 고친다. 실행, 지시 따르기, 문맥 관리에서 평균 점수가 각각 +0.056, +0.055, +0.103 올랐다. 반면 검증은 실행 궤적이 있어야 실행자가 실제로 점검했는지 알 수 있어서, 자기진화에서 메타스킬이 준 검증 관련 평균 이득이 한 번의 재작성보다 0.101 더 컸다. 남는 실패는 실행자 자체의 한계다. 수정한 스크립트를 다시 실행하지 않거나, 실패한 호출을 반복하거나, 산출물을 쓰기 전에 멈추거나, 여러 제약 중 스킬이 강조한 것만 남기는 경우다.

개발자에게 이 논문은 스킬을 한 번 만들어 모든 모델에 그대로 배포하는 방식이 위험할 수 있음을 보여준다. 같은 스킬이 강한 모델에는 큰 이득이어도 약한 모델에는 이득이 없거나 성능을 떨어뜨릴 수 있으므로, 실행자 등급별로 스킬의 이득을 측정하고 필요하면 실행자 능력에 맞게 재작성해야 한다. 자기진화 루프를 운영한다면 실패 유형에 대한 진단 가이드를 프롬프트에 넣는 것이 중요하고, 실행 궤적과 검증자 피드백 같은 실패 증거가 있을 때 약한 모델도 메타스킬을 활용해 스스로 스킬을 개선할 수 있다.

한계로 저자들은 스킬이 이미 실행자 문맥에 주입된 경우만 평가했고 검색이나 점진적 공개는 범위 밖이라고 밝힌다. 여러 스킬은 묶음으로 평가했으며, 자기진화는 모델 파라미터를 갱신하지 않고 5라운드의 고정 예산으로 돌렸다. 또한 관련 지시가 올바르게 명시된 뒤에도 일부 실패가 남아, 스킬 재작성만으로 해결할 수 없는 실행자 한계가 있음을 인정한다.