에이전트 진화 기법을 공통 부품으로 조립하는 RSIHub 프레임워크

무엇인가

에이전트 진화(agent evolution) 연구는 실행 피드백을 프롬프트, 스킬, 툴, 오케스트레이션에 반영해 에이전트를 개선한다. 문제는 구현체마다 격리된 후보 워크스페이스, 태스크 실행과 평가, 산출물 보존, 중단 복구, 계보 추적을 처음부터 다시 만든다는 점이다. 저자들은 이 반복되는 기반 시설이 방법 정책과 뒤섞여 있기 때문에 새 방법을 구현하려면 또 하나의 종단간 시스템을 세워야 하고, 방법끼리 비교하려면 러너·설정·평가자 인터페이스를 서로 맞춰야 한다고 지적한다. RSIHub는 이 기반 시설을 한 번만 구현해 공유하자는 제안이다.

어떻게 동작하나

핵심 추상화는 레시피(recipe)다. 레시피는 Select, Rollout, Mutate, Gate, Record 다섯 개의 필수 오퍼레이터 인터페이스와 Analyze, Validate, Novelty, Reflect 네 개의 선택 오퍼레이터에 각각 구현을 바인딩하고, 변경 가능한 자원을 선언하는 surface 블록과 편집 에이전트의 실행 방식·참조 컨텍스트를 정하는 mutate 블록, 그리고 대상·평가자·런타임·데이터 분할을 지정한다. 프레임워크가 관리하는 진화 루프는 Select(아카이브에서 부모 선택, 기록된 커밋을 그대로 포크), Rollout(학습 분할에서 실행하고 증거 반환), Analyze(실패 패턴 등으로 증류), Mutate(선언된 surface 안에서 편집 제안, 여러 턴에 걸쳐 소규모 시험 가능), Guardrail(실제 트리 diff를 surface와 대조하고 Validate·Novelty가 거부 가능), Evaluate(깨끗한 체크아웃을 게이트 태스크에서 채점·인증), Absorb(Gate가 부모 승격 여부 결정, Record·Reflect가 주석과 통찰 추가)의 7단계를 돈다. 기반 실행은 Harbor에 위임해 컨테이너 실행, 궤적 캡처, 태스크별 검증을 맡긴다.

무엇과 다른가

설계의 초점은 측정의 귀속 가능성이다. 평가와 아카이브는 레시피가 선언한 변경 가능 영역 바깥에서 프레임워크가 소유하며, 인증된 평가 이벤트는 커밋된 후보, 그 부모, 활성 레시피 스냅샷을 평가자·태스크셋 지문, 시행, 점수, 비용, 산출물 참조, 계보와 묶는다. 해시 참조 계약에는 평가자 설정과 데이터셋 다이제스트, 분할·반복 설정, 모델 신원, 재시도 정책, 프레임워크 버전까지 기록할 수 있어, 방법 정책의 변화와 평가 조건의 변화를 구분하게 해준다. 오퍼레이터가 제안한 주석은 프레임워크가 필터링해 쓰고, 인증된 평가 필드는 어떤 오퍼레이터도 바꿀 수 없다.

어떻게 쓰나

실험은 AHE, Hyperagents, A-Evolve, GEPA를 코어 수정 없이 레시피로 옮겨 MiniSWE와 Codex를 시드 에이전트로, Terminal Bench 2(89개 태스크: 학습 50·게이트 19·봉인 20)와 τ³ Banking(97개: 50·20·27)에서 수행했다. 대상 모델은 GPT-5.4 high, 변이 에이전트는 GPT-5.4 xhigh로 고정하고 세대당 자식 1개, 최대 10세대, 태스크당 1회 시행 pass@1을 보고한다. Terminal Bench 2에서 모든 방법이 MiniSWE 기준선을 7.8~13.5포인트 끌어올렸고 Hyperagents와 A-Evolve가 69.7로 최고였다. 더 강한 Codex 기준선에서는 AHE가 71.9(+2.2), Hyperagents와 A-Evolve가 각 +1.1, GEPA는 기준선 유지였다. τ³ Banking에서는 Hyperagents가 MiniSWE를 27.8에서 33.0으로 가장 크게 올렸고, Codex에서는 AHE가 24.7에서 34.0으로 앞섰으며 GEPA가 33.0으로 뒤따랐다. 분할별로 보면 순위가 더 흔들린다. MiniSWE·Terminal Bench 2에서 모든 방법이 학습과 봉인 분할을 개선했지만 게이트를 개선한 것은 Hyperagents뿐이었고, A-Evolve는 학습 +7.9를 얻고도 게이트가 그대로였다. Codex에서는 AHE와 Hyperagents가 학습·봉인을 올리면서 게이트를 각각 3.4, 2.2포인트 떨어뜨렸다. τ³ Banking에서 Hyperagents는 봉인 2.1포인트 하락에도 전체 최대 상승을 냈고, AHE와 GEPA도 봉인에서 4.1, 2.1포인트를 잃었다. 반대로 Codex에서는 AHE가 학습·게이트·봉인을 1.0, 3.0, 5.1포인트 고르게 올렸다.

전제와 한계

프레임워크 자체도 검증했다. 진화하지 않은 시드 에이전트를 직접 실행한 결과와 RSIHub를 거친 실행을 비교했을 때 Terminal Bench 2에서 두 에이전트 모두 −2.6포인트 변했고, MiniSWE의 직접-프레임워크 일치율은 84.6%로 직접-직접 일치율 83.5%와 비슷했으나 Codex는 82.0% 대 88.0%로 초과 불일치 +6.0포인트가 나타났다. 직접 실행끼리도 태스크의 12.0~18.9%에서 결과가 갈렸다. 무결성 시험은 변이·평가 중단과 평가 영수증 기록 후 재개, 평가자 변조 시도, surface 밖 쓰기, 게이트·봉인·앵커 증거 접근, 아카이브 결과 위조를 캠페인당 시나리오별 30회씩 돌렸고, 총 420회 시행이 손상된 상태를 허용하지 않고 요구된 결과에 도달했다.

개발자 관점에서 RSIHub의 값어치는 재사용 단위에 있다. 네 가지 적응은 각각 47~61줄의 레시피로 표현됐고 오퍼레이터 바인딩 두 개를 공유했으며 프레임워크 소스는 건드리지 않았다. 방법별 오퍼레이터 코드는 216~1,087줄이다. 즉 부모 선택 정책 하나를 바꾸고 싶다면 시드 에이전트, mutable surface, 모델, 평가자, 분할을 고정한 채 Select 오퍼레이터만 교체한 별도 실행을 만들면 된다. 다만 저자들이 명시하듯 순위가 벤치마크·시드·분할마다 뒤집히고 전체 점수 상승이 봉인 태스크로 전이되지 않는 경우가 있으므로, 전체 pass@1 하나만 보고 정책을 채택하면 안 된다. 후보별 분할 점수와 궤적을 함께 봐야 한다.

한계도 분명하다. 무결성 보장은 신뢰된 프레임워크 서비스, 호스트·파일시스템 보호, Git과 다이제스트 연산, 설정된 외부 서비스, 유효한 평가자를 전제로 하며, 결과는 이 연구가 시험한 워크로드·호스트·수명주기 경계에만 적용된다. 능력 보존 측정은 완전한 행동 동등성이 아니라 태스크 수준 일치율이며, 런타임 지문은 호스트·서비스 증명을 대체하지 못하고 RSIHub는 적대적 코드를 격리하지 않는다. 보고된 결과는 고정된 레시피 기반 실행에 대한 것이지 외부 에이전트가 레시피를 적응적으로 고쳐나가는 모드에 대한 것이 아니다. 저자들은 또한 pass@1 상승이 안전한 배포를 뜻하지 않으며, 편집 가능한 오퍼레이터와 후보 어댑터가 태스크 컨테이너 격리 밖 호스트에서 실행될 수 있다고 경고한다.