RSIFlow는 병목을 진단해 모델·하네스·산출물 중 고칠 곳을 스스로 고른다

무엇인가

LLM 에이전트의 자기개선은 지금까지 크게 세 갈래로 나뉘어 있었다. 모델 파라미터를 다시 학습시키는 경로, 실행 하네스(프롬프트·계획·도구 호출 규칙)를 고치는 경로, 그리고 생성된 코드나 답안 같은 산출물을 반복 수정하는 경로다. 최근의 재귀적 자기개선(RSI) 연구는 여기서 한 걸음 더 나아가 개선 절차 자체를 편집 가능한 대상으로 만든다. 이 논문이 던지는 질문은 그다음이다. 편집 가능성만 넓힌다고 해서 그 워크플로가 지금 에이전트의 실제 병목을 건드리는지는 보장되지 않고, 워크플로를 조직하는 능력 자체가 경험으로 나아지는지도 별개 문제라는 것이다. 저자들은 이를 'RSI에서의 동적 워크플로 적응'으로 정식화한다.

어떻게 동작하나

시스템은 매 진화 라운드 t에서 Task-Agent와 Meta-Agent의 결합 상태 X_t=(T_t, M_t)로 정의된다. Task-Agent는 (모델 파라미터 θ_t, 태스크 하네스 H^Task, 산출물 A^Task)로, Meta-Agent는 (고정된 기반 모델 φ, 메타 하네스 H^Meta)로 구성된다. 중요한 제약은 Meta-Agent의 파라미터 φ는 처음부터 끝까지 고정이고, 진화는 오직 하네스 쪽 수정으로만 일어난다는 점이다. 하네스는 두 에이전트 모두에 동일하게 Action(실행·정보 행동), Skill(재사용 경험과 원칙), Planning(목표 분해) 세 요소로 추상화된다.

무엇과 다른가

Meta-Agent가 하는 일은 크게 두 가지다. 첫째, 실행 궤적과 환경 피드백으로 Task-Agent의 병목을 진단하고 Model·Harness·Artifacts 세 워크플로 중 하나를 골라 나머지 둘은 그대로 둔 채 후보를 만든다. 모든 후보는 같은 부모 T_t와 같은 평가 배치를 공유하고, 양의 성능 이득을 낸 첫 유효 후보만 T_{t+1}로 채택되며 실패하면 T_{t+1}=T_t로 남는다. 모델 갱신은 성공 궤적으로 만든 데이터셋에 대해 min ℒ(θ,D_t)=E[ℓ(θ,z)]를 푸는 SFT가 기본이고 RL 변형도 부록에 있다. 하네스 갱신은 {Action, Skill, Planning}의 부분집합 I_t를 골라 localize–refine–generate–validate 절차를 거친 뒤 H'=H^Task[I_t←Ĥ_t] 형태의 치환 연산자로 선택된 요소만 교체한다. 산출물 정련은 모델과 하네스를 고정한 채 진단 지침 δ를 조건으로 최대 L회의 유한 수정 시도만 허용하고, 유효성 검사 V와 성능 이득 ΔJ가 모두 통과하는 첫 후보를 고른다.

어떻게 쓰나

둘째, Meta-Agent는 워크플로 실행 결과를 스스로의 하네스로 흡수한다. 부모·후보 궤적을 공유 서브골이나 도구 이벤트, 오류 피드백으로 정렬해 차이를 뽑아내고, 컴포넌트별 스킬과 컴포넌트를 가로지르는 일반 원칙을 증류한다. 각 지식 단위는 적용 조건, 갱신 범위, 조건부 지침, 보존 요건, 기대 행동 반응, 지지·반박 증거의 6-튜플로 표현된다. 라이브러리는 Add·Supplement·Revise·Merge 네 가지 증거 기반 연산으로 갱신되고(K_{t+1}=(K_t∖R_t)∪C_t^+), 최종적으로 H^Meta=(Action^Meta, K_{t+1}, Planning^Meta)로 통합된다. 즉 태스크 업데이트에서 나온 경험이 다음 라운드의 병목 진단과 워크플로 선택 능력을 재귀적으로 개선한다.

전제와 한계

실험은 코드 생성(HumanEval+, MBPP+), 도구 사용(BFCL-v3, ACEBench), 검색형 QA(HotpotQA, 2Wiki)의 6개 벤치마크에서 이뤄졌다. Task-Agent 백본은 Qwen3-4B와 Qwen3-8B, Meta-Agent는 GPT-5.6 Sol을 쓰고 5라운드, 라운드당 최대 2회 시도를 돌렸다. 결과는 12개 벤치마크·백본 조합 중 11개에서 최강 베이스라인을 앞섰고, 지표별 최강 베이스라인 대비 평균 +3.11%다. 종합 점수는 Qwen3-4B 51.21%, Qwen3-8B 59.86%로 각각 최강 베이스라인을 6.06%p, 3.86%p 앞선다. HumanEval+ pass@1은 Qwen3-4B에서 14.02% 올랐고, MBPP+ pass@1은 백본 평균 3.91% 개선, 2Wiki F1은 백본 평균 5.20%, HotpotQA F1은 Qwen3-8B에서 6.38% 올랐다.

소거 실험은 두 축의 기여를 분리한다. Vanilla 대비 코드 19.04%, 도구 사용 3.92%, 검색 QA 18.20%가 올라 세 도메인 평균 +13.72%였고, 고정 컴포넌트 워크플로보다 적응적 오케스트레이션이 세 도메인 모두에서 평균 4.13~8.81% 높았다. Meta-Agent 진화를 끄면 평균 성능이 5.74% 떨어진다. 사례 연구에서는 Harness–Harness–Model–Model–Artifacts 순으로 5라운드를 진행하며 32.23%→38.04%→45.46%(LoRA 파인튜닝 3,798회)→47.11%(5,397회)→51.21%로 총 18.98% 개선됐다. Meta-Agent 백본을 바꿔도 HumanEval+에서 Claude-Sonnet-5 11.48%, DeepSeek-V4.1-Flash 5.09%, GPT-5.6-Sol 24.41%가 올라 백본 성능이 누적 효과에 영향을 준다는 것도 확인했다.

개발자 관점에서 이 논문의 쓸모는 '무엇을 먼저 고칠지'를 사람이 정하지 않아도 되는 파이프라인 골격에 있다. 실행 로그와 실패 피드백을 진단 신호로 삼아 세 가지 개입 지점 중 하나를 고르고, 개입 결과를 스킬·원칙 형태로 남겨 다음 선택에 재사용하는 구조는 프롬프트 튜닝과 파인튜닝, 산출물 재생성을 오가며 운영하는 에이전트 서비스에 그대로 이식 가능하다. 다만 채택 규칙이 '양의 이득을 낸 첫 후보'이므로 평가 배치 설계와 노이즈 통제가 성능을 좌우한다는 점, 그리고 Meta-Agent를 강한 모델로 둘수록 이득이 커지는 대신 API 토큰 비용이 늘어난다는 트레이드오프는 미리 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 평가가 Qwen3-4B·8B라는 비교적 작은 백본에 국한돼 있어 더 큰 모델이나 클러스터 규모에서 이득이 유지되는지는 검증되지 않았다. Meta-Agent 파라미터를 고정하고 하네스만 갱신하는 설계는 추가 연산 오버헤드를 유발하며, 저렴한 Meta-Agent로 바꾸면 진화 이득이 줄 수 있다. 경험 기반 메타 하네스 갱신의 안정성도 충분히 규명되지 않았다고 저자들은 인정한다. 향후 과제로는 반사실 분석으로 Meta-Agent의 결함을 찾아 국소 수정하는 것과 Meta-Agent 파라미터 최적화가 제시된다.