R2Orch가 스킬을 스스로 빼며 에이전트 오케스트레이터를 재귀적으로 개선한다

무엇인가

이 논문은 복잡한 작업을 여러 에이전트의 그래프로 조직하는 오케스트레이터를 스스로 개선하는 문제를 다룬다. 기존 학습형 오케스트레이션은 사람이 모은 과제 풀과 수작업 커리큘럼에 의존하고, GRPO 같은 그룹 기반 강화학습에서 한 과제의 롤아웃이 모두 같은 결과에 도달하면 장점이 사라지며, 스킬 하나를 성공률 한 점수로 평가하는 신호가 불안정하다는 문제를 안고 있다. 저자들은 이 세 가지를 오케스트레이터의 확장성과 자기개선을 막는 핵심 병목으로 본다.

어떻게 동작하나

R2Orch의 핵심은 Recursive Self-Play Orchestration이다. 내부 루프에서는 Proposer가 고른 과제에 대해 Director가 에이전트 그래프를 만들고 자체 대국으로 학습한다. 외부 루프는 내부 루프가 개선되는 방식 자체를 바꾸며, 더 이상 도움이 되지 않는 스킬을 철회한다. Director는 빈 그래프에서 시작해 AddAgent, SetPrompt, SetModel, SetLayer, ConsiderRelation, DeleteAgent, SetOutput, Finish 같은 원자적 편집을 순서대로 적용해 최종 그래프를 만든다. Workers는 동결되어 있고, 최종 목표는 스킬 문맥 없이도 성공하는 제로 스킬 배포다.

무엇과 다른가

내부 루프의 학습은 하나의 무작위 롤아웃 그룹을 공유한다. 과제 x에 검색된 스킬 집합 Kx와 시험할 스킬 kx가 있을 때, 그룹 G=nh+nv 중 숨김 부분 Hx의 nh개 롤아웃은 Kx에서 kx를 뺀 문맥을, 가시 부분 Vx의 nv개 롤아웃은 Kx 전체를 읽는다. nh가 nv보다 크므로 각 업데이트의 대부분은 후보 스킬 없이 Director를 학습시키고, 이는 이후 스킬 철회를 미리 준비하는 효과를 낸다. Director 업데이트는 GRPO식 그룹 상대 추정과 leave-one-out 기준선을 사용해 같은 과제 안 롤아웃 간 차이를 학습한다.

어떻게 쓰나

Recursive Learnability는 외부 루프가 내부 루프의 목표를 정하는 하향 채널이다. Proposer는 후보 스킬을 숨긴 상태에서 롤아웃 결과가 계속 갈리는 과제, 즉 성공 확률이 0이나 1에 붙지 않고 중간에 있는 과제를 고르도록 보상받는다. 논문은 이를 성공 확률 p에 대한 곡률 4p(1-p)로 정의하며, 이 값은 p가 0 또는 1일 때 0, 0.5일 때 최대가 된다. 실제 보상은 숨김 부분에서 측정한 값을 베타 사전분포로 보정하고, 붕괴한 그룹에는 페널티를 주며, 가시 부분만 성공하고 숨김 부분이 실패하면 할인한다. Proposer는 이 보상을 바탕으로 기존 분포에 KL 정규화를 건 Gibbs 커리큘럼 쪽으로 이동한다.

전제와 한계

Skill Withdrawal은 내부 루프가 외부 루프에 증거를 올려 보내는 상향 채널이다. 무작위로 스킬을 숨긴 덕분에 각 롤아웃 그룹은 무작위 블록 실험이 되고, 가시 부분 평균에서 숨김 부분 평균을 뺀 값 zx는 해당 스킬의 이득을 편향 없이 추정한다. 저자들은 스킬별 대비를 베이지안 부트스트랩 사후분포로 모으고, 철회에 가장 가까운 스킬을 Thompson 샘플링으로 시험한다. 최소 기록 수를 넘고 사후 기대 이득 E[Δ+]가 ε 이하이면 철회하며, 반대로 Δ≤0일 사후확률이 α 이하이면 채택한다. 두 부분이 모두 실패한 그룹은 다음 스킬로 증류되어, 실패가 스킬이 되고 스킬이 파라미터로 흡수되는 순환이 만들어진다.

이론적으로 저자들은 제로 스킬 성공률이 시작 성공률에 내부 루프의 이득 Γt를 더하고 외부 루프의 철회 비용 Ct를 뺀 합으로 표현된다고 제시한다. 또 작은 신뢰영역에서는 과제의 성공 이득이 Recursive Learnability와 함께 커지고, 무작위 숨김이 스킬 이득의 짝지은 대비를 편향 없게 만든다고 주장한다.

실험은 질의응답, 수학, 코드, 상호작용 과제의 12개 벤치마크로 구성되며, 6개는 학습과 분포 내 테스트에, 6개는 분포 외 홀드아웃에 쓰인다. 비교 대상은 직접 프롬프팅, 백본 학습, 워크플로 탐색, RL 학습 오케스트레이션, 스킬 내재화, 스킬 진화를 포함한 자기대국 등 6개 계열이다. 본문에 따르면 R2Orch는 12개 벤치마크 모두에서 베이스라인을 앞섰고, 홀드아웃 절반에서도 제로 스킬 상태로 우위를 유지했다. 특히 AIME 2026, WebShop, ALFWorld에서 격차가 컸고, Qwen3.5-9B Workers로 학습한 Director는 재학습 없이 6개 다른 Worker 백본을 모든 벤치마크에서 개선했으며 IID 범위를 25.7점에서 6.4점으로 좁혔다. OOD 평균 이득은 상호작용 과제에서 가장 크고 수학에서는 가장 작았다. 12번의 철회가 모두 사후 E[Δ+] 0.019 이하로 기준을 통과했고, 중간 성공률 과제의 새 그룹은 p=0이나 p=1보다 혼합 결과를 약 4배 더 자주 냈다. 본문에 실린 실험 절에서는 벤치마크별 정확도 표 전체가 제시되지 않아 확인 가능한 수치만 정리했다.

개발자 관점에서 이 논문은 멀티에이전트 오케스트레이션에서 스킬 프롬프트를 영구 자산이 아니라 훈련용 발판으로 다루는 방법을 보여준다. 스킬을 숨긴 롤아웃과 보인 롤아웃을 같은 그룹에 섞어 스킬의 순효과를 추정하고, 제로 스킬 성능을 배포 목표로 삼는 식이다. 다만 초기 스킬은 데이터셋마다 사람이 맞춰야 하며, 새 도메인에서 초기 스킬을 자동으로 만드는 것은 열린 문제로 남아 있다. 또한 자기개선 오케스트레이터는 도구 오케스트레이션 에이전트와 같은 오용 위험이 있어 샌드박스 실행을 권고한다.