SERA는 재귀 에이전트의 분해와 해결과 자기평가를 한 정책에 학습시킨다

무엇인가

재귀 언어모델 에이전트는 하나의 루트 과제를 하위 과제로 쪼개고 같은 정책의 자식 인스턴스에 위임해 작업 트리를 만든다. 최종 결과는 검증할 수 있지만 에이전트가 스스로 만든 중간 하위 과제에는 정답이 없고, 기존처럼 노드마다 검증기나 LLM 판정자를 부르면 비용이 크고 분해 품질은 보지 못한다. 논문은 재귀 에이전트가 하나의 가중치 안에서 분해, 해결, 평가라는 세 능력을 함께 배워야 하며 각각 별도 훈련 신호가 필요하다고 주장한다.

어떻게 동작하나

SERA의 실행 보상은 부모가 위임 전에 하위 과제의 가중 성공 기준 루브릭을 만들고 자식 실행 전에 고정하는 데서 시작한다. 자식이 끝나면 같은 정책을 그래디언트 없이 호출해 루브릭을 채점한다. 채점은 하위 과제 완료 여부를 나타내는 이진 게이트 g와 기준별 점수 c를 내고, 노드 점수는 s=g∑w c다. 루트는 환경 보상 R을 쓰고 나머지 노드는 s를 실행 보상으로 쓴다. 실행 단계에서 루브릭 생성과 채점에는 그래디언트를 주지 않고 실행 궤적만 업데이트한다.

무엇과 다른가

루브릭 생성은 검증된 결과에 대해 성공을 실패보다 높게 순위 매기도록 훈련한다. 위임 지점에서 환경 상태를 복제해 B개 롤아웃을 뽑고, 하나는 원래 실행, B-1개는 반사실 훈련 데이터로 쓴다. 각 롤아웃의 검증 결과 y와 고정 루브릭 점수 s로 y_i>y_j인 쌍에 대해 max(0, δ−s_i+s_j)를 최소화한다. 루트 과제 보상으로 루브릭을 훈련하면 공유 가중치 때문에 루브릭과 해결이 함께 점수만 부풀릴 수 있어서, 검증 결과에 정렬시키는 것이다. 분해에는 리프 커버리지 보상을 준다. 위임 이벤트의 하위 트리 리프 수를 전체 트리 리프 수로 나눈 비율에 루트 성공 보상 R을 곱하며, 실패한 트리의 위임은 0이고 위임 목표 토큰에만 적용한다. 세 신호는 LOO 베이스라인과 CISPO로 번갈아 최적화하며 비율은 실행:분해:루브릭 = 16:2:2다.

어떻게 쓰나

실험은 Qwen3-4B-Instruct-2507을 완전 미세조정해 진행했다. TextCraft-Synth는 조합 깊이별 네 난이도가 있고 하위 과제마다 결정적 프로그램 검증기가 있어 외부 판정자 없이 루브릭을 훈련할 수 있다. TextWorld-Sync는 공유 상태에서 의존성 연쇄, 자원 충돌, 부하 분산, 계층 분해 등 일곱 과제군을 다루며 하위 과제를 독립 검증할 수 없어 LLM 판정자의 이진 라벨로 루브릭을 훈련한다. 비교 대상은 프롬프팅 단일·다중 에이전트, 단일 에이전트 RL인 GRPO와 CISPO, 재귀 다중 에이전트 RL인 RAO다. 각 에이전트는 최대 20스텝, 재귀 깊이 3까지 실행했고 TextCraft-Synth는 250, TextWorld-Sync는 400 옵티마이저 업데이트를 했다.

전제와 한계

SERA는 TextCraft-Synth에서 평균 74.31%로 두 번째, TextWorld-Sync에서 65.07%로 첫 번째 성공률을 기록했고 RAO보다 각각 5.38점, 13.14점 높았다. 프롬프트로 위임 인터페이스만 노출한 다중 에이전트는 단일 에이전트보다 TextCraft-Synth 3.27점, TextWorld-Sync 3.79점만 나아갔지만, RAO는 단일 에이전트 GRPO보다 39.97점과 12.64점, CISPO보다 35.86점과 13.07점 높았다. 논문은 이 차이를 위임 자체를 명시적으로 훈련해야 한다는 근거로 제시한다.

구성 요소 분리에서 훈련하지 않은 루브릭 실행 보상만 쓰면 TextCraft-Synth 평균은 3.33점 오르는 데 그쳤고 TextWorld-Sync에서는 RAO보다 0.83점 낮았다. 여기에 루브릭 생성을 훈련하면 평균이 TextCraft-Synth 2.58점, TextWorld-Sync 9.16점 올랐고 TextCraft-Synth의 Hard와 Extreme은 각각 6.62점, 7.60점 올랐다. 반대로 RAO에 루브릭 훈련만 더하고 이진 실행 보상을 유지한 RAO+RT는 TextCraft-Synth 72.47%로 선전했지만 TextWorld-Sync 45.62%로 RAO 51.93%보다 떨어졌다. 분해 보상은 SERA w/o Decomposition 대비 TextWorld-Sync 평균 4.81점, Hard 8.58점, Extreme 17.43점을 올렸으나 TextCraft-Synth에서는 0.53점 낮았다. 외부 감독은 TextCraft-Synth 프로그램 검증기 호출 550.94K에서 257.96K로 약 2.1배, TextWorld-Sync LLM 호출 147.80K에서 35.79K로 4.1배, 입력 토큰 633.80M에서 125.32M로 5.1배 줄었다. 루브릭 훈련을 빼면 외부 LLM 호출은 0이지만 TextWorld-Sync 성공률은 51.10%로 SERA 65.07%에 못 미친다.

루브릭을 하위 과제별로 만드는 것도 중요했다. 훈련 없이 정책이 생성자와 채점자를 모두 하면 72.26%로 Kimi가 둘 다 하는 73.10%와 0.84점 차이였다. 검증 결과로 루브릭을 훈련하면 74.84%로 올라 Kimi 둘 다보다 1.74점 높았고 Hard 79.90 대 77.45, Extreme 11.52 대 4.17이었다. 모든 하위 과제에 하나의 전역 루브릭을 재사용하면 67.77%로 4.49점 떨어졌다. 점수 분산을 보상하는 판별성 신호는 65.77%로 9.07점 떨어져, 검증된 성공-실패 비교에 정렬하는 것이 중요하다는 결과를 냈다. 추론 시에는 학습된 루브릭으로 트리 탐색 후보를 고른다. TextWorld-Sync에서 정책 판정자 선택은 평균 65.07%를 67.50%로 올려 2.43점을 더했고 Extreme은 22.86%에서 28.95%로 올랐다. 이 정책 판정자는 Kimi-K3 판정자와 거의 같은 67.50% 대 67.29%를 기록했다.

개발자에게 이 논문은 위임 인터페이스만 붙인 재귀 에이전트가 저절로 좋아지지 않는다는 점을 수치로 보여준다. 위임 기반 에이전트를 훈련할 때는 실행 보상용 루브릭을 자식 실행 전에 고정하고, 루브릭 생성은 검증된 성공-실패 비교로 정렬하며, 점수 분산만 보상하지 말아야 한다. 검증기가 없거나 비싼 환경에서는 판정자를 루브릭 생성 훈련에만 제한적으로 쓰고 실행 보상은 학습된 자기평가로 대체하는 방식이 비용과 성능의 절충이 된다. 다만 저자들은 Qwen3-4B와 두 합성 벤치마크만 실험해 더 큰 모델과 실제 에이전트 과제로의 일반화가 미검증이라고 밝힌다. 정책이 루브릭을 쓰고 채점까지 하므로 자기평가가 실제 성공과 어긋나게 게임될 수 있고, 더 희박하거나 노이즈가 큰 검증에서의 견고성과 루브릭 훈련의 검증 결과 의존성은 열린 문제다. 리프 커버리지 보상이 모든 리프를 동등하게 취급하는 점도 한계로 남는다.