GRSE가 같은 질문의 반복 실행을 비교해 책임 있는 에이전트 스킬을 찾아낸다

무엇인가

이 논문은 모델 가중치는 고정한 채 자연어 스킬을 고쳐 쓰는 협력형 언어모델 에이전트 팀에서, 공유된 팀 보상을 어느 에이전트의 어느 스킬에 돌려야 하는지를 다룬다. 기존 방법은 한 궤적에 스킬이 등장했는지를 크레딧의 근거로 삼는데, 저자들은 등장이 책임은 아니라고 지적한다. 성공한 실행에 해로운 스킬이 함께 활성화되어 있으면 그 스킬이 긍정 크레딧을 받을 수 있고, 반대로 답을 낸 에이전트가 아니라 검색을 담당한 에이전트의 행동이 바뀌어야 하는 경우도 있다. 예를 들어 추론 에이전트가 틀린 답을 냈더라도 원인은 검색 에이전트가 증거를 놓친 것일 수 있다.

어떻게 동작하나

GRSE는 훈련 없는 프레임워크로, 한 번의 반복을 네 단계로 구성한다. 먼저 같은 질문에 대해 같은 스킬 라이브러리 아래에서 G=4개의 완전한 팀 실행을 새 문맥으로 샘플링한다. 각 실행의 보상 r은 [0,1]이고, 질문별 그룹 평균과 표준편차로 상대 이점 A=(r-평균)/(표준편차+ε)을 계산하며 표준편차가 ε 이하이면 0으로 둔다. 다음으로 그룹 상대 비평자가 네 실행을 함께 읽고 에이전트별로 비교해, 결과 차이를 낸 행동에 에이전트-스킬 크레딧을 배정한다. 크레딧은 helped, redundant, harmful, neutral 레이블과 근거, 개선 제안, 중복·충돌 링크, [-1,1]의 유용도 점수를 가진다.

무엇과 다른가

비평자의 진단은 검증 가능한 형태로 구조화된다. 진단 d는 에이전트, 스킬 식별자, 실패 유형, 실패 단계 참조, 선택적 성공 단계 참조, 설명, 수정안, 행동을 담는다. 실패 유형은 skill not followed, skill defect, missing capability, handoff error, evidence missing, answer format, tool failure, uncertain attribution의 여덟 가지이며, 행동은 refinement, induction, no edit 중 하나다. 인터페이스는 단계 참조가 실제로 존재하고 해당 에이전트와 맞는지, 실패 참조는 비만점 실행을, 성공 참조는 만점 실행을 인용하는지 확인한다. refinement는 인용된 실패 롤아웃에 해당 에이전트 소유 스킬이 있고 크레딧과 맞아야 하며, 도구 실패나 불확실한 책임은 no edit만 허용한다. 이후 질문 간 집계에서 기존 스킬은 MASkills의 집계 연산자로 편집 방향을 만들고, 새 스킬 유도는 에이전트·실패 유형·스킬 대상·행동으로 패턴을 묶어 서로 다른 질문 수로 지지도를 계산한다. 반복 실행은 독립 증거로 세지 않는다. 최종적으로 MASkills의 편집 연산자와 검증 게이트를 써서 스킬을 다듬고, 가지치기하고, 통합하고, 새로 유도하며, 후보 라이브러리는 업데이트 전 팀과 검증 세트에서 비교해 기준 점수보다 δ 이상 나빠지지 않을 때만 에이전트별로 채택된다.

어떻게 쓰나

실험은 HotpotQA의 distractor-hard와 LoCoMo의 multi-hop, temporal, open-domain, single-hop 범주에서 진행됐다. 두 에이전트가 순차적으로 협력하고 두 번째 에이전트가 최종 답을 내며, 액터는 Qwen3.8-27B와 Gemma-4-31B-it, 비평자와 스킬 최적화자는 고정된 Qwen3.8-27B다. 모든 스킬 진화 방법은 빈 라이브러리에서 다섯 번 반복하고, GRSE는 질문당 네 팀 궤적을, MASkills는 한 궤적을 샘플링한다. 최종 라이브러리는 temperature-zero로 평가하며 두 에이전트 방법은 세 번의 훈련 실행 평균으로 보고한다.

전제와 한계

HotpotQA에서 GRSE는 Qwen3.8에서 83.7 F1으로 MASkills의 80.6 F1을 +3.1 앞섰고, Gemma-4에서는 82.8 대 82.3으로 +0.5 앞섰다. Qwen3.8에서는 단일 모델 최강 베이스라인인 Self-Refine의 84.1 F1에 0.4 F1 차이로 근접했다. LoCoMo에서는 본문 5.1과 초록 기준으로 open-domain을 제외한 모든 범주에서 MASkills를 앞섰다. multi-hop에서 Qwen3.8은 +6.7 F1과 +5.3 BLEU, Gemma-4는 +3.2 F1과 +2.8 BLEU를 얻었고, temporal은 Qwen3.8 73.4 F1, Gemma-4 67.4 F1로 두 액터 모두 최고였다. single-hop은 구조화 진단을 뺀 GRSE 변형이 두 에이전트 방법 중 최고로 Qwen3.8 67.4 F1, Gemma-4 57.1 F1을 냈다. open-domain은 52문항으로 가장 작은 범주이며 두 액터 모두 MASkills가 우세했다. 빈 라이브러리 대비로는 GRSE가 도움을 주는 곳에서 MASkills가 해를 끼치는 경우도 있었는데, Gemma-4에서 MASkills는 temporal에서 -4.3 F1, Qwen3.8에서 multi-hop에서 -3.0 F1로 빈 라이브러리보다 낮아졌고 GRSE는 같은 multi-hop에서 +3.7 F1을 얻었다. 다만 결론 문단에는 multi-hop을 제외한다고 적혀 있어 본문·초록과 표기 불일치가 있다.

오염된 라이브러리 실험은 LoCoMo single-hop 453문항과 Qwen3.8 액터에서 진행됐다. 각 에이전트가 도움 되는 스킬 하나와 해롭거나 무관한 스킬 두 개를 가진 상태에서 시작했고, GRSE는 도움 되는 스킬만 있을 때의 66.7 F1에 거의 맞는 66.9 F1을 회복하며 abstention 비율을 9.7에서 4.6으로 절반가량 줄였다. MASkills는 시작점보다 약간 낮게 끝났다. 심어진 스킬 다섯 개의 첫 업데이트 후 유용도 부호를 보면 GRSE는 다섯 개 모두 올바른 부호를 주고 도움·해롭 스킬을 0.31만큼 분리했지만, MASkills는 다섯 중 두 개를 틀리고 분리 폭이 0.03에 그쳤다. 특히 Agent 2의 해로운 verbatim-evidence-guard를 MASkills는 긍정 크레딧을 주며 유용도를 계속 올렸고, GRSE는 해롭다고 표시해 3회차에 가지치기했다. HotpotQA와 LoCoMo multi-hop 사이의 스킬 전이에서도 GRSE의 전이 라이브러리는 빈 라이브러리보다 +1.3, +1.8 F1 좋았고, in-domain 라이브러리는 전이 라이브러리보다 +1.9, +1.2 F1 좋았다. MASkills는 in-domain이 전이보다 -3.5, -2.1 F1 낮고 빈 라이브러리도 넘지 못했다. 절제 실험은 LoCoMo 네 범주가 공유하는 라이브러리, Qwen3.8, 842개 테스트 문항에서 GRSE 평균 F1 54.9와 BLEU 42.2를 냈고 빈 라이브러리보다 +2.9 F1이었다. 구조화 진단을 빼면 -1.0 F1, G=1로 줄이면 -0.8 F1, DAPO 필터를 쓰면 -0.5 F1과 -0.6 BLEU였고, 데이터셋 레이블을 조건으로 쓰는 변형은 평균 53.0 F1로 가장 낮았다.

개발자 관점에서 이 논문은 모델을 재훈련하지 않고 자연어 스킬 라이브러리를 운영하는 멀티에이전트 시스템에 직접 relevant하다. 성공한 실행에 등장했다는 이유로 스킬을 칭찬하면 해로운 스킬이 살아남고, 최종 답을 낸 에이전트만 탓하면 검색·핸드오프의 결함을 놓친다. GRSE처럼 같은 질문의 여러 실행을 묶어 비교하고, 실패 유형과 인용 단계, 편집 행동을 검증하며, 서로 다른 질문의 지지도로 집계하는 방식은 스킬 업데이트의 오귀속을 줄이는 운영 패턴이 된다. 실무에서는 훈련 비용과 검증 세트 게이트를 함께 두고, 검색 근거가 있는 답인지, abstention이 늘었는지, 이미 맞던 답을 깨는 비율이 커졌는지를 추적해야 한다.

저자들이 밝힌 한계는 분명하다. GRSE는 질문당 G=4회 실행으로 MASkills 대비 액터 토큰 비용이 1.6~2.9배, wall-clock 시간이 1.3~1.8배 늘어난다. 이 비용은 훈련 단계에 국한되고 테스트 추론은 바뀌지 않는다. 또한 두 에이전트의 순차 협력 팀, 두 개의 질의응답 벤치마크, 두 개의 오픈웨이트 액터, 하나의 비평자 모델에서만 평가했다. 더 큰 팀, 비순차 통신, 도구 사용이 많은 긴 작업, 다른 비평자 모델은 향후 검증 과제로 남아 있다.