Self-Credit이 그룹 내 재조정으로 장기 에이전트 RL 크레딧을 정교화한다

무엇인가

이 논문은 LLM 에이전트를 장기 호라이즌 도구 사용·검색·딥리서치 작업에 RLVR로 학습할 때, 최종 정답 하나에서 나오는 이진 보상만으로는 어느 턴의 행동이 성공이나 실패에 기여했는지 가르치기 어렵다는 문제를 다룬다. GRPO 같은 그룹 기반 RL은 한 롤아웃의 어드밴티지를 모든 모델 생성 토큰에 동일하게 방송하므로, 궤적이 길어질수록 한 개의 결과 보상이 더 많은 턴을 감독해야 한다. 기존의 외부 판정 모델이나 학습된 크리틱은 추가 감독을 필요로 하고, 긴 문맥에서 비용이 커질 수 있다는 점이 배경으로 제시된다.

어떻게 동작하나

Self-Credit은 그룹 기반 RL에 압축(compaction)과 자기 생성 크레딧을 결합한다. 문맥이 임계값 C에 도달하면 정책 모델 자체가 이전 상호작용을 요약하고, 중요한 증거가 있던 이전 턴의 인덱스를 인용하게 한다. 요약은 긴 히스토리를 대체해 문맥을 압축하고, 인용 집합은 별도 판정 모델 없이 턴 수준 크레딧으로 쓰인다. 학습 중에는 형식이 잘못된 요약이나 인용에 패널티를 주고, 마지막 세그먼트를 위해서도 롤아웃 끝에 인용을 생성하도록 프롬프트한다. 목적함수는 압축으로 나뉜 세그먼트들의 학습 가능 토큰에 롤아웃 단위 어드밴티지를 적용하는 SUM-RL 형태로 확장된다.

무엇과 다른가

핵심은 같은 질문에 대한 G개 롤아웃 안에서 인용된 턴을 비교하는 그룹 내 재조정이다. 검색 행동처럼 검색된 문서 집합이 크게 겹치는 턴은 롤아웃 간에 매칭될 수 있다고 보고, 어떤 턴이 성공 롤아웃과 실패 롤아웃에서 각각 몇 번 인용됐는지 센다. 반복 성공(성공 롤아웃 τ+개 이상, 실패 0)에는 양의 어드밴티지를 더 키우는 가중치 w_s를, 혼합 결과에는 성공 롤아웃의 β 업웨이트를 제거하는 1을, 반복 실패(실패 롤아웃 τ-개 이상, 성공 0)에는 음의 어드밴티지를 강화하는 w_f를 준다. 그 외 양의 어드밴티지는 β, 음의 어드밴티지는 1, 인용되지 않은 턴은 1이다. 실험에서는 τ+=τ-=2를 쓴다.

어떻게 쓰나

재조정된 가중치는 어드밴티지 재가중에 쓰인다. 한 턴 안의 모든 토큰은 A_hat_t,l = A_hat * w_t로 같은 턴 가중치를 받고, 성공 롤아웃에서는 요약 턴과 최종 답변 턴이 자동으로 인용된 것으로 처리된다. 반복 실패 패널티 w_f는 학습 초반에 강하게, 후반에 약하게 하는 어닐링 스케줄을 둬서 초반에는 반복적으로 실패하는 검색 행동을 억제하고 후반에는 탐색을 허용하려 한다. 재조정은 롤아웃 간 매칭이 가능한 턴에만 적용되고, 요약 턴과 최종 답변 턴은 비교에서 제외된다.

전제와 한계

실험은 BrowseComp-Plus, GAIA 텍스트 전용, xBench-DeepSearch에서 이뤄졌다. 모델은 Qwen3-8B, Qwen3-32B, Gemma4-E4B를 thinking 모드로 학습했고, BrowseComp-Plus는 747개 학습·83개 테스트 예제와 정적 코퍼스/인덱스를 썼으며, 딥리서치는 OpenResearcher의 1K QA와 정적 브라우저를 학습에 사용했다. 비교 대상은 zero-shot, GRPO, GiGPO, SUPO, ECHO다. BrowseComp-Plus에서 Self-Credit은 Qwen3 8B와 32B에서 베이스 모델 대비 각각 37.0점, 36.2점 향상했고, 가장 강한 에이전트 RL 베이스라인 대비 각각 8.5점, 5.6점 앞섰다. GAIA에서는 최강 베이스라인 대비 4.9점, xBench-DeepSearch에서는 4.7점 향상했다.

절제 실험은 반복 실패 롤아웃에 대한 재조정이 특히 중요하다는 것을 보여준다. 이를 제거하면 BrowseComp-Plus 정확도가 Qwen3-32B에서 47.0%에서 34.9%로, Qwen3-8B에서 40.6%에서 26.5%로 떨어진다. 자기 생성 인용 대신 모든 턴이나 무작위 턴에 크레딧을 주면 Qwen3-8B 정확도가 각각 27.7%, 32.5%로 낮아진다. 분석에서는 Self-Credit이 Gold Searched, Gold Opened, Answer Recall에서 베이스라인보다 높았고, 인용 품질도 ECHO와 무작위·전체 인용 베이스라인보다 높았다. 학습 후반에는 ECHO보다 적은 턴을 쓰면서도 높은 학습 보상을 보였고, GRPO와 GiGPO는 더 짧은 궤적과 낮은 보상을 보였다.

개발자 관점에서 이 방법은 그룹 롤아웃을 이미 돌리는 GRPO 계열 학습 파이프라인, 문맥 압축, 턴 인덱스 인용 형식, 롤아웃 간 행동 매칭이 갖춰진 환경에서 유용하다. 다만 자기 생성 인용만으로 최적화하면 모델이 모든 턴을 인용하는 식으로 보상을 해킹할 수 있어 그룹 통계로 재조정하는 장치가 필수라는 점을 확인해야 한다. 또한 검색 문서 겹침 같은 매칭 규칙, τ+·τ- 임계값, 요약·최종 답변 턴 제외 규칙, LLM-as-a-judge 평가 설정이 성능에 직접 영향을 준다.

본문에 명시된 전제는 롤아웃 간에 일부 턴이 반복 등장해 매칭 가능하다는 것과 한 롤아웃 안의 서로 다른 턴이 최종 결과에 독립적으로 기여한다는 것이다. 그래서 재조정은 매칭 가능한 턴에만 적용되고 요약 턴과 최종 답변 턴은 비교에서 빠진다. 또한 자기 생성 피드백은 원래 보상 해킹과 불안정성을 일으킬 수 있다고 저자들이 인정하며, Self-Credit은 이를 그룹 내 성공·실패 통계로 완화하는 접근이다. 원문에 별도의 한계 절이 제시된 것은 아니고, 위 전제들이 방법의 적용 범위를 규정한다.