에이전트 강화학습 자기증류 기법 10종을 GRPO와 같은 조건에서 실측 비교한다

무엇인가

에이전트 강화학습(agentic RL) 분야에서 자기증류(self-distillation) 기법이 빠르게 늘고 있다. 문제는 그 기법들이 정말 더 나은지를 판단할 근거가 약하다는 점이다. 기존 평가는 서로 다른 실험 조건에서 발표된 베이스라인 점수를 그대로 재사용하는 경우가 많고, 같은 시기에 나온 기법들을 직접 맞붙여 비교한 사례는 드물며, 학습 안정성과 계산 비용에는 거의 관심을 기울이지 않았다. 그 결과 보고된 성능 향상이 어디서 왔는지, 각 기법의 실질적 강점과 약점이 무엇인지가 가려진다. 에이전트 학습 자체가 비용이 큰 작업이라, 비교의 공통 기준을 마련하는 일이 그 자체로 연구 과제가 된다.

어떻게 동작하나

이 논문은 그 공통 기준을 세우기 위한 벤치마크 연구다. 대표적인 자기증류 기법 10종을 GRPO와 나란히 놓고, ALFWorld, ScienceWorld, Search-QA, WebShop 네 환경에서 세 가지 모델 크기로 비교한다. 최종 과제 성능만 보지 않고 학습 진행 과정, 안정성, 측정된 계산 비용까지 함께 살핀다.

무엇과 다른가

실험 규모는 132회의 학습 실행과 총 12,124.4 H800 GPU시간이다. 사전학습 백본과 학습된 11개 기법 모두에 대해 8개의 롤아웃 시드로 반복 평가를 수행했다.

어떻게 쓰나

첫 번째 발견은 GRPO 대비 이득의 범위가 제한적이라는 것이다. 어떤 설정에서도 GRPO를 일관되게 앞서는 기법은 없었다. 두 번째는 강한 최종 성능이 불안정한 학습을 가릴 수 있다는 점이다. 최종 점수가 좋다는 사실만으로 학습 과정이 안정적이었다고 결론 내릴 수 없다.

전제와 한계

세 번째 발견은 추가 학습 비용이 성능 향상으로 일관되게 이어지지 않는다는 것이다. 비용을 더 들였다고 해서 더 좋은 결과가 보장되지 않는다.

실무 관점에서 이 연구가 주는 신호는 분명하다. 자기증류 기반 학습 기법을 검토할 때는 논문에 실린 최종 점수만 보지 말고, 비교가 동일 조건에서 이뤄졌는지, 학습이 안정적으로 진행됐는지, 늘어난 GPU 비용만큼 성능 이득이 돌아오는지를 함께 확인해야 한다. 적어도 이 벤치마크가 다룬 범위에서는 GRPO가 여전히 강한 기본값으로 남는다.

저자들은 이 벤치마크를 공정하고 포괄적인 비교의 기반으로 제시하며, 연구가 신뢰할 수 있고 비용 효율적인 개선 방향으로 나아가도록 이끄는 것을 목표로 삼는다. 다만 비교 범위는 네 개 환경과 세 가지 모델 크기, 10개 대표 기법에 한정된다는 점을 전제로 읽어야 한다.