Mosaic가 다중 세션 에이전트 강화학습의 세션 배분을 최적화한다

무엇인가

에이전트 강화학습(Agentic RL)은 대부분 하나의 롤아웃이 하나의 연속적으로 누적된 컨텍스트 안에서 전개되는 단일 세션 궤적을 가정한다. 그런데 추론 시점에 쓰이는 컨텍스트 압축(context compaction)이나 서브에이전트 포킹(subagent forking) 같은 기법은 하나의 궤적을 여러 세션으로 쪼갠다. 압축은 실행 이력을 요약해 이후 행동을 조건짓는 프리픽스를 다시 쓰면서 새 세션을 열고, 포킹은 전역 목표를 서브에이전트에 위임해 분기 세션을 만든다. 결과적으로 학습 가정과 추론 실행 사이에 불일치가 생기고, 이것이 일관성과 최적화 잠재력을 제한한다는 것이 이 논문의 출발점이다. 저자들은 궤적 안에 임의 개수의 세션을 허용하는 Multi-Session Agentic RL 설정을 제안한다.

어떻게 동작하나

기존에 널리 쓰이던 방식은 브로드캐스팅이다. 궤적 수준의 결과 보상이나 어드밴티지를 그 궤적에 속한 모든 세션, 모든 학습 토큰에 그대로 복제한다. 세션 수와 무관하게 롤아웃마다 하나의 토큰 가중 궤적 목표를 만들어 프롬프트 그룹 내 동일 가중치를 유지한다는 장점은 있지만, 저자들은 이것이 조악한 감독에 그치고 세션 간 최적화를 명시적으로 통제하지 못한다고 본다. 궤적이 여러 세션으로 늘어날수록 학습 신호가 엉뚱한 곳을 겨냥하게 된다는 것이다.

무엇과 다른가

Mosaic의 첫 번째 축은 세션 인지 궤적 수준 어드밴티지 추정이다. 세션 수 N_i를 탐색 범위와 구조적 복잡도의 대리 지표로 쓰되, 이를 직접 보상으로 삼지는 않는다. 대신 세 가지 순서 제약을 둔다. 성공 궤적은 세션이 많을수록 실행 비용이 커서 어드밴티지가 낮아지고(C1), 실패 궤적은 세션이 적으면 탐색 부족으로 어드밴티지가 낮아지고 많으면 높아지며(C2), 과제 결과 보상이 지배적 신호로 남아야 한다(C3). 구현은 결과별로 프롬프트 그룹을 성공·실패 부분군으로 나눈 뒤, 각 부분군 안에서 세션 수의 중심화 순위 u_i를 구해 α = -ρu_i로 어드밴티지를 변조하는 방식이다. ρ는 0 이상 1 미만이라 변조 계수는 항상 양수이고, 따라서 결과 어드밴티지의 부호는 바꾸지 않고 크기만 조절한다. 그룹 전체가 같은 결과를 받아 궤적 어드밴티지가 0이 되는 동질 그룹에서는 대체 신호를 넣는데, 전부 성공이면 -β1·u_i, 전부 실패면 β0·min(u_i, 0)을 쓴다. 실패 그룹에는 보수적으로 적용해 어떤 실패 궤적도 양의 어드밴티지를 받지 않게 한다.

어떻게 쓰나

두 번째 축은 세션 수준 어드밴티지 셰이핑이다. 각 세션을 상태 전이로 보고, 정답 y*에 대한 롤아웃 정책의 평균 로그우도를 잠재 함수 Φ로 정의한 뒤, 세션의 출력 상태와 입력 상태의 Φ 차이를 그 세션의 한계 정보 이득, 즉 즉시 보상으로 삼는다. 검색·브라우징으로 증거를 얻는 일반 세션, 정보를 보존하며 잡음을 줄이는 압축 세션, 서브태스크 실행과 결과 전달 품질에 좌우되는 서브에이전트 세션은 한계 이득 분포가 서로 다르기 때문에, 세션 유형별로 그룹 내에서 따로 정규화한다. 마지막 세션은 정답 생성 자체가 확률을 급등시켜 분포를 교란하므로 셰이핑 신호를 0으로 둔다. 최종 세션 어드밴티지는 궤적 어드밴티지에 정규화된 셰이핑 신호를 λ_r만큼 더한 형태다. 궤적 수준은 장기적·결과 지향 전역 신호, 세션 수준은 단기적 국소 한계 효과를 담당하는 계층적 목표가 된다.

전제와 한계

실험은 BrowseComp(1,266문항)와 Qwen3.5-4B, ReAct 스타일 루프로 진행했다. 도구는 Serper 기반 search와 Jina Reader 기반 visit 두 가지이고, 정답 검증은 deepseek-v4-flash가 맡는다. 세션당 128K 토큰 제한, 학습 데이터는 REDSearcher_RL_1k(1,000개 심층 검색 과제), 1 에폭, 롤아웃 배치 16, 그룹 크기 8, 하이퍼파라미터는 ρ=0.2, β0=0.1, β1=0.2, λ_r=0.1이다. 비교 대상은 RL 없는 초기 모델, 단일 세션 GRPO, 단일 세션 GRPO에 다중 세션 테스트타임 스케일링을 붙인 것, 브로드캐스팅, Mosaic, 그리고 턴 수준에 정보 이득을 적용한 IGPO다. Mosaic는 압축과 서브에이전트 두 시나리오 모두에서 모든 베이스라인을 앞섰고, 브로드캐스팅 대비 정확도 상대 개선이 최대 10.1%에 이르면서 궤적당 평균 세션 수는 3.17에서 2.35로 줄었다. IGPO보다도 성능이 좋으면서 한계 이득 계산의 월타임을 크게 줄였다.

어블레이션에서는 궤적 수준 세션 인지 어드밴티지와 세션 수준 셰이핑이 각각 기여하며, 둘을 합치면 압축 시나리오에서 뚜렷한 추가 이득이, 서브에이전트 시나리오에서는 완만한 이득이 나타났다. 저자들은 그 이유로 압축 궤적은 선형인 반면 서브에이전트 궤적은 DAG에 가까운 비선형 구조라 한 세션이 여러 후속 세션에 영향을 줄 수 있고, 한계 이득으로 추정한 즉시 보상이 실제 최종 기여와 어긋날 수 있다는 점을 든다. 분석 파트에서는 혼합 결과 그룹에서 성공 궤적의 어드밴티지가 세션 수에 따라 감소하고 실패 궤적은 증가하며 성공 궤적이 여전히 더 높은 값을 유지함을 확인했고, 유형별 정규화가 압축 세션에 대한 체계적 편향을 줄인다는 것도 보였다. 또한 브로드캐스팅은 세션 수·품질·배분 지표가 모두 늘었지만 Mosaic는 세션 수가 더 늘지 않으면서 품질과 배분이 개선됐다. 즉 성능 향상은 세션 수의 단조 증가가 아니라 세션 효용과 배분 개선에서 온다.

개발자 관점에서 이 논문이 유용한 지점은, 컨텍스트 압축이나 서브에이전트 분기를 쓰는 에이전트 하네스를 강화학습으로 학습시킬 때 궤적 어드밴티지를 그대로 복제하는 관행이 최적이 아닐 수 있다는 것이다. 세션 수를 비용 신호로 쓰고 세션별 기여를 따로 보정하면 같은 성능을 더 적은 세션으로 얻을 수 있다는 것이 실험으로 제시된다. 다만 세션 수 자체는 탐색 강도나 실행 비용과 본질적으로 연결된 값이 아니고, 추론 시점에는 모델이 궤적이 몇 세션으로 끝날지, 성공할지 알 수 없다는 점을 저자들도 인정한다. 세션 유형별 정규화, 마지막 세션 제외, 동질 그룹 대체 신호 같은 설계 선택은 그대로 옮기기 전에 자신의 하네스 구조에서 재검증할 필요가 있다.

저자가 밝힌 한계와 전제도 분명하다. 다중 세션 궤적을 만들 공개 학습 데이터가 드물어 실험의 규모와 재현성이 제약된다는 점, 압축·포킹·병합을 아우르는 통합된 상태 전이 학습과 반복 전이에서의 정보 손실·오류 누적 연구가 남아 있다는 점, 비동기 학습에서는 궤적 길이와 완료 시점 편차가 커져 정책 노후화와 그룹 내 비교 왜곡, 선택 편향이 생길 수 있다는 점을 지적한다. 이번 실험은 롤아웃과 학습을 번갈아 수행하는 코로케이티드 설정으로 비동기 간섭을 줄여 최적화 신호의 효과만 분리해 봤다는 전제 위에 있다. 또한 오케스트레이션이 부분적으로 블랙박스인 하네스(예: Claude Code) 내부에서의 RL, 추론 토큰이나 도구 응답을 버리는 것처럼 컨텍스트 연속성을 끊는 메커니즘에 대한 체계적 검토도 다음 과제로 남긴다.