KnowGPO가 검색 에이전트의 크레딧 배정을 지식 상태로 바꾼다

무엇인가

딥서치 에이전트는 여러 턴에 걸쳐 검색 질의를 던지고 근거를 확인하고 언제 멈출지 판단하면서 지식 집약적 문제를 푼다. 문제는 이런 긴 궤적에서 어느 검색 결정이 유용했고 어느 것이 중복이거나 해로웠는지 사후에 알기 어렵다는 점이다. GRPO 같은 결과 기반 강화학습은 궤적 전체에 최종 정답 보상 하나만 뿌리기 때문에 중간 결정을 구분할 신호가 없다. 최근의 프로세스 지도 방법들도 표면적 궤적 상태나 모델 내부 확률에 크레딧을 묶는데, 검색 결과가 이질적이고 검색된 문맥이 길고 노이즈가 많은 딥서치에서는 둘 다 신뢰하기 어렵다.

어떻게 동작하나

KnowGPO의 핵심 발상은 궤적을 표면 관측이 아니라 획득한 과제 관련 지식으로 정렬하는 것이다. 각 질의 Q와 정답 y*에 대해 정답을 도출하는 데 필요한 정보를 원자적 지식 조건들의 집합 K(Q)={k1,…,kK}로 분해한다. 이 집합은 정답의 논리적 골격을 인코딩한 것으로, 각 조건은 단일 사실이고(원자성), 조건들이 합쳐지면 정답까지의 추론 사슬을 지지하며(완전성), 질의·정답·궤적 사이의 개체 참조가 일관되게 유지된다(그라운딩 일관성). 구축은 질의가 함의하는 추론 골격을 먼저 뽑고 플레이스홀더를 정답과 성공한 참조 궤적으로 접지하는 2단계 파이프라인으로 이뤄진다.

무엇과 다른가

궤적의 각 스텝은 지금까지 충족한 조건의 부분집합, 즉 지식 상태로 표현된다. LLM 검증기가 새 관측 o_i,t를 보고 새로 검증 가능해진 조건을 나타내는 이진 벡터 Δs_i,t를 출력하고, 이를 이전 상태와 원소별 OR로 누적해 s_i,t를 얻는다. 지식은 되돌릴 수 없다는 사실을 반영한 단조 누적이며, 이 과정에서 검증기의 일시적 노이즈가 흡수된다. 같은 지식 상태를 가진 스텝들은 어떤 질의를 던졌고 어떤 페이지를 봤는지와 무관하게 동일한 사실 집합을 획득한 것이므로, 지식 상태는 궤적 간에 공유되는 의미 공간을 정의한다. KnowGPO는 이 공간에서 두 수준의 크레딧을 준다. 에피소드 수준 이득은 GRPO와 동일하게 그룹 정규화된 최종 결과 보상이고, 스텝 수준 이득은 같은 지식 상태에서 출발한 비종료 스텝들을 하나의 지식 그룹 G(s̃)로 묶은 뒤 그룹 안에서 정규화한 증분 지식 이득 r_i,t = ||s_i,t||₁ - ||s_i,t-1||₁ 로 계산한다. 즉 같은 인식적 위치에서 출발한 대안 행동들과 비교해 그 스텝이 지식 획득에 얼마나 더 기여했는지를 측정하며, 이 신호는 모델 확신도가 아니라 환경에 대한 검증기 검사에 접지된다. 두 이득은 단일 혼합 계수 ω로 A_i,t = (1-ω)A_i^E + ωA_i,t^S 처럼 결합되고, PPO 스타일 클리핑 목적함수에 KL 페널티를 더해 최적화한다.

어떻게 쓰나

실험은 Qwen3-8B를 베이스로 YaRN으로 문맥을 128K까지 늘리고, SFT는 LlamaFactory, RL은 verl로 수행했다. 지식 상태 검증에는 DeepSeek-v3.2를 LLM 검증기로 쓴다. 벤치마크는 Xbench(2505·2510 분할), BrowseComp-ZH, GAIA 텍스트 전용 부분집합이고 GPT-4o가 판정하며 3회 독립 실행 평균을 보고한다. 모든 베이스라인은 동일한 SFT 체크포인트와 데이터, 학습률, 배치, 롤아웃 설정을 공유하고 이득 추정기와 보상 설계만 다르다. 결과적으로 KnowGPO는 GRPO 대비 2.0%에서 5.9% 향상했고, GiGPO·IGPO 같은 프로세스 지도 베이스라인을 3.8%에서 4.2%포인트 앞섰다. 특히 BrowseComp-ZH에서 +5.9%, GAIA에서 +5.2%를 얻었고 SFT 대비 평균 이득은 8.5%다. 반면 GiGPO는 Xbench-2505에서 GRPO보다 2.0% 떨어지는 등 데이터셋별 편차가 컸고, KnowGPO는 모든 분할에서 개선한 유일한 방법이다. 절대 수치로는 BrowseComp-ZH 38.8%로 같은 규모의 WebExplorer-8B를 6.8%p 앞서고 32B인 WebSailor-32B와 DeepDive-32B를 각각 13.3%p, 9.1%p 앞서며, 가장 강한 오픈소스인 DeepMiner-32B-RL에는 1.3%p 뒤진다. Xbench-2505에서는 48.0%로 8B MiroThinker-v1.0을 12.6%p 앞선다. 다만 Kimi-K2.5에 BrowseComp-ZH에서 23.5%p, Claude-4-Sonnet에 GAIA에서 28.1%p 뒤지는 격차는 남는다.

전제와 한계

절제 실험에서 혼합 계수는 ω=0.3일 때 네 분할 모두 최고였고, ω=0을 주면 스텝 지도가 꺼지는데도 BrowseComp-ZH와 GAIA에서는 GRPO를 앞섰다. 이는 지식 상태 그룹화 자체가 스텝 보상 없이도 암묵적 정규화로 작동함을 시사한다. ω=0.5는 국소 최적화가 과해져 네 분할 중 세 곳에서 성능이 떨어졌다. 그룹화 없이 증분 지식 이득만 GRPO에 더하면 1.0~2.8% 개선되고, 여기에 지식 상태 그룹화를 더하면 추가로 1.0~4.2%(BrowseComp-ZH에서 최대 +4.2%)가 붙는다. 같은 그룹화 틀에서 증분 이득을 GiGPO식 할인 미래 반환 G_t로 바꾸면 Xbench-2505, BrowseComp-ZH, GAIA에서 각각 3.0%, 6.0%, 3.4% 떨어진다. 그룹화 품질을 직접 측정한 실험에서는 Xbench와 BrowseComp에서 500개 질의를 최대 16회 롤아웃해 5,922개 유효 궤적, 55,571개 스텝을 모았다. 관측 기반 그룹화(GiGPO 방식, BGE-large 코사인 0.9)는 비단일 그룹 스텝 비율(ESR)이 51.8%에 그치고 단일 비율이 79.4%여서 대부분의 스텝 비교가 자기 자신과의 비교로 퇴화한다. 행동 기반 그룹화는 ESR 79.4%지만 단일 비율이 여전히 72.0%다. 지식 기반 그룹화는 ESR 97.8%, 단일 비율 19.0%로 개선되고 교차 롤아웃 커버리지도 4.66으로 높게 유지된다. 이는 같은 롤아웃 내 인접 스텝을 합친 부작용이 아니라 독립 궤적 간 의미적으로 동등한 스텝을 정렬한 결과임을 보여준다.

검색 행동 분석에서 KnowGPO는 무조건 덜 검색하는 게 아니라 적응적으로 검색한다. KnowGPO만 푼 질의에서는 평균 9.83턴으로 GRPO의 11.55턴보다 적게 썼지만, GRPO만 푼 질의에서는 10.36턴, 둘 다 실패한 질의에서는 10.85턴으로 가장 길게 탐색했다. 근거가 충분해지면 줄이고 부족하면 계속 찾는다는 뜻이다. 학습 비용 측면에서 반복당 시간을 재보면 궤적 생성 2,574초, 정책 업데이트 583초, 확률 계산 310초로 GRPO와 공유하는 연산이 대부분을 차지한다. KnowGPO 고유 연산은 지식 검증 356초, 증분 이득 계산 2.73초, 그룹 구성 0.03초인데 검증은 비동기로 다음 롤아웃과 겹쳐져 벽시계 비용이 가려지고, 순수 부기 연산 둘은 예산의 0.08% 미만이다.

실무 관점에서 이 논문은 검색 에이전트를 RL로 학습시킬 때 최종 정답 보상만으로는 중간 검색 결정을 구분할 수 없다는 문제를 정면으로 다룬다. 특히 검색 결과가 길고 노이즈가 많은 환경에서 상태 재방문에 의존하는 그룹화나 모델 확신도 기반 보상이 왜 잘 작동하지 않는지 수치로 보여주고, 검증 가능한 지식 조건이라는 외부 접지 신호로 대체하는 구체적 절차를 제시한다. 도입을 검토한다면 질의별 지식 조건 집합을 자동 구축하는 파이프라인과 LLM 검증기의 정확도, 그리고 검증 지연을 롤아웃과 겹쳐 숨길 수 있는 학습 인프라가 실제 병목이 될지부터 확인해야 한다.

저자들이 밝힌 한계는 분명하다. KnowGPO는 과제 진행도를 유한한 검증 가능 지식 조건 집합으로 특성화할 수 있다고 가정하는데, 이는 지식 집약적 검색에는 맞지만 진행도를 이산화하기 어려운 개방형 에이전트 과제에는 맞지 않는다. 지식 상태의 충실도는 LLM 검증기에 의존하며, 강한 외부 모델과 단조 누적으로 일시적 노이즈를 억제하더라도 잔여 오류가 스텝 수준 이득으로 전파될 수 있다. 또한 구축 파이프라인이 질의마다 최소 하나의 성공한 참조 궤적을 요구하기 때문에 합리적 비용으로 성공 롤아웃에 도달할 수 없는 환경에는 적용이 제한된다. 마지막으로 모든 실험이 Qwen3-8B에서만 이뤄졌으므로 훨씬 작거나 큰 백본, 또는 추론 학습된 초기화로도 같은 효과가 전이되는지는 검증되지 않았다.