검색 상태 자기평가 강화학습으로 RAG 에이전트의 환각과 조기 종료를 줄인다
Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
무엇인가
이 논문은 검색 에이전트가 겪는 검색 상태 인식(search-state awareness) 부족을 핵심 문제로 잡는다. 검색 에이전트는 LLM이 외부 검색 엔진과 여러 턴 상호작용하며 근거를 모으는 방식인데, 저자들은 기존 에이전트가 무엇을 얻었고 무엇이 아직 빠졌는지 제대로 판단하지 못해 두 가지 실패를 반복한다고 본다. 하나는 불완전한 근거로 답을 만들어내는 환각 추론이고, 다른 하나는 충분한 근거를 모으기 전에 검색을 끝내는 조기 종료다. 기존 RL 기반 방법은 희소한 결과 보상이나 <refine>, <judge> 같은 보조 토큰에 의존해 이런 문제를 완화하려 했지만, 저자들은 그 신호가 거칠어 추론 과정의 충실성을 보장하지 못한다고 지적한다. 특히 최대 검색 턴을 32로 늘린 긴 검색 지평에서 기존 방법이 심하게 불안정해지는 실패 모드를 이전 연구에서 보고되지 않았다고 강조한다.
어떻게 동작하나
SARL은 표준 think-search-answer 루프 뒤에 자기평가 단계를 붙인다. 궤적 T가 answer로 끝나면 같은 정책 πθ를 별도 문맥과 평가 프롬프트 p_eval로 호출해, 질문의 핵심 제약을 나열하고 검색 근거로 어떤 제약이 해결됐는지 분석한 뒤 COMPLETE 또는 INCOMPLETE 판단을 내리는 구조화된 평가 s_hat을 만든다. 이 평가는 검색 루프와 분리되어 원래 궤적 T는 모델 검색 행동의 자기완결적 기록으로 남는다. 판단이 COMPLETE면 그대로 답을 평가하고, INCOMPLETE면 평가 전문을 사용자 메시지로 원래 문맥에 다시 넣어 추가 think와 search를 하게 한 뒤 수정 답을 낸다. 이 과정은 COMPLETE가 나오거나 최대 턴 Kmax에 닿을 때까지 반복된다. 중요한 점은 이 자기평가가 훈련 때만 쓰이고 추론 시에는 별도 평가 단계 없이 내재화된 행동으로 작동하도록 설계됐다는 것이다.
무엇과 다른가
이를 가능하게 하는 것이 이중 보상 설계다. 자기평가 횟수 n에 대해 총보상은 R_total = r_final × α^(n-1) + λ × r_assess로 정의된다. α는 0과 1 사이의 평가 페널티로, 평가를 반복할수록 최종 결과 보상에 지수적으로 곱해져 평가 남용을 억제한다. r_assess는 평가 전후 정답성 변화로 계산하는 평가 보상이다. incorrect→correct와 correct→correct는 1.0, incorrect→incorrect는 -0.1, correct→incorrect는 -2.0을 준다. 교정에는 크게 보상하고 비생산적 평가에는 약하게 벌점을 주며 정답이 오답으로 바뀌는 회귀는 강하게 억제하는 비대칭 설계다. incorrect→correct와 correct→correct에 같은 보상을 주는 이유는 모델이 더 큰 교정 보상을 노려 일부러 오답을 먼저 내는 것을 막기 위해서다. correct→correct는 답은 맞지만 근거가 불완전한 경우가 많아, 이 전이를 보상하면 근거가 잘 뒷받침되는 검색 궤적을 장려하게 된다.
어떻게 쓰나
훈련은 GRPO를 기반으로 한다. 질문마다 G개의 궤적을 샘플링해 그룹 상대 비교로 정책을 업데이트하고, 모델 원래 문맥 길이를 넘는 궤적은 그래디언트에서 마스킹하며, 비대칭 클리핑(ε-=0.2, ε+=0.28)을 쓴다. 표준편차 정규화를 제거하고 궤적별 길이 정규화 대신 고정 분모 Lmax를 사용하며 KL 정규화는 생략한다. 학습 데이터는 45K로, NQ 15K, HotpotQA 15K, ASearcher 15K(원래 compose_chain_qa 8,537개와 ASearcher 합성 절차로 만든 6,463개)다. 8대 B200에서 1에폭 학습하고, 최대 상호작용 턴 32, 질문당 5개 궤적을 샘플링한다. 검색은 2018년 12월 위키피디아 덤프에 e5-base-v2로 질의당 상위 3문서를 쓰고, BrowseComp-Plus만 Qwen3-Embedding-8B와 별도 큐레이션 덤프를 쓴다. 기본 보상 계수는 α=0.8, λ=0.5다.
전제와 한계
실험은 난이도가 다른 10개 벤치마크로 구성된다. 단일 홉 QA는 NQ, TriviaQA, PopQA, 멀티홉 추론은 HotpotQA, 2WikiMultihopQA, Musique, Bamboogle(각 1,000개 샘플), 딥리서치는 GAIA, FRAMES, BrowseComp-Plus다. 평가는 GPT-4.1을 판정자로 쓰는 LLM-as-a-judge와 avg@4를 사용한다. 베이스라인은 검색 없이 답하는 Direct Generation, SFT, R1-style, 검색을 쓰는 Naive RAG와 IRCoT, 검색 에이전트인 Search-R1, ASearcher, AutoRefine, ReSeek, 그리고 넓은 패러다임 참조로 SFT+RL 파이프라인 RAG-R1과 다중 에이전트 MA-RAG다. 대부분 Qwen2.5-7B 기반으로 같은 조건에서 재현했다. 주요 결과로 SARL은 평균 0.429를 기록해 가장 강한 베이스라인 ASearcher의 0.345보다 24.3% 상대 개선을 냈다. 학습 데이터와 NQ, HotpotQA만 겹치는데도 모든 벤치마크에서 일관된 향상을 보였고, 벤치마크별 최강 베이스라인 대비 Musique 58.1%, FRAMES 48.3%의 최대 향상을 보고했다. 범주별로는 단일 홉 +3.9%, 멀티홉 평균 +35.9%, 딥리서치 평균 +27.9%다.
범용 패러다임과의 비교와 긴 검색 지평 안정성도 핵심 주장이다. RAG-R1과 공유한 7개 벤치마크에서 SARL은 평균 0.554 대 0.449로 23.4% 상대 개선을 냈고, MA-RAG와는 HotpotQA에서 0.614 대 8B 0.403, 70B 0.507, 2Wiki에서 0.645 대 8B 0.318, 70B 0.431로 앞선다. 저자들은 이 비교로 백본 확대나 추론 시 다중 에이전트 오케스트레이션보다 검색 상태 인식을 훈련으로 내재화하는 것이 더 효과적일 수 있다고 주장한다. AutoRefine은 평균 검색 턴이 1회 미만으로 붕괴하고 ReSeek은 학습 후반 검증 점수가 0에 가깝게 떨어졌지만, SARL은 32턴 설정에서도 안정적으로 학습해 복잡도가 커질수록 이점이 유지된다고 보고한다. 분석에서는 SARL의 고유 검색 질의 수가 훈련 후반 평균 6개 이상으로 증가하고 문서 재현율도 꾸준히 개선된 반면, AutoRefine과 ReSeek은 고유 질의 수가 줄고 재현율이 거의 정체했다고 한다. BrowseComp-Plus는 근거가 희소해 개선 폭이 작지만 일관된 추세는 유지했다. 절제 실험에서 자기평가만 쓰면 성능이 중간에 정점을 찍고 후반 급락했고, 평가 페널티를 더하면 불안정성이 크게 줄었으며, 평가 보상까지 더한 전체 SARL이 가장 강하고 안정적이었다. 전체 SARL은 자기평가만 쓴 변형보다 후반 고유 검색 수가 두 배 이상 많았다. 민감도에서는 λ=0.5 고정 시 α를 0.2, 0.5, 0.8로 바꿔도 최종 검증 점수가 51.7~55.5의 좁은 범위에 머물렀다. 반면 α=0.8 고정에서 λ=0.2는 일시적으로 55.5까지 올랐다가 42.6으로 붕괴했고, λ=0.5와 0.8은 안정적이었다. 저자들은 평가 보상을 너무 낮게 주면 과소적합이 아니라 학습 불안정으로 이어진다고 해석한다. 모델 일반화도 확인한다. Llama-3.1-8B-Instruct에서 GRPO는 52.3→51.3→44.4로 붕괴했지만 SARL은 51.2→54.3으로 상승해 300스텝에서 평균 +9.9 차이를 냈다. Qwen2.5-14B는 7B보다 모든 스텝과 벤치마크에서 앞섰고, 격차는 100스텝 +6.4에서 300스텝 +3.6으로 줄었으며 ASearcher에서 300스텝 +5.6을 보였다.
개발자 관점에서 SARL은 RAG 검색 에이전트를 RL로 학습시킬 때 추론 시 평가 프롬프트나 다중 에이전트 오케스트레이션을 붙이지 않고도 검색 상태 인식을 내재화할 수 있다는 설계를 제시한다. 멀티홉 QA나 딥리서치처럼 검색이 여러 턴 이어지고 근거가 분산된 작업에서 특히 참고할 만하다. 다만 바로 프로덕션에 끼워 넣는 기능이라기보다 훈련 파이프라인 변경에 가깝다. GRPO 기반 RL 인프라, 검색 엔진과 문서 덤프, 최대 32턴의 긴 궤적 샘플링, LLM 판정자 기반 평가가 필요하고, 8대 B200에서 45K 데이터를 1에폭 학습하는 비용이 든다. 실무에서는 고유 검색 질의 수, 문서 재현율, 평가 횟수, 최종 정답률을 함께 모니터링하고, 평가 보상 가중치 λ를 너무 낮추지 않는지 확인해야 한다. 자기평가를 추론 시 쓰지 않는 만큼, 훈련이 불안정하거나 검색 환경이 학습 때와 달라지면 테스트 시 보정 장치가 없다는 점도 운영 리스크다.
논문은 별도의 한계 절을 두지 않았지만, 실험 범위와 저자들이 보고한 민감도에서 전제가 드러난다. 주 실험은 Qwen2.5-7B이고 추가 검증은 Llama-3.1-8B-Instruct와 Qwen2.5-14B에 그쳐, 더 큰 프런티어 모델이나 다른 검색 환경으로의 일반화는 확인되지 않았다. 학습 데이터는 45K로 NQ, HotpotQA, ASearcher에 한정되고 최대 32턴이라는 고정 예산 아래 평가된다. 검색 코퍼스도 2018년 12월 위키피디아 덤프와 BrowseComp-Plus용 별도 덤프에 의존하므로, 최신 웹이나 다른 검색 API에서는 재검증이 필요하다. 평가는 GPT-4.1을 판정자로 쓰는 LLM-as-a-judge와 avg@4에 의존해 판정자 편향 가능성이 남고, Exact Match와 F1은 부록에만 제시된다. 성능 향상도 단일 홉에서는 3.9%로 작고 BrowseComp-Plus에서는 근거 희소성 때문에 개선 폭이 제한적이다. 보상 설계는 α와 λ에 민감해 λ=0.2에서 42.6으로 붕괴하는 사례가 있었고, 자기평가만으로는 학습이 불안정했다. 이는 SARL이 평가 보상과 페널티의 균형, 충분한 긴 궤적 훈련, 검색 환경과 평가 프로토콜의 일관성에 의존한다는 뜻이다.