LLM 연구 에이전트가 근거보다 강한 결론을 내는 정도를 측정한다

무엇인가

이 논문은 LLM 기반 딥리서치 에이전트가 여러 문서를 읽고 인용이 붙은 장문 보고서를 만들 때, 인용문서가 실제로 지지하는 범위보다 더 단호하고 넓은 결론을 내는 현상을 다룬다. 저자들은 이를 스무딩이라고 부른다. 다양한 문서와 상충 가능성이 있는 근거를 하나의 매끄러운 서사로 압축하면서, 근거의 들쭉날쭉한 조건과 한계를 버리고 인용이 뒷받침할 수 있는 것보다 결정적인 결론을 내놓는다는 뜻이다. 이는 개별 주장이 인용문서와 일치하는지만 보는 기존 사실성 검증과 다르다. 예를 들어 이미지 토큰 모델링이 Stable Diffusion 중심 구조보다 유망하다는 주장이 Emu3와 Show-o 문서로 지지되더라도, Transfusion 문서의 조건부 결과와 반대 근거를 함께 보면 그 주장은 특정 조건에서만 성립할 수 있다. 그런데도 보고서는 마치 보편적 결론인 것처럼 쓴다.

어떻게 동작하나

SmoothScore는 이 문제를 주장 단위로 채점하는 파이프라인이다. 먼저 보고서에서 결론을 담은 주장만 추출해 방향, 확신도, 범위, 단서를 보존한다. 다음으로 인용문서마다 Support Agent가 주장을 지지하는 근거와 한계 인정을 추출하고, Skeptic Agent가 반박하거나 조건을 붙이거나 범위를 제한하는 근거, 관련 대안 접근의 성과까지 찾는다. 각 근거는 원문 인용, 어떤 측면을 다루는지, 주장과 어떤 관계인지, 강도 평가를 함께 담는다. 이어서 주장과 문서 쌍마다 측면 후보를 제안하고 문서 간 중복을 합쳐 주장별 측면 집합을 만든 뒤, 모든 지지·반박 근거를 자신이 논하는 측면에 배정해 같은 차원에서 비교하게 한다. 마지막으로 judge가 질문, 주장, 측면, 근거 전체를 보고 1~5점의 SmoothScore를 매긴다. 점수가 높을수록 근거가 허용하는 범위보다 주장이 더 강하거나 넓게 매끄러워졌다는 뜻이다.

무엇과 다른가

실험은 ResearcherBench, ScholarQA-CS2 Expert-Written, DeepResearch Bench II, ResearchRubrics의 4개 데이터셋과 7개 시스템에서 이뤄졌다. 시스템은 GPT Luna 5.6과 GPT Sol 5.6, Claude Sonnet 5와 Claude Opus 5.5의 웹서치 조합, Gemini Deep Research, DR Tulu, QUEST다. 평균 SmoothScore는 Luna가 1.66~1.95, Sol이 1.82~1.93, Gemini가 3.05~3.27이었고 나머지 시스템은 2.20~2.88에 걸쳤다. SmoothScore 3 이상은 모든 시스템과 데이터셋에서 나타났으며 모든 경우에 최소 22%의 주장이 해당했다. Gemini는 85~93%의 주장이 3 이상이었고, 심한 스무딩인 4 이상이 22~35%로 다른 폐쇄형 에이전트의 약 3~12배, Sol의 13~26배였다. Luna와 Sol은 스무딩이 없는 점수 1의 주장이 최소 36%로 다른 시스템보다 1.5~2.7배 많았다. 오픈소스인 DR Tulu와 QUEST도 각각 약 59%, 약 55%의 주장이 3 이상이었고 7~23%가 4 이상이었다. QUEST는 근거 풀이 약 10개 문서, 40~55k 단어로 가장 작았는데도 DeepResearch Bench II와 ResearchRubrics에서 점수 5가 최대 약 7%, 약 4% 나왔다.

어떻게 쓰나

저자들은 사람 평가로 judge를 검증했다. 두 평가자가 같은 73개 주장을 채점했을 때 judge는 평가자 1과 93%의 주장에서 1점 이내로 일치했고 2점 이상 차이는 7%뿐이었다. judge가 3 이상으로 표시한 주장 중 62%는 평가자 1도 3 이상으로 봤다. 평가자 간 일치도는 이 기준에서 κ=0.62였다. SmoothScore가 수집한 근거의 유용성도 별도로 확인했다. ResearcherBench의 gold rubric으로 보고서를 수정할 때 SmoothScore 근거를 제공하면 Luna는 +4.4점, Sonnet은 +12.0점 개선됐고 둘 다 p<.001이었다. 이는 전체 문서를 제공한 수정과 맞먹거나 능가하면서 토큰은 전체 문서의 약 1/5~1/10만 썼다.

전제와 한계

논문은 스무딩의 원인으로 인용문서 내용에 대한 낮은 접근성을 지목한다. Luna는 인용한 문서의 19%만 실제로 열었고, 중간값 585자로 잘린 검색 스니펫에 거의 의존했으며 65개 보고서 중 20개에서만 인용 페이지를 열었다. Sonnet 5는 인용 링크의 2%만 열었다. 저자들이 Luna와 Sonnet 5를 ResearcherBench에서 다시 생성해 비교한 결과, 교정 지시만 주거나 인용문서만 제공하는 것만으로는 충분하지 않았다. Luna는 지시만으로 평균이 1.95에서 1.88, 문서만으로 1.80이 됐고, Sonnet은 지시만으로 2.54에서 2.23, 문서만으로 2.38이 됐다. 그러나 문서와 교정 지시를 함께 주면 Luna는 1.52, Sonnet은 1.78로 떨어졌고, 3 이상 주장 비율은 Luna 29%에서 12%, Sonnet 61%에서 25%로 줄었다. 4 이상의 심한 스무딩은 각각 0.5%, 2.2%로 거의 사라졌다. 보고서는 1.2~1.6배 길어졌지만 추출된 주장 수는 조금 줄었고, 중심 결론은 유지한 채 한계와 범위를 명시하는 방식으로 바뀌었다.

개발자에게 이 논문의 핵심은 리서치 에이전트 평가에서 인용 유효성이나 검색 관련성만으로는 부족하다는 점이다. 개별 주장이 어떤 인용문서와 맞아도, 그 주장이 조건을 빼고 범위를 넓히거나 상충 근거를 감추면 사용자에게는 권위 있는 오해를 낳는다. 따라서 보고서 생성 파이프라인에서는 주장별로 지지 근거와 반박·한계 근거를 함께 모으고, 주장의 확신도와 범위가 근거에 맞는지 채점해야 한다. 특히 검색 스니펫만 읽고 답하는 구조라면 전체 인용문서를 제공하는 것과 교정 지시를 함께 적용하는 것이 효과적이다. 제품에서는 SmoothScore 3 이상 주장을 검토 대상으로 표시하고, 에이전트가 인용 페이지를 실제로 얼마나 열어 읽는지도 모니터링할 필요가 있다.

저자들이 밝힌 전제와 한계도 분명하다. SmoothScore의 judge는 사람 평가자와 93%가 1점 이내로 일치했지만 평가자 간 일치도가 κ=0.62인 주관적 과제이고, 사람 검증은 73개 주장에 한정됐다. 점수 5는 순수 환각까지 포함하지만 실제로 드물게 나타나서, 이 시스템은 광범위한 환각 탐지보다 스무딩 분석에 주로 적합하다. 근거 유용성 검증도 외부 rubric 수정 성능으로 본 것이지, 수집된 근거의 품질을 생성된 주장과 직접 비교한 것은 아니다. 문서 수와 보고서 길이는 시스템 간 스무딩과 연관됐지만 시스템 내부에서는 연관성이 약했고, 저자들도 다른 요인이 작용할 수 있다고 본다. 실험은 수동으로 고른 질의를 포함한 4개 데이터셋과 7개 시스템에 한정된다.