의미 검색과 LLM 필터가 문헌 검색 재현율을 45%에서 85%로 높인다

무엇인가

이 논문은 AI가 큰 컬렉션에서 '몇 개 그럴듯한 근거'를 찾는 것을 넘어, 체계적 문헌고찰이나 메타분석에 쓸 만큼 빠뜨리지 않고 관련 근거를 모으는 문제를 다룬다. RAG식 top-k 검색은 답변은 유창해도 검색 자체의 완전성을 보장하지 않으며, 누락된 연구 하나가 pooled estimate나 해석을 바꿀 수 있다. 저자들은 World Bank의 ImpactAI를 사례로 7,354개 무작위대조시험(RCT), 74,826개 중재–결과 쌍을 검색 단위로 삼아 재현율(recall)과 정밀도(precision), 그리고 스크리닝·계산 비용의 균형을 비교한다.

어떻게 동작하나

비교 대상은 두 구조다. 택소노미 기반 검색은 개발경제학 카탈로그의 라벨을 오프라인으로 붙이고, 질의 시 LLM이 질의 구간을 찾아 중재·결과·인구집단·지역 같은 엔티티 유형을 부여한다. 각 구간마다 의미 유사도와 BM25를 결합해 최대 50개 후보 엔티티를 찾고, LLM이 문맥에 가장 맞는 엔티티를 고른 뒤 그 ID에 연결된 근거를 반환한다. 라벨은 결과를 묶고 검사 가능한 제약을 제공하지만, 카탈로그에 없는 개념이나 라벨보다 세밀한 질문은 놓치거나 과도하게 검색하며, 고정된 카탈로그에서는 의미 후보 예산을 늘려도 결과가 달라지지 않는다. 반면 의미 검색 구조는 중재–결과 설명과 연구 맥락을 임베딩하고 질의를 같은 공간에 임베딩해 가장 가까운 K개 쌍을 후보로 뽑은 뒤, Gemini 2.5 Flash가 전체 질의에 대한 관련성을 판정해 관련 없는 후보를 제거한다. 후보 생성은 재현율을, LLM 필터는 정밀도를 맡지만, 필터는 후보 생성이 빠뜨린 항목을 되살릴 수 없고 top-K 예산 밖의 관련 근거는 한 번에 복구할 수 없다.

무엇과 다른가

실험은 필터링, 후보 검색, 최종 근거 커버리지, 지연 비용으로 나뉜다. 필터링 합의도는 사람 질의 100개, 합성 질의 100개, 이중 주석 10개 질의로 평가했고 각 질의마다 Gemini 임베딩으로 30개 후보를 검색했다. Gemini 2.5 Flash의 사람 판정 대비 Cohen κ는 Beta Tester 0.5026, Synthetic 0.5045, micro-F1은 0.7513과 0.7510으로 중간 수준의 일치를 보였다. 별도 10개 질의의 사람–사람 κ는 0.4340으로, 모델–사람 일치가 사람–사람 일치보다 낮지 않았지만 관련성 판정 자체의 불일치가 크다는 점을 보여준다.

어떻게 쓰나

후보 검색은 World Bank 연구자·정책담당자가 낸 374개 Beta Tester 질의와 특정 RCT에서 생성한 1,000개 Synthetic 질의로 평가했다. Gemini 임베딩, Voyage, E5-large-v2, Granite를 k=10, 100, 150, 300, 500, 1,000에서 비교했고, 각 질의마다 Gemini 상위 1,000개, Voyage 상위 1,000개, 택소노미 전체 결과를 풀(pool)로 만들어 LLM 판정을 참조 라벨로 삼았다. Beta Tester에서 k=100일 때 Gemini는 recall 0.47, F1 0.49였고 Voyage는 F1 0.27, E5-large-v2는 0.20, Granite는 0.26이었다. k=1,000에서는 Gemini가 recall 0.93, F1 0.24였고 Voyage 0.67/0.15, E5-large-v2 0.50/0.11, Granite 0.62/0.14였다. Synthetic에서도 k=100에 Gemini 0.53 recall·0.53 F1, k=1,000에 0.96 recall·0.23 F1로 가장 높았고, 깊이가 커질수록 재현율은 오르지만 정밀도와 F1은 내려갔다.

전제와 한계

최종 근거 커버리지는 29개 리뷰 출처의 116개 질의군, 348개 공식화, 1,416개 논문–질의 멤버십(공식화당 평균 4.07개)을 기대 논문 집합으로 삼아 측정했다. K=2,500에서 의미 후보 검색은 기대 논문의 96.7%를 회수했지만 엔티티 링킹(EL)은 45.1%에 그쳤고, Gemini 2.5 Flash 필터를 거친 최종 파이프라인은 85.0%를 유지해 후보 집합 대비 11.7%포인트를 잃었다. EL과의 합집합은 K=100에서 필터링된 의미 검색보다 12.6%포인트 높았지만 K=2,500에서는 2.9%포인트로 줄어, 작은 예산에서는 두 경로가 상보적임을 보여준다. 웹 피드백 평가에서는 45개 질의의 348개 평가 구절에 대해 94.7%의 관련성 비율이 보고됐다. 본문 결론의 최종 수치는 85.0%이며, 초록의 92%와는 일치하지 않아 이 정리는 본문 표와 결론을 따랐다.

비용은 검색 깊이에 크게 좌우된다. 리뷰에서 나온 30개 질의를 직렬로 돌린 중앙값 지연은 K=2,500에서 검색만 1.48초, Gemini 2.5 Flash 필터까지 포함하면 77.22초였고, 엔티티 링킹 모듈은 6.00초였다. 필터는 모든 후보를 읽기 때문에 질의 시간의 대부분을 차지하며, 논문 단위로 최대 15개 쌍을 묶어 프롬프트 수를 줄여도 작업량은 깊이와 논문별 후보 분포에 따라 증가한다. 따라서 검색 깊이는 제품 선택이 된다. 포괄적 근거가 필요한 사용자는 긴 대기를 감수할 수 있지만, 탐색적 검색은 더 작은 후보 집합을 선호할 수 있다.

개발자 관점에서 이 사례의 핵심은 완전성이 중요한 작업에 단일 top-k RAG를 그대로 쓰지 말고, 넓은 의미 후보 생성과 질의별 LLM 필터를 분리한 2단계 아키텍처로 설계하라는 것이다. 라벨은 발견의 유일한 경로가 아니라 결과를 정규화하고 묶고 검사하며 특정 카테고리 전체를 열람하는 조직화 계층으로 남길 수 있다. 다만 후보 예산 K가 재현율의 상한을 만들고, LLM 필터가 관련 후보를 제거하는 손실이 생기며, 깊이를 늘릴수록 지연과 스크리닝 비용이 커진다는 점을 함께 측정해야 한다. 도메인별 known-positive 벤치마크로 후보 회수율과 필터 손실을 분리해 보고, 라벨 검색과 의미 검색의 합집합이 작은 예산에서 주는 보완 효과도 확인할 필요가 있다.

저자들이 밝힌 한계는 분명하다. 결과는 개발경제학 RCT라는 하나의 코퍼스에서 나왔고, 라벨과 근거 설명 모두 추출 품질에 의존한다. 리뷰 벤치마크는 코퍼스 내부의 알려진 양성 논문 재현율을 측정한 것이지 전체 문헌이나 모든 적격 효과를 포괄하지 않으며, 참조 집합 밖의 논문은 확인된 거짓 양성이 아니라 미판정이다. 일부 좁은 질의 할당과 큰 검색 벤치마크는 LLM 판정을 사용했고 사람 피드백과 이중 주석 표본은 제한적이다. Voyage와 Granite의 정확한 체크포인트가 일관되게 기록되지 않았고, 지연 비교는 서로 다른 서비스 구성(엔티티 링킹 타이밍은 Gemini 3 Flash Preview, 품질 기준선은 Gemini 2.5 Flash, 10월 배치 필터는 이전 품질 실행과 다름)을 섞고 있어 처리량·금액 비용·다운스트림 메타분석 효과는 아직 평가되지 않았다.