결정 모델이 문서 계층을 직접 탐색해 검색기 없이 근거를 찾는다

무엇인가

이 논문이 겨냥하는 문제는 RAG 파이프라인의 비대칭이다. 생성 모델은 빠르게 강해졌지만 검색은 여전히 BM25 같은 어휘 빈도 휴리스틱이나 고정 임베딩 공간의 최근접 이웃에 의존한다. 그 결과 검색기가 놓친 근거는 아무리 강한 생성 모델도 되살릴 수 없다. LLM이 단계별로 코퍼스를 탐색하는 에이전트 방식은 매 단계 토큰을 생성해야 해 느리고 비싸며, 리랭커는 1차 검색기가 이미 반환한 후보의 순서만 바꿀 수 있다.

어떻게 동작하나

제안 방법 DecisionRAG의 핵심 부품은 토큰을 전혀 생성하지 않는 결정 모델(decision model)이다. Jev나 OpenAI의 결정 모델처럼, 공유 컨텍스트 s와 질문 집합이 주어지면 한 번의 포워드 패스로 각 질문의 답 옵션에 대한 확률을 돌려준다. 논문은 두 가지 추론 모드를 쓴다. 병렬 이진 판단은 각 후보 문서·구절에 대해 P(Yes|s, Qi)를 계산하되 확률을 질문 간에 정규화하지 않으므로 후보 수 제한이 없다. 다중 선택 판단은 하나의 질문에 여러 후보를 경쟁 옵션으로 넣어 합이 1인 분포를 얻으며, 옵션 수 제한(Jev 기준 255개) 때문에 이진 판단 상위 후보에만 적용한다. 같은 컨텍스트를 공유한 채 후보들을 함께 채점하면 더 나은 후보가 있을 때 애매한 후보의 P(Yes)가 낮아지므로, 후보 간 점수가 비교 가능해진다는 것이 저자들의 주장이다.

무엇과 다른가

검색은 검색(search)이 아니라 항해(navigation)로 수행된다. 코퍼스를 주제·문서·섹션·구절로 이어지는 트리로 보고, 각 노드에는 짧은 설명(구절 텍스트, 문서 제목, 클러스터 한 줄 요약)을 붙인다. 먼저 문서 스크리닝에서 병렬 이진 판단으로 상위 k개 문서를 남기고 나머지 가지는 버린다. 다음으로 남은 문서의 구절들을 하나의 공유 컨텍스트에 넣어 병렬 이진 판단으로 채점하고 상위 r개를 유지한다. 마지막으로 상위 m개(일반적으로 20, Natural Questions는 5, MTRAG는 최상위 하나만 1위로 승격)에 다중 선택 판단을 적용해 최종 순위를 다듬는다. 가지치기는 되돌릴 수 없으므로 각 단계 예산 k는 재현율 쪽으로 기울여 잡는다. 계층이 없는 코퍼스는 오프라인에서 e5-base-v2 임베딩에 k-means를 돌려 1,000개 클러스터로 묶고 Qwen3-8B로 요약을 붙여 계층을 만든다. 지연시간은 코퍼스 크기가 아니라 계층 깊이에 비례해 T(N) ≈ t_req·⌈log_b N⌉로 근사되며, 요청당 0.2초, 분기 b=100이면 10억 구절도 다섯 번의 결정 약 1초로 도달한다고 논문은 계산한다.

어떻게 쓰나

실험은 MultiDoc2Dial, ConditionalQA, MTRAG(IBM Cloud 부분집합), Natural Questions(10만8,626개 위키백과 문서, 268만 문단)에서 이뤄졌다. 태스크 특화 학습이나 1차 검색기 없이, DecisionRAG는 8B 리랭커를 결합한 밀집 검색보다 MultiDoc2Dial에서 R@1 13.8포인트, Natural Questions에서 Hit@1 17.4포인트 높았다. GPT-5로 밀집 검색 결과를 리랭킹한 것과 비교해도 MultiDoc2Dial·Natural Questions 1위 정확도 65.4 대 60.8, ConditionalQA R@10 71.9 대 64.0, MTRAG R@5 34.2 대 31.8로 앞섰다(ConditionalQA Hit@1은 73.4 대 69.7로 GPT-5가 우세). 밀집 검색 상위 후보를 최종 단계에 합치면 R@10이 MultiDoc2Dial 83.6→84.7, ConditionalQA 71.9→76.3, Natural Questions 86.7→88.9로 올랐다. 검색 결과를 Qwen3.5-27B에 넣은 하위 QA에서도 MTRAG 정답 판정률이 Qwen3-Reranker의 39.4%에서 44.1%, 밀집 후보 결합 시 47.3%로 상승했고(GPT-5 리랭킹은 34.0%), Natural Questions exact match 54.8%, ConditionalQA 47.6%로 gold passage 상한 49.4%에 근접했다. MultiDoc2Dial 학습 데이터로 Qwen3-8B를 결정 모델로 적응시키면 R@1 60.7로, 공개된 최고 태스크 학습 검색기를 5.7포인트 앞선다.

전제와 한계

저자들이 분해한 기여도도 구체적이다. 후보를 따로 채점하지 않고 공유 컨텍스트에서 함께 채점하는 것만으로 MultiDoc2Dial R@1이 7.7포인트, Natural Questions Hit@1이 6.5포인트 올랐다. 요청당 후보 수를 늘리면 Hit@1이 개별 채점 47.8%에서 50개 묶음 54.3%까지 오르고 그 이상에서는 포화되며, 200개 전체에 다중 선택 판단을 적용하면 60.6%가 된다. 같은 계층·예산에서 결정을 토큰으로 생성하는 GPT-5 방식과 비교하면 정확도는 ConditionalQA에서 4.1포인트 뒤지고 Natural Questions에서 6.0포인트 앞서는 수준인 반면, 속도는 34~145배, 비용은 21~25배 차이였다. 항해 자체의 효과도 확인된다. 밀집 검색 상위 100개를 같은 결정 모델로 리랭킹한 것보다 계층을 항해하는 쪽이 Hit@1 기준 ConditionalQA 7.7포인트, Natural Questions 7.0포인트 높았는데, 밀집 상위 100개가 gold를 담고 있는 비율 자체는 더 높았다(Natural Questions 98.4% 대 94.0%). 즉 후보를 많이 가진 쪽이 아니라 페이지를 읽기 순서대로 통째로 보여주는 쪽이 1위를 더 잘 맞힌다.

실무 관점에서 이 설계의 매력은 콜드 스타트다. 역색인도, 사전 계산된 임베딩 인덱스도, 1차 검색기도 없이 문서 구조와 짧은 설명만으로 검색이 된다. 측정된 서빙 구성에서 쿼리당 지연은 0.68~1.76초, API 비용은 0.22~2.33센트로, Qwen3-Reranker-8B를 붙인 밀집 검색의 3.3~14.3초, GPT-5 리랭킹의 11.8~15.0초보다 훨씬 짧다. 다만 Natural Questions 같은 대형 코퍼스에서는 상위 클러스터를 15%만 유지해도 전체 평면 채점에 근접한 R@10(86.2% 대 84.5%)을 5분의 1 비용(2.3센트 대 12.1센트)과 3분의 1 지연(1.7초 대 4.5초)으로 얻는 대신, 5% 아래로 줄이면 gold가 든 클러스터가 버려져 R@10이 1% 설정에서 63.7%까지 떨어진다. 검색 예산은 재현율과 비용의 직접적인 교환 관계이므로, 실제 도입에서는 계층 품질과 예산을 자체 데이터로 반드시 재측정해야 한다.

저자들이 명시한 한계는 두 가지다. 첫째, 이 방법은 결정 모델이 관련 가지만 식별할 수 있을 만큼 구조와 노드 설명이 잘 갖춰진 코퍼스 계층에 의존하므로, 문서 정리가 엉망이거나 설명이 무의미하면 검색 품질이 떨어진다. 둘째, 항해 중 가지치기는 되돌릴 수 없어 상위 노드가 버려지면 그 안의 정답 구절은 영원히 평가되지 않는다. 논문은 더 큰 탐색 예산과 밀집 검색 후보의 보완 결합으로 이를 완화할 수 있다고 제시하지만, 근본적으로는 계층 설계가 성능의 상한을 좌우한다는 전제가 남는다.