DeFT-RAG는 멀티홉 질문을 자기완결 하위질문으로 쪼개 정확도를 높인다

무엇인가

멀티홉 질문은 하나의 문단으로 답할 수 없다. 두 개 이상의 사실을 서로 다른 문서에서 이어 붙여야 하고, 그 사슬은 질문이 한 번도 언급하지 않는 중간 엔티티(브리지 엔티티)를 통과한다. 예를 들어 "Darlings를 만든 연주자가 결성한 밴드가 있는 도시에서 그레이하운드 버스는 어디서 출발하는가"에 답하려면 Darlings가 Kevin Drew의 앨범이라는 사실, 그가 Broken Social Scene을 토론토에서 결성했다는 사실, 토론토의 버스 터미널이 어디인지를 차례로 밝혀야 한다. 질문에는 Kevin Drew도 토론토도 등장하지 않는다. 바닐라 RAG는 질문과 표면적으로 유사한 문단만 가져오므로 MuSiQue의 3-hop 질문 중 전체 근거 사슬을 확보하는 비율이 7%에 그친다.

어떻게 동작하나

기존 접근도 완전하지 않다. 그래프 기반 RAG는 질문이 언급한 엔티티에서 그래프 링크를 따라가지만, 브리지 엔티티는 정의상 질문에 없으므로 첫 번째 고리에서 막히기 쉽다. 논문이 측정한 바로는 대부분의 그래프 기반 방법이 MuSiQue 3-hop에서 전체 사슬을 확보하는 비율이 6~10%로 바닐라 RAG와 크게 다르지 않고, LinearRAG는 28%까지 올리지만 질문당 약 4,100단어의 문단을 LLM에 넣는다. 반복형(iterative) RAG는 하위질문을 만들어 검색과 추론을 번갈아 수행해 19~41%까지 올리지만, LLM에게 하위질문 계획, 의존관계 결정, 답이 나올 때마다의 재작성, 지금까지 알아낸 것의 추적을 한꺼번에 시킨다. 저자들은 이를 계획 오류, 의존성 오류, 재작성 오류, 추적 오류의 네 가지로 분류하고 각각의 실패 사례를 든다. 여기에 고정된 top-k 검색이 매 단계 정확도를 떨어뜨린다. MuSiQue의 단일 검색으로 풀리는 질문에서 top-5를 top-10으로 늘리면 필요한 문단이 모두 포함되는 비율은 62%에서 88%로 오르지만 정확도는 0.620에서 0.630으로 거의 변하지 않았고, top-10에서 정답 문단만 남기면 0.793으로 뛰었다.

무엇과 다른가

DeFT-RAG의 첫 번째 구성 요소는 증분적 질문 분해다. LLM은 원래 질문 Q와 지금까지의 QA 쌍 집합 F_t를 입력받아 하위질문 q_{t+1}을 한 번에 하나만 만든다. 핵심 제약은 '자기완결성'이다. 하위질문은 자신이 묻는 모든 엔티티를 이름이나 추가 조회가 필요 없는 서술로 명시해야 하고, 다른 하위질문의 답에 의존해서는 안 된다. 라인강이 북해로 흘러든다는 사실이 QA 테이블에 있으면 "북해는 대서양과 어디서 만나는가"는 자기완결적이지만 "그 바다는 대서양과 어디서 만나는가"는 아니다. 미리 계획하지 않으니 브리지 엔티티를 추측할 필요가 없고, 의존관계도 재작성도 존재하지 않는다. LLM은 '다음에 빠진 정보를 묻는 질문 쓰기'라는 한 가지 세밀한 과제에만 집중한다. 답 생성과 최종 응답까지 포함해 LLM이 맡는 일은 세 가지뿐이다.

어떻게 쓰나

두 번째 구성 요소는 나머지 작업을 LLM 밖으로 꺼내는 것이다. QA 테이블 F_{t+1} = F_t ∪ {(q_{t+1}, a_{t+1})}은 모델 호출 없이 규칙으로만 갱신된다. 답이 나온 하위질문은 쌍으로 추가하고, 답을 못 얻은 질문은 기록해 다시 묻지 않게 하며, 이미 물은 질문을 정규화된 문구 비교로 감지해 다른 질문을 요구한다. 이 테이블이 단계 간에 넘어가는 유일한 지식 기록이므로 긴 프롬프트 속에서 정보를 잃는 추적 오류가 사라진다. 예/아니오 판단은 StartLux-Decision-4B(Qwen3.5 아키텍처, 4B 파라미터)를 LoRA로 미세조정한 경량 판단 모델(DM)이 맡는다. 검색된 문단이 질문과 관련 있는지, 원 질문을 한 번에 답할 수 있는지, 지금까지의 QA 쌍으로 충분한지의 세 가지를 확률로 판정하고, 임계값은 관련성·충분성이 0.5, 직접 응답이 0.7이다. 직접 응답 쪽을 더 엄격하게 둔 이유는 여러 단계가 필요한 질문을 한 번에 답하려다 틀리면 회복이 어렵지만, 반대 방향의 오판은 호출만 늘어날 뿐 정답 가능성이 남기 때문이다. 문단 선택에서는 top w=2k=10개를 검색해 DM이 관련 있다고 본 것만 LLM에 넘기고, 단계당 최대 5개(평균 2.1~2.4개)로 제한해 베이스라인의 top-5와 조건을 맞춘다.

전제와 한계

세 번째는 질문 간 답 재사용이다. 자기완결적 하위질문은 어떤 원 질문에서 만들어졌든 같은 의미와 같은 답을 갖는다. DeFT-RAG는 모든 QA 쌍을 캐시에 쌓아두고 새 하위질문마다 먼저 조회한다. 대소문자와 구두점을 무시한 문구 일치를 보고, 없으면 임베딩 유사도 상위 후보를 DM에게 비교시켜 같은 의미인지 판정한다(임계값 0.8). 잘못 재사용하면 오류가 다른 질문으로 전이되므로 이 문턱은 보수적으로 잡혀 있다. 전체 흐름은 이렇다. 원 질문으로 w개를 검색해 DM이 직접 답 가능하다고 보면 바로 응답하고, 아니면 빈 QA 테이블에서 시작해 하위질문 생성→관련 문단 선택→답변→테이블 갱신을 반복한다. 매 단계 후 충분성 판정을 하고, T=6단계 안에 끝나지 않으면 원 질문의 top 2w 문단 중 관련 있는 것으로 폴백한다.

실험은 MuSiQue, 2WikiMultiHopQA, HotpotQA의 1,000문항 테스트 세트(각각 11,656·6,119·9,811개 문단 코퍼스)에서 수행했다. 비교 대상은 검색 없음과 바닐라 RAG, 그래프 기반 7종(LightRAG, PathRAG, HippoRAG, HippoRAG 2, MemGraphRAG, G3RAG, LinearRAG), 반복형 4종(IRCoT, Self-Ask, LogicRAG, Hi-Q)을 합친 13개다. REAP은 플래너와 사실 추출기가 HotpotQA·2Wiki 궤적으로 미세조정된 LLM이라 '모든 시스템이 같은 백본을 공유한다'는 조건에 맞지 않아 제외했다. 백본은 gpt-4o-mini와 Qwen3.6-35B-A3B 두 가지다. 결과적으로 DeFT-RAG는 두 백본, 세 데이터셋의 여섯 조합 모두에서 EM·F1·정확도 1위를 기록했다. 근거 사슬이 가장 긴 MuSiQue에서 격차가 컸는데, gpt-4o-mini로 Hi-Q의 0.577 대비 0.629(+5.2점), Qwen3.6으로 0.583 대비 0.636(+5.3점)이었다. 2Wiki에서는 Qwen3.6 기준 LogicRAG를 2.9점 앞섰고 gpt-4o-mini로는 Self-Ask와 동률(0.852 대 0.849)이었다. HotpotQA는 gpt-4o-mini로 Hi-Q를 3.4점 앞섰고 Qwen3.6에서는 동률(0.871 대 0.864)이었다.

효율 지표도 함께 제시된다. MuSiQue 기준 DeFT-RAG는 3-hop의 46%, 4-hop의 18%에서 전체 근거 사슬을 LLM에 전달했는데, 3-hop 커버리지는 전 시스템 중 최고이면서 질문당 390단어로 가장 적다. 바닐라 RAG의 870단어보다도 적고, Self-Ask가 2-hop 83%를 커버하며 2,590단어를 쓰는 것과 대비된다. 질문당 LLM 입력 토큰은 1,569로 Self-Ask의 6,140 대비 약 4분의 1이다. 절제 실험도 있다. 문단 선택을 끄고 베이스라인처럼 top-5를 그대로 주면 정확도가 MuSiQue 2.3점, 2Wiki 3.7점, HotpotQA 5.3점 떨어졌고 HotpotQA는 p=0.002로 유의했다. DM 미세조정은 직접 응답 판정을 MuSiQue에서 0.850에서 0.933으로, 관련성 판정을 0.931에서 0.979로 끌어올렸고, MuSiQue 첫 300문항에서 종단 정확도를 0.587에서 0.623으로 높였다. 재사용 실험에서는 MuSiQue 1,000문항을 순서대로 처리할 때 전체 하위질문의 23.1%가 캐시에서 답해졌고 LLM 호출이 12.9% 줄었으며, 정확도는 0.629에서 0.642로 오히려 소폭 상승했다(p=0.18).

실무적으로 이 논문이 주는 신호는 'LLM에게 여러 일을 동시에 시키지 말라'는 것이다. 질문 분해를 미리 계획하는 대신 상태를 짧은 QA 테이블로 외부화하고, 예/아니오 판단은 소형 모델로 분리하면 백본을 바꿔 끼울 수 있으면서 토큰 비용도 크게 줄어든다. 다만 도입 전에 확인할 전제가 있다. DM은 각 벤치마크의 학습 분할 정답 주석(근거 문단, 필요한 중간 답)으로만 학습됐고 테스트 데이터는 쓰지 않았지만, 결국 도메인별 gold 라벨이 필요하다. 임계값 0.5·0.7·0.8과 최대 단계 수 T=6, 검색 폭 w=2k 같은 하이퍼파라미터도 데이터셋 단위로 고정된 값이다. 커버리지 수치 자체도 3-hop 46%, 4-hop 18%로, 홉이 길어질수록 사슬을 다 회수하지는 못한다. 또한 2Wiki와 HotpotQA의 일부 설정에서는 1위지만 2위와 통계적으로 구분되지 않는 '동률'이며, 저자들이 명시한 것처럼 캐시 재사용의 정확도 이득도 유의하지 않다. 코드와 프롬프트는 공개되어 있다.