RAG 기법의 단독 성능 향상은 전체 파이프라인에서 유지되지 않는다

무엇인가

이 논문은 현대 RAG 파이프라인이 임베딩, 청킹, 인덱스 시점 보강, 검색, 쿼리 증강, 리랭킹, 문맥 압축, 에이전틱 검증 등 여러 단계를 조합한다는 전제에서 출발한다. 문제는 대부분의 새 기법이 한 단계씩 따로 평가되어, 그 향상이 전체 파이프라인에서도 살아남는지, 검색 품질과 답변 충실도가 같은 설계를 선호하는지, 5K~50K 문서에서 얻은 결론이 200K 규모에서도 유지되는지가 불분명하다는 점이다. 저자들은 이를 검증하기 위해 세 가지 가설을 사전 선언했다. H1은 구성 요소가 가산적으로 결합하지 않을 수 있다는 것, H2는 하나의 RAG 조합이 여러 배포 목표를 아우를 수 있는지, H3는 코퍼스 규모가 커지면 조합 순위가 바뀌는지다.

어떻게 동작하나

방법의 중심은 오픈소스 프레임워크 LASAGNA다. 이 프레임워크는 문서 처리, 청킹, 인덱스 시점 보강, 임베딩·인덱싱, 쿼리 증강, 검색, 리랭킹, 문맥 압축, 선택적 에이전틱 검증을 포함한 아홉 처리 단계를 고정 인터페이스로 분리한다. 여덟 가지 컴포넌트 타입을 지원하고, 데코레이터 등록만으로 새 기법을 YAML 설정에 추가할 수 있으며, 53개 내장 컴포넌트와 여덟 실험 차원의 30개 메서드, 여섯 벡터 백엔드, 여덟 벤치마크 어댑터를 제공한다. 한 컴포넌트를 바꿔도 이웃 단계 상태가 몰래 바뀌지 않는지 확인하는 다섯 가지 격리 테스트도 포함한다. 실험은 242개 계획 중 167개 D-optimal 요인 설계 구성과 24개 표적 실험의 138개 비요인 절제 구성으로 이뤄졌다. GraphRAG 보강 63개 실행은 NDCG@10 변화가 측정되지 않으면서 지연이 약 2배 늘어 제외됐고 12개는 타임아웃됐다. 8개 벤치마크, 5K~200K 문서 규모에서 약 358,215개 질의 평가를 수행했으며 클라우드 비용은 약 5,200달러, 310시간이 들었다.

무엇과 다른가

H1의 핵심 결과는 검색 향상의 비가산성이다. 단독 측정에서 가장 큰 세 검색 기법인 크로스인코더 리랭킹, MMR 비활성화, 문서 인식 프리픽스는 default_standard 대비 NDCG@10을 +46.6% 올릴 것으로 예측됐다. default_standard의 NDCG@10은 0.412였고, BM25만 쓰는 검색기는 0.403, 권장 오프더셀프 dense 인코더는 0.436이어서 약한 출발점은 아니었다. 그러나 세 기법을 함께 쓰는 balanced 파이프라인은 +17.2%만 달성해 예측 대비 63% 부족했다. 다섯 개의 단독 양성 검색 기법을 모두 넣으면 부족분은 72%로 커졌고, 17개 조합에서 부족분은 7%에서 72%, 중앙값 41%였다. 검색 품질과 가장 강하게 연관된 요인은 임베딩(η²=0.164), 인덱스 보강(0.144), 리랭킹(0.090)이었고, 임베딩×보강(0.102)과 임베딩×리랭킹(0.110) 상호작용이 통계 보정 후에도 살아남았다. 집중 도메인에서는 MMR이 평균 NDCG@10을 3.6% 상대적으로 낮췄다.

어떻게 쓰나

충실도 쪽은 다른 패턴을 보인다. 답변 충실도와 가장 강하게 연관된 것은 쿼리 증강(η²=0.224)과 에이전틱 게이팅(0.217)이었고, 검색을 주도한 임베딩과 인덱스 보강은 충실도에서 각각 η²<0.02로 미미했다. 한 번에 한 요인만 바꾼 추정은 BGE-large 임베딩, 계층적 청킹, hybrid-BM25 검색, Speculative-RAG 게이팅 조합이 기준 대비 +28% 충실도 향상을 낼 것으로 예측했지만, 최고 전체 RAG 파이프라인은 +32%를 달성했다. 즉 충실도 향상은 거의 가산적으로 전이됐다. 사전 선언한 H1 검증은 쌍별 상호작용이 충실도 분산의 20% 이상을 설명하는지였고, 이 기준은 충족되지 않았다. 후속 검증에서 상호작용은 실제로 존재했지만(p=0.007) 기준보다 훨씬 작았다. 또한 검색 품질과 충실도는 거의 무관했다. 전체 구성에서 피어슨 r=-0.01(p=0.91)이었고, 5%는 높은 충실도와 낮은 검색 품질, 6%는 높은 검색 품질과 낮은 충실도를 보였다.

전제와 한계

H2는 네 가지 운영 프로필인 speed, standard, balanced, max-reliable을 비교한다. 모든 지표에서 이기는 프로필은 없었다. 30초 응답시간 기준에서 standard가 가장 높은 결합 하이퍼볼륨 0.523을 기록했다. speed는 가장 빨랐고, standard의 직접 생성 경로는 NDCG@10에서 앞섰으며, balanced와 max-reliable은 세 번의 검증 반복을 사용해 충실도에서 앞섰다. balanced는 max-reliable 대비 NDCG@10을 4.5% 높이고 응답시간을 13% 줄이면서 충실도 차이는 0.005에 불과했다. 강한 검색 스택에 에이전틱 루프를 추가하면 충실도 이득은 미미한 반면 검색 품질과 지연은 나빠졌다. 100K~200K 문서의 다른 세 벤치마크에서는 더 가벼운 파이프라인이 10~20배 낮은 지연으로 비슷한 품질을 유지했다.

H3는 규모에 따른 순위 변화를 확인했다. standard는 5K와 15K에서 앞섰지만 balanced는 25K부터 200K까지 앞섰고, 200K에서 balanced가 standard보다 NDCG@10 기준 13.7% 상대적으로 높았다(p=0.003). 충실도는 코퍼스가 커져도 하락하지 않았다. 품질 중심 프로필들은 약 50K에서 정점을 찍고 100K에서 내려갔다가 100K에서 200K로 회복했다. 추가 절제 실험에서는 청커 선택이 20개 구성에서 NDCG@10 0.126, 상대 36% 차이를 만들어 대부분의 요인 주효과보다 컸다. 2019년 MS-MARCO MiniLM-L6 크로스인코더는 테스트한 최근 리랭커 네 개보다 순위가 높았고, BGE-M3를 Matryoshka 방식으로 768차원으로 줄이면 벡터 저장·검색 비용이 25% 줄면서 NDCG@10은 2.3% 올랐다. 환각·답변 품질 게이트를 끄면 충실도가 가장 높았고, HyDE는 NDCG@10을 3.1% 올렸지만 첫 홉 지연을 두 배로 늘려 지연 조정 이득은 0.9%에 그쳤다.

개발자에게 이 논문의 실무적 메시지는 명확하다. 새 RAG 기법을 도입할 때 단일 단계 절제 실험의 향상 수치만 보고 채택하면 전체 파이프라인에서 이득이 크게 줄거나 다른 지표를 해칠 수 있다. 검색 품질과 답변 충실도는 서로 다른 설계를 선호하므로 두 지표를 함께 보고, 지연과 비용까지 포함한 트레이드오프로 프로필을 골라야 한다. 또한 소규모 코퍼스에서 고른 최적 조합을 실제 서비스 규모에서 다시 검증해야 한다. 저자들이 밝힌 한계도 분명하다. 실험은 하나의 구축된 영어 다도메인 테스트베드에 기반하며 실험당 검색 질의는 최대 93개, 생성 질의는 최대 200개다. 네 프로필은 처방이 아니라 추가 검증용 후보로 해석해야 한다. 판정 모델을 바꾸면 절대 충실도 점수는 달라지지만 순위 경향은 유지됐고, 단일 판정자의 점추정은 근사치로 다뤄야 한다. 사전 선언은 내부 해시로만 이뤄졌고 제3자 타임스탬프 사전 등록은 아니며, 논문별 설계 행렬과 원점수 같은 일부 산출물은 공개 저장소에 포함되지 않고 저자 요청 시 제공된다.