검색 소스가 왜 충돌하는지 LLM 없이 분류하는 결정 모델

무엇인가

RAG 파이프라인에서 검색된 웹 페이지들이 서로 다른 말을 할 때, 좋은 답은 왜 의견이 갈리는지에 달려 있다. 질문이 애매해서 여러 답이 모두 맞을 수도 있고, 논쟁적인 주제일 수도 있고, 정보가 오래돼서일 수도 있고, 어떤 페이지가 그냥 틀렸을 수도 있다. 각 경우에 요구되는 생성기의 행동은 답을 종합하기, 관점을 중립적으로 제시하기, 최신 정보를 선호하기, 신뢰할 수 없는 소스를 무시하기로 전부 다르다. Cattan et al. (2025)은 이를 5개 유형 분류(No conflict, Complementary information, Conflicting opinions or research outcomes, Outdated information, Misinformation)로 정식화하고 Conflicts 벤치마크 458개 질의를 전문가 주석으로 공개했으며, 생성기에 정답 유형을 알려주면 기대 행동을 보이는 응답 비율이 약 24포인트 올라간다고 보였다. 문제는 유형 예측 자체가 어렵다는 것 — 그들이 테스트한 최고 LLM인 Gemini 2.5 Flash가 65.3%였다.

어떻게 동작하나

이 논문은 그 분류를 LLM 생성 없이 처리할 수 있는지 묻는다. 저자들이 주목한 것은 typed decision model, 즉 상태(질의와 번호가 붙은 검색 결과들)와 선택형·예/아니오형 질문을 받아 텍스트를 생성하지 않고 한 번의 순전파로 허용된 답에 대한 확률을 돌려주는 모델군이다. 이들은 Vercel AI Gateway가 2026년 10월 25일 기준 결정 모델로 등록한 11종(Jev 1.13.0/1.14.0, Decider v1.2와 Decider Flash v1.2, GPT-6 Luna Decisions, d1과 d1 Ultra, Decision-1, Elephant-1과 Mammoth-1, Classify-1)을 7개 제공사에서 모아 같은 입력으로 돌렸다. 질의 방식은 두 가지다. Flat은 5개 범주를 옵션으로 준 단일 선택 질문 하나이며, 지시문·범주 정의·예시를 원 논문 프롬프트에서 한 단어도 바꾸지 않고 복사했다(코드에 단어 하나만 달라져도 실패하는 테스트를 넣었다). Tree는 differ/compatible/opinion/outdated/misinformation 예/아니오 질문으로 쪼갠 뒤 코드에서 확률을 조합하는 방식으로, v1은 분류 체계 순서를 따르고 v2는 Jev 1.13의 개발 분할 답을 보고 opinion을 먼저 묻도록 순서를 바꾼 것이다. 추가로 캐스케이드를 정의하는데, 결정 모델이 모든 질의에 답하고 자체 확신도가 가장 낮은 f=25%(및 50%)를 LLM에 넘겨 답을 교체한다. 임계값은 확신도의 분위수라 레이블이 필요 없어 테스트 분할 전체의 정확도-비용 곡선을 누수 없이 계산할 수 있다.

무엇과 다른가

데이터는 Conflicts 458개 중 고정 시드로 뽑은 52개를 설정 선택용 개발 분할로만 쓰고 나머지 406개에서 보고한다. 결과는 11개 결정 모델이 50.0~67.0%(중앙값 62.6%) 정확도로, 같은 질의에서 원 논문 프롬프트의 Gemini 2.5 Flash가 기록한 61.3%와 비교해 8개는 동급, 2개는 유의하게 우수(Liquid d1 Ultra +5.7포인트 p=0.027, Perplexity Decider v1.2 +5.4 p=0.049), 1개는 유의하게 열등(ScaleDown Classify-1 −11.3, p<0.001)했다. 비용은 1000질의당 0.04~0.41달러(2개는 당시 무료)로 1.66달러에 대비했고, 지연은 0.26~0.72초 대 1.55초였다. 최신 Gemini 3.8 Flash는 최저 사고 수준에서 70.0%로 8개 모델보다 유의하게 앞섰지만, 확신 낮은 25%만 넘기는 캐스케이드로 만들면 11개 중 8개가 Gemini 3.8 Flash 단독과 통계적으로 동급이면서 비용은 25~37%였다. 흥미로운 부수 결과도 있다. 사고를 더 켜는 것은 도움이 되지 않아 Gemini 3.8 Flash 기본 수준은 66.7%(−3.2, p=0.019), Gemini 2.5 Flash with thinking은 57.9%(p=0.19)였다. 또 458개 전체에서 Gemini 2.5 Flash를 재실행하면 60.7%로 출판된 65.3%에 못 미친다.

어떻게 쓰나

질문 형식에 대한 결론은 명확하다. 예/아니오로 쪼개는 Tree v1은 11개 모델 전부에서 유의하게 나빠졌다. 개발 분할에서 원인을 보니 Jev 1.13이 opinion 주제에도 compatible 질문에 yes를 거의 비슷하게 답해(평균 확률 0.69 대 0.81) 13개 opinion 질의 중 12개를 Complementary로 보냈고, 테스트 분할에서도 Conflicting opinions 102개 중 89개를 Complementary로 분류해 F1이 3.8이었다. 순서를 고친 Tree v2조차 어떤 모델에서도 flat보다 유의하게 낫지 않았고(동급 7, 열등 4), 한 모델에 맞춘 수리는 다른 모델로 전이되지 않았다. 진단 실험도 실무적으로 유용하다. 게시일을 모두 제거하거나 최신순위를 넣어도 정확도가 유의하게 변한 검정은 22개 중 0개였다(모델은 "former", "as of" 같은 내용 표현으로 오래된 정보를 알아본다). 소스 순서를 섞으면 예측이 5.4~42.1% 뒤집혔고(Gemini 3.8 Flash 9.4%), 4개 모델은 LLM보다 유의하게 더 자주 뒤집혔다. 즉 순서 민감도는 모델 클래스의 성질이 아니라 개별 모델의 성질이므로 배포 전에 각자 측정해야 한다. 정답이 있는 No conflict 질의 96개에서 한 결과를 그럴듯한 오답으로 바꿔 심은 실험에서는 결정 모델이 7.3~66.7%만 Misinformation으로 찍었지만(Gemini 3.8 Flash 52.1%), Misinformation 확률 자체는 심은 것과 깨끗한 것을 AUROC 0.66~0.86(11개 중 10개가 0.75 이상)으로 분리했다. 즉 확률을 임계값으로 쓰면 잡아낼 수 있다.

전제와 한계

끝단(end-to-end) 시험은 이 작업이 실제 파이프라인에서 의미가 있는지를 본다. 생성기를 Gemini 2.5 Flash로 고정하고 유형만 바꿔 답을 만들면, 원 논문의 순서가 재현됐다. 유형 없음 87.9%, Gemini 2.5 Flash가 예측한 유형 91.6%(+3.7, p=0.032), 정답 유형 95.3%(+7.4, p<0.001). 예측자를 결정 모델로 바꿔도 11개 중 10개가 Gemini 2.5 Flash 예측자와 동급(−3.9~+0.7포인트)이었고, 가장 부정확한 Classify-1만 유의하게 나빴다(−3.9, p=0.011). 다만 두 번째 심사자(Gemini 3.8 Flash)로 바꾸면 정답 유형의 이득은 남지만 예측 유형의 이득은 사라진다(Pipeline 89.7%, Vanilla 91.1%, p=0.47). 저자들도 이득의 크기는 심사자에 달려 있고, 결정 모델이 LLM 예측자를 대체할 수 있다는 결론은 그대로라는 점을 구분해 말한다.

개발자 관점의 메시지는 세 가지다. 첫째, 이 분류는 모든 검색 증강 요청 앞에 붙는 비용이라 캐시·라우팅 대상 1순위인데, 결정 모델 대부분이 수 초가 아니라 0.3~0.7초에 끝나고 1000건당 1달러 미만이므로 지연·비용 예산에 넣을 만하다. 둘째, 고를 때 정확도만 보면 안 된다. 정확도 50.0~67.0%만큼이나 ECE(0.031~0.188)와 확신도가 오류를 얼마나 잘 정렬하는지(AUROC 0.64~0.76)가 갈리며, 가장 정확한 축에 속한 모델조차 캐스케이드에서 확신도가 무작위 수준인 경우가 있다. 셋째, 질문은 flat 선택형으로 시작하고, Misinformation처럼 드문 유형은 하드 레이블이 아니라 확률에 임계값을 두는 방식으로 운영하라. 마지막으로 같은 요청에도 예측이 최대 9.4% 바뀌는 비결정성이 있으니 회귀 테스트에 재현성 측정을 넣어야 한다.

저자들이 밝힌 한계는 분명하다. Conflicts는 테스트 406개로 95% 구간이 약 ±4.8포인트라 5포인트 미만 차이는 유의하지 않게 나오고, 캐스케이드는 LLM에 '가깝다'고 말할 수는 있어도 형식적 동등성을 보이려면 더 많은 질의가 필요하다. Misinformation은 데이터셋 전체에 5개뿐이라(테스트 4개) 심은 변형으로 대체했고, 그 변형은 한 소스의 엔티티·값을 바꾸는 한 종류만 다룬다. 모델 목록은 하루에 한 게이트웨이가 제공한 것에 한정되며 제공사가 크기나 학습 데이터를 공개하지 않아 차이를 설명할 수 없고, 일부 식별자는 버전이 고정되지 않았으며 두 모델은 실험 기간 무료였다. 끝단 시험은 생성기 하나와, 검색 결과를 보지 못하는 LLM 심사자에 의존하고 주 심사자가 생성기 자신의 모델이라 자기 답에 유리할 수 있으며, 원 논문의 세 번째 지표인 사실적 근거성은 측정하지 않았다.