사실이지만 범위 밖인 문맥이 LLM을 오답으로 끌어당긴다

무엇인가

LLM은 검색되거나 사용자가 붙여넣은 문맥을 가지고 답한다. 이때 문맥이 정답을 뒷받침하려면 두 조건을 동시에 만족해야 한다. 내용이 사실이어야 하고( factual validity ), 질문이 묻는 범위—개체, 시점, 장소—와 일치해야 한다( scope applicability ). 이 논문이 겨냥하는 것은 앞의 조건은 통과하지만 뒤의 조건에서 미끄러지는 문맥이다. 다른 해의 최저임금을 정확히 적어 놓은 문서, 이름이 같은 다른 회사를 설명한 문서처럼 거짓말은 하지 않으면서 질문과 다른 대상을 가리켜 오답으로 유도하는 문맥을 저자들은 out-of-scope 문맥이라 부른다. 기존 연구는 주로 사실이 틀린 문맥이나 무관한 문맥을 다뤘고, 이런 '참이지만 범위 밖' 문맥을 같은 질문 위에서 거짓 문맥과 직접 비교한 사례는 없었다는 것이 논문의 출발점이다.

어떻게 동작하나

이를 위해 저자들은 MisleadQA를 만든다. 기권 선택지를 포함한 5지선다 문항 959개(주요 분할)와 조건 불일치를 다루는 25문항 보충 세트로 구성된다. 설계는 이렇다. 질문 q는 속성 p의 값을 목표 범위 s에서 묻고, 정답은 y*=v(s)다. 여기에 정확히 한 개의 조건만 바꾼 대안 범위 s'를 잡아 그 값 ℓ=v(s')를 오답 유인(lure)으로 삼는다. 각 문항에는 세 종류의 문맥이 붙는다. G는 <s, y*>로 참이고 범위 안, S는 <s', ℓ>로 참이지만 범위 밖, F는 <s, ℓ>로 거짓이지만 범위 안이다. S와 F는 서로 다른 근거로 같은 오답을 지지하도록 짝지어져 있어, 질문·선지·정답·G를 고정한 채 두 종류의 유도 효과를 같은 문항에서 비교할 수 있다. 데이터는 FRED의 주별 연간 최저임금 시계열 44개(43개 주와 워싱턴 DC, 1990~2024), SituatedQA(시점·장소), AmbigDocs(동명이 entity)에서 뽑았고, 범위 비교 시 연도·관할·개체 식별자를 정규화하며 S의 명시 범위가 목표 시점을 덮는 경우는 배제했다.

무엇과 다른가

평가는 공개 가중치 모델 6종(4개 계열, 8B~32B, Qwen3는 사고 모드를 끔)에 대해, 문맥 없이도 정답을 맞히는 문항 집합을 기준으로 삼아 진행했다. 즉 모델이 원래 알고 있던 답을 문맥이 얼마나 흔드는지를 본다. 조건은 S 단독, F 단독, 그리고 G를 앞뒤 순서를 바꿔 붙인 조합이다.

어떻게 쓰나

결과는 S 단독만으로도 모델을 흔든다. 문맥 없이 맞힌 문항에서 S만 주면 29.26%(95% CI 26.79~31.79)가 lure로 답을 바꿨다. 이때 정답률 56.84%, 기권 12.17%, 기타 오답 1.73%다. 모델별 편차가 커서 5개 모델은 16.40~26.07%(평균 20.55%)였지만 OLMo-2-13B는 72.79%에 달했다. F 단독은 75.38%로 S보다 46.12%포인트 높았고(97.5% CI 41.86~49.95), 6개 모델 전부에서 차이가 양수였다. G를 함께 주면 S의 효과는 29.23%에서 0.91%로 거의 사라지지만, F는 75.38%에서 21.01%로 줄어드는 데 그쳐 21.0%가 여전히 유인에 넘어간다. 정답 선택률은 S 조건에서 56.90%→98.82%, F 조건에서 17.95%→77.08%로 오른다.

전제와 한계

순서 효과는 F에서 두드러진다. G를 먼저 두면 F의 유인률이 3.91%인데, F를 먼저 두면 38.10%로 약 10배가 된다(34.19%포인트, 95% CI 30.20~38.02). S는 0.46%와 1.36%로 차이가 미미하다. 저자들은 이 '먼저 온 문맥의 우위'가 최신성 효과와 반대 방향이라, 검색 결과를 순위대로 붙이는 RAG 환경에서 앞쪽의 거짓 문맥이 뒤따르는 정답 문맥을 눌러버릴 위험을 시사한다고 본다. 다만 두 문맥 모두 질문·선지 뒤에 붙기 때문에 첫 문맥이 질문에 더 가깝다는 점을 분리하지는 못했다고 밝힌다.

분석 파트에서는 왜 이런 일이 생기는지도 본다. 200문항 표본에서 모델에게 문맥이 질문 범위에 적용되는지 따로 판정하게 하자, G는 100.00%, F는 96.00%를 적용 가능으로 맞혔지만 S를 '적용 불가'로 맞힌 비율은 62.42%(95% CI 58.66~66.09)에 그쳤다. 더 중요한 것은 판정을 맞혀도 답이 교정되지 않는다는 점이다. S를 적용 불가로 올바르게 판정한 문항에서도 20.34%가 lure를 골랐고, 적용 가능으로 판정한 문항에서는 66.06%가 그랬다. 또한 '적용 가능한 문맥만 쓰고 없으면 기권하라'는 문맥 충실(context-faithful) 지시를 넣으면 S 단독 조건의 유인률은 29.26%에서 15.06%로 줄지만, 기권이 12.17%에서 77.85%로 폭증하고 정답률은 56.84%에서 6.99%로 무너진다. G가 있는 조건에서도 정답률이 G 단독 98.68%→91.26%, S+G 98.82%→93.84%로 떨어진다. 유인률만 보면 개선처럼 보이지만 실제로는 정답을 잃는 셈이다.

개발자 관점에서 이 논문의 메시지는 검색 증강 파이프라인의 검증 항목을 바꾸라는 것이다. 지금 대부분의 가드레일은 문맥이 사실인지, 혹은 질문과 어휘적으로 관련 있는지만 본다. 그러나 이 실험에서는 참인 문맥만으로도 문맥 없이 맞히던 답의 29%가 뒤집혔고, 정답 문맥을 함께 넣어도 거짓 문맥이 앞설 때 38%가 남았다. 따라서 검색 결과를 넣을 때는 (1) 문맥이 질문의 개체·시점·장소와 일치하는지 명시적으로 확인하는 단계, (2) 상충하는 문맥이 있을 때의 우선순위·순서 정책, (3) 기권을 정답률과 함께 집계하는 평가 지표가 필요하다. 저자들도 평가는 정답률, 유인률, 기권율을 함께 보고해야 한다고 주장한다.

한계는 저자들이 직접 밝힌다. 우선 모델은 8B~32B 공개 가중치 6종뿐이라 대형 상용 모델이나 추론형 모델은 검증되지 않았다. 과제 형식도 각 문맥이 범위를 명시한 단일 claim이고 5지선다 constrained decoding이라, 범위 단서가 암묵적인 긴 다중 패시지 문서와 자유 형식 답변에서는 결과가 달라질 수 있다. 명시적 단서가 불일치 탐지를 쉽게 만드는 쪽이므로 실제 환경의 유인률을 과소평가했을 가능성이 있다. 또한 S와 F는 참·거짓과 범위라는 두 요인에서 동시에 다르기 때문에 둘의 비교는 두 요인의 결합 효과로 읽어야 하고, 출처와 범위 차원이 완전히 교차되지 않아(주 분할의 entity 불일치는 전부 AmbigDocs) 그룹 간 차이가 출처 내용·문구의 영향일 수 있다. 데이터는 CC BY-SA 4.0, 코드는 MIT로 공개되며, 포함된 거짓 문맥 F는 오직 평가용으로만 쓰고 사실 근거나 학습 데이터로 쓰지 말라고 명시한다.