추론 근거를 무시하는 CoT의 질의 지름길을 디코딩만으로 줄인다

무엇인가

Chain-of-Thought(CoT) 프롬프팅은 LLM의 추론 성능을 끌어올리지만, 최종 답이 생성된 추론 근거(rationale)에 실제로 의존한다는 보장은 없다. 저자는 Turpin 등과 Arcuschin 등이 보고한 비충실성 사례를 근거로 든다. 선택지 순서에 끌려 사후적으로 근거를 꾸미는 행동, 근거에 계산·논리 오류가 있어도 조용히 고쳐서 답하는 행동 같은 것들이다. 표준 CoT 디코딩은 질의 q와 근거 r을 하나의 문맥으로 붙여 다음 토큰을 예측하기 때문에, 두 입력의 기여를 명시적으로 구분하지 않는다. 그 결과 모델은 근거가 다른 결론을 가리키는데도 질의만 보고 답을 낼 수 있다. 논문이 겨냥하는 지점이 이 '질의 지름길(query shortcut)'이다.

어떻게 동작하나

제안 방법은 Rationale Contrastive Decoding(RCD)이다. 외부 문서를 문맥으로 쓰도록 설계된 기존 Context-Aware Decoding(CAD, Shi et al. 2024)을, 문맥 자리에 모델이 스스로 생성한 CoT 근거를 넣는 형태로 옮긴 것이다. 절차는 단순하다. 먼저 평소처럼 질의로 근거 r을 생성한다. 답을 만들 때는 두 개의 분포를 동시에 계산한다. 하나는 질의와 근거를 함께 조건으로 준 p(y|q,r), 다른 하나는 질의만 조건으로 준 p(y|q)다. RCD는 이 둘의 밀도 비율을 이용해 p̂(y) ∝ p(y|q,r) × (p(y|q,r)/p(y|q))^α 로 재가중한다. 로짓 수준에서는 logitŝ = (1+α)·logits(y|q,r) − α·logits(y|q) 로 구현되며, 배치 병렬로 두 번의 포워드만 돌리면 된다. α는 대조 강도다. 핵심은 더하기가 아니라 빼기라는 점이다. 근거를 조건으로 줬을 때 확률이 올라간 토큰, 즉 근거가 새로 보태는 정보만 상대적으로 끌어올리고, 질의만으로도 이미 높던 토큰은 눌러준다.

무엇과 다른가

저자는 이 디코딩 규칙에 이론적 해석도 붙인다. RCD의 분포가 KL 정규화된 보상 최대화 문제 max_π E_π[R] − β·D_KL[π‖π_ref]의 닫힌 형태 해와 동등하다는 것을 Theorem 3.1로 보인다. 여기서 보상 R은 log p(y|q,r)/p(y|q), 참조 정책 π_ref는 근거 조건부 분포 p(y|q,r)다. 직관적으로는 질의만 쓴 분포와의 차이를 또렷하게 드러내는 토큰을 고르되, 원래 근거 조건부 분포의 확률은 크게 벗어나지 않게 정규화한다는 뜻이다.

어떻게 쓰나

실험은 GSM8K, MATH, CommonsenseQA, AQuA-RAT, MMLU-Pro 다섯 개 추론 벤치마크에서 Qwen3, Gemma3, Llama-3.1 계열 모델로 수행했다. 비교 대상은 표준 CoT와, 두 분포를 더하는 Logit Addition(Product-of-Experts 조합)이다. α는 GSM8K 학습 서브셋 그리드 서치로 1을 골랐고, Qwen3는 공식 기본 샘플링 파라미터(temperature 0.7, top_k 20, top_p 0.8)를 썼으며 CoT와 RCD가 같은 근거를 공유하도록 통제했다. 80GB H100에서 3회 반복 실행했다. 원문 본문에는 벤치마크별 정확도 수치 표가 제시돼 있지 않고, "RCD가 모든 경우에서 표준 CoT와 Logit Addition을 앞선다"는 서술만 확인된다.

전제와 한계

수치가 명시된 곳은 개입 실험과 사람 주석 분석이다. GSM8K에서 근거를 정답 근거 또는 무작위로 섞은 근거로 교체해보면, 표준 CoT는 무작위 근거를 줘도 상당한 정확도를 유지한다. 근거를 무시하고 질의 지름길로 답한다는 신호다. 반면 RCD는 정답 근거에서 정확도가 올라가고 무작위 근거에서 크게 떨어져, 근거 내용에 대한 행동적 의존도가 커졌음을 보였다. Logit Addition은 자기 생성 근거와 정답 근거 모두에서 정확도를 떨어뜨리면서 무작위 근거에서는 오히려 높은 정확도를 유지해 대조를 이뤘다. Qwen3-8B가 GSM8K 테스트 1,319개에 생성한 근거를 사람이 주석한 분석에서는, 근거가 맞은 1,201개 중 CoT가 틀린 33개 가운데 10개(30.30%)를 RCD가 고쳤고 이미 맞은 예측은 하나도 훼손하지 않았다. 반대로 근거가 틀린 118개에서는 CoT 오답 110개를 하나도 고치지 못했고, 맞은 8개도 바꾸지 않았다. 정성 사례에서도 CoT는 근거가 "답은 A"라고 결론 내렸는데도 이를 무시하고 다른 답을 냈지만, RCD는 근거의 결론을 따라 정답을 냈다.

개발자 관점에서 이 방법의 매력은 훈련도, 외부 평가자도, 모델 파라미터 수정도 필요 없다는 점이다. 이미 CoT로 근거를 뽑아 쓰는 파이프라인이라면, 답 생성 시 질의만 조건으로 준 포워드를 한 번 더 돌려 로짓을 빼주는 것만으로 근거 충실도를 올릴 시도가 가능하다. 대신 확인해야 할 것이 있다. 첫째, 두 번의 포워드가 필요해 지연과 비용이 늘어난다. 둘째, α를 도메인과 모델에 맞춰 잡아야 하고 논문은 GSM8K 학습 서브셋에서 1을 골랐다는 것만 밝힌다. 셋째, 근거를 더 신뢰하게 만드는 장치이므로 근거 자체가 틀렸을 때는 이득이 없다. 실제로 저자들은 근거가 틀린 경우 RCD가 오답을 고치지 못했다고 보고한다.

저자가 명시한 한계도 여기에 있다. 근거 의존도가 강해졌다는 것이 충실한 추론을 보장하지는 않으며, 특히 근거 자체가 틀렸을 때는 의존도 증가가 오히려 해로울 수 있다고 결론에서 밝힌다. 즉 RCD는 '근거를 따르게 만드는' 디코딩 수준의 개입이지, 추론의 정확성을 보증하는 장치가 아니다. 논문은 Self-Consistency와의 결합을 부록에서 따로 다룬다고만 언급하고, 근거 품질 자체를 개선하는 문제는 범위 밖으로 남겨둔다.