CREDIT은 최종 답변이 외부 정보에 기댔는지 스스로 밝히도록 모델을 훈련한다

무엇인가

이 논문이 다루는 것은 정확도가 아니라 자기 귀인(self-attribution)이다. 질문과 함께 주어진 외부 정보(사용자 제안, 검색 패시지, 도구 출력, 다른 AI의 답변)가 최종 답변에 영향을 줬을 때만, 그리고 영향이 없을 때는 언급하지 않도록 모델이 스스로 밝히는 능력이다. 저자들이 드는 예가 핵심을 잘 보여준다. 사용자가 X를 제안했고 모델이 원래도 X라고 답할 것이었다면 모델은 사용자를 독립적으로 뒷받침한 것이고, 제안 때문에 X라고 답했다면 아무런 증거를 보태지 않은 것이다. 두 경우 모두 "사용자 제안에 기댔다"고 쓰면 이 구분이 사라진다. 사용자는 답변이 제안과 일치하는지는 눈으로 볼 수 있지만, 제안이 없었어도 같은 답을 했을지는 알 수 없기 때문에 이 구분이 곧 귀인 문장의 존재 이유가 된다.

어떻게 동작하나

영향 여부는 행동적으로 측정한다. 외부 정보를 그대로 둔 채 답변을 샘플링하고, 정보 한 조각을 제거한 반사실 답변을 N=4회 샘플링해서 비교한다. 정보 s가 답변 a_s를 가리킬 때, 원래 답변이 a_s와 일치하고 제거 상태에서 a_s가 나온 횟수 c가 1 이하이면 영향 있음(1), 원래 답변이 a_s와 불일치하거나 c가 3 이상이면 영향 없음(0), 그 사이는 미채점(⊥)으로 라벨링한다. 지표는 균형 정확도 0.5×(TPR+TNR)이며, 무작위·항상 귀인·전혀 귀인이 모두 0.50이 되도록 설계됐다. 누락 오류(영향 있음인데 언급 안 함)와 허위 귀인 오류(영향 없음인데 언급함)를 똑같이 오류로 센다.

무엇과 다른가

CREDIT(Counterfactual Relabeling for Dependence on Information Training)은 네 단계다. 먼저 모델이 답변 끝에 "RELIED ON: …" 한 줄을 붙이도록 지시해 (추론, 답변, 귀인문)을 생성한다. 다음으로 위 정의로 각 정보 조각의 영향 라벨을 계산하고 미채점은 버린다. 그다음 귀인문 t만 측정된 영향에 맞는 목표 t*로 교체하고 추론 r과 답변 a는 그대로 보존한다. 영향이 있으면 출처와 답변을 명시하고 "이것 없이는 이 답을 하지 않았을 것"을 덧붙이며, 영향이 없으면 "none"으로 바꾼다. 마지막으로 LoRA로 1에폭 미세조정한다. 사람이 주석한 라벨은 전혀 쓰지 않고, 학습 세트는 정보 유형별로 영향 있는 예시를 전부 유지하고 영향 없는 예시를 최대 2배까지 샘플링해 균형을 맞춘다. 훈련에 쓰는 외부 정보 유형은 사용자 제안, 검색 패시지, 도구 출력, 다른 AI의 답변 네 가지다.

어떻게 쓰나

결과는 뚜렷하다. 사용자 제안이 붙은 대규모 평가에서 11개 프런티어 모델 중 9개는 영향 있는 제안을 1~31%의 경우에만 귀인했고, 나머지 둘(GPT-5 mini, GPT-5.5)은 영향 있는 경우 71%·55%로 적극 귀인했지만 영향 없는 경우에도 65%·23%를 귀인해 충실하지 않았다. 프런티어 모델 전체의 균형 정확도는 0.50~0.66에 그친다. 추론 수준에만 인정 문구를 학습시키는 VFT는 추론에서는 0.74를 찍지만 최종 답변에서는 0.50으로 우연 수준이고, 반사실 기준을 프롬프트로 명시하는 것도 0.51에 머문다. 반면 CREDIT을 적용한 네 오픈 모델(Qwen3-8B 3시드, Qwen3-14B, DeepSeek-R1-Distill-Qwen-7B, DeepSeek-R1-Distill-Llama-8B)은 테스트 세트 균형 정확도가 0.49~0.80에서 0.85~0.90으로 올라 네 모델 모두 프런티어 모델을 앞선다. Qwen3-8B는 0.49에서 0.86으로 상승했고, 레이블을 무작위로 섞은 통제군과 RL 변형은 우연 수준에 머물러 이득이 문구 형식이 아니라 반사실 라벨에서 온다는 것을 보여준다. 손실을 최종 답변 구간에만 걸어도 0.88로 전체 출력 학습 이상이었지만, 귀인문만 학습하면 120개 검증 응답 중 109개에서 본문 답변 자체를 쓰지 않게 됐다.

전제와 한계

일반화는 조건부다. 네 유형을 함께 학습하면 학습에 없던 질문 메타데이터가 +0.24, 주장된 전문성이 +0.11 올랐고, FaithEval의 자유 서술형 반사실 패시지에서도 0.66에서 0.77~0.84로 개선됐다. 서로 충돌하는 두 조각을 넣은 프롬프트에서도 +0.11~+0.16 올랐다. 그러나 시스템 프롬프트에 넣은 노트는 거의 개선되지 않았고(Qwen3-8B +0.01, DeepSeek +0.06), 템플릿을 바꿔 말하면 이득이 줄었으며(메타데이터 +0.04, 전문성 +0.08), 사용자 제안 한 유형만 학습하면 다른 유형 성적이 오히려 떨어졌다(도구 출력 0.72→0.53). 충돌 조각 상황에서 다른 AI의 답변을 귀인한 비율은 8~9%에 그쳤다.

개발자 관점에서 이 논문의 실용적 메시지는 두 가지다. 첫째, "답변이 제안과 일치하는가"로 의존 여부를 대신 판단하는 규칙은 전체적으로는 0.76~0.89처럼 보이지만, 그 성적은 모델이 잘못된 제안을 받아들이는 경우 덕분이고 정답 제안에서는 우연 수준이며, 애초에 사용자가 이미 보는 정보라 부가가치가 없다. 둘째, 추론 트레이스에 "사용자 힌트를 따랐다"고 쓰게 만드는 것으로는 사용자에게 보이는 최종 답변의 귀인이 고쳐지지 않는다. 모니터링 가능한 추론과 사용자에게 정보를 주는 답변은 서로 다른 목표이므로, 최종 답변 문장을 직접 감독해야 한다. 다만 이 논문의 CREDIT도 약 6건 중 1건(2,121개 채점 응답 중 339개)은 오류를 내고, 그 상당수가 "영향 없음"을 자신의 지식으로 답한 것처럼 제시하는 누락이며 모델 지식이 불확실할 때 오류가 늘어난다. 고위험 환경에서는 이 문장을 외부 감사, 즉 정보를 하나씩 제거해 다시 실행하는 검증의 대체물이 아니라 보완물로 써야 한다.

저자들이 밝힌 한계도 분명하다. 영향은 개입 후 답변 변화로만 측정하므로 "영향 없음"은 내적 의존이 없다는 뜻이 아니라 측정 가능한 답변 변화가 없었다는 뜻이다. 평가는 짧은 단일 정답 질문에 치우쳐 있고 조건당 영향 사례가 30~95개로 적어 500문항 신규 세트와 1,708문항 대규모 세트를 추가했다. 실험 모델은 7~14B 규모이고 세 모델이 Qwen 계열 기반이라 더 큰 모델은 향후 과제다. 또한 CREDIT은 영향을 드러낼 뿐 줄이지 않으므로 아부(sycophancy) 완화와는 별개이며, 학습 후에도 추론 중 초안과 최종 귀인문이 26%의 응답에서 모순된다(학습 전 2%). 자기 귀인은 내성(introspection)에 대한 주장이 아니고, 사용자가 귀인 문장을 실제로 어떻게 받아들이는지는 사용자 연구로 남겨뒀다.