LLM 응답의 내부 개입 민감도로 기계적 불확실성을 측정한다
Measuring Mechanistic Uncertainty in Large Language Models via Causal Robustness
무엇인가
이 논문은 LLM이 고위험 영역에서 자신 있게 틀리는 문제를 다룬다. 기존 불확실성 정량화는 주로 출력 수준에서 언어화된 확신, 시퀀스 가능도, 엔트로피, 의미 엔트로피, 여러 샘플 간 자기일관성 등을 사용한다. 이런 신호는 답이 불확실해 보이는지는 알려주지만, 모델 내부에서 그 불확실성이 왜 생겼는지, 응답을 지탱하는 내부 계산이 안정적인지는 직접 보여주지 못한다. 저자들은 예측 불확실성과 구분되는 기계적 불확실성을 제안한다. 이는 모델 응답을 만들어내는 내부 인과 메커니즘이 통제된 개입 아래 얼마나 쉽게 흔들리는지로 불확실성을 정의하는 관점이다.
어떻게 동작하나
핵심 지표는 인과적 견고성 마진 α*다. 어떤 입력에 대해 기준 출력과 의미적으로 다른 출력을 만들기 위해 필요한 최소 개입 크기로 정의된다. 이를 구현하기 위해 저자들은 Jacobian Lens(Jlens)를 사용한다. Jlens는 평균 야코비안으로 중간 활성값을 후속 계산 너머로 선형 전달해 어휘 분포를 읽게 하고, 언어화 가능한 개념 방향으로 개입할 수 있게 한다. 논문의 절차는 중후반 레이어 대역에서 답 생성 직전 마지막 토큰의 Jlens 판독을 구하고, 각 레이어에서 최상위 판독 토큰을 뽑은 뒤 대역 전체에서 가장 자주 나타나는 합의 토큰을 찾는다. 그다음 합의 토큰의 Jlens 조향 벡터를 대역 내 모든 레이어에 정규화해 더한다. 조향 계수 α를 0.01부터 0.50까지 0.01 간격으로 양방향 탐색하고, 기준 답에서 의미적으로 이탈하는 첫 지점의 최소 |α|를 α*로 삼는다. 마진이 작을수록 내부 계산이 작은 개입에도 답을 바꾸므로 기계적 불확실성이 크다고 본다.
무엇과 다른가
실험은 TriviaQA, TruthfulQA, PopQA, SciQ, MedQA 다섯 데이터셋과 Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Gemma-3-12B-Instruct 세 모델에서 진행됐다. 사전 학습된 J-lens 행렬을 사용해 마지막 10개 레이어를 조향했고, 짧은 답 데이터셋은 별칭 및 정확 일치로, TruthfulQA는 별도 판정 모델로 정답을 평가했으며 의미 이탈은 Qwen3-32B로 판정했다. 비교 대상은 자기일관성(K=10, T=0.7), 평균 토큰 엔트로피, 최대 토큰 확률 같은 출력 기반 불확실성 신호였고, 기준 특징만 쓰는 로지스틱 회귀와 α*를 추가한 회귀도 비교했다.
어떻게 쓰나
첫 결과는 정답 응답이 오답 응답보다 평균 마진이 크다는 것이다. 모든 모델과 데이터셋에서 정답의 평균 α*가 더 컸고, 이는 오답이 작은 내부 개입에 더 민감하다는 뜻이다. α*는 정답 레이블 없이 개입 민감도만으로 정의됐는데도, -α*를 불확실성 점수로 쓸 때 AUROC가 55.78에서 75.14 사이로 나타났다. 분리가 가장 뚜렷한 곳은 TriviaQA와 PopQA였고 MedQA와 SciQ에도 효과가 있었지만 모델과 과제에 따라 강도가 달랐다. TruthfulQA에서는 정답과 오답 모두 평균 α*가 높았는데, 저자들은 모델이 흔한 오해에 과도한 확신을 보이는 점과 일관된다고 해석한다.
전제와 한계
둘째, α*는 출력 기반 불확실성과 어느 정도 상관하지만 완전히 대체하지는 않는다. 자기일관성과는 양의 상관, 평균 토큰 엔트로피와는 음의 상관을 보였으나 그 강도는 모델과 데이터셋에 따라 크게 달랐다. Gemma는 넓은 마진 구간에서 높은 자기일관성과 낮은 엔트로피를 보였고, TruthfulQA는 모든 모델에서 상관이 약했다. 로지스틱 회귀에 α*를 추가하면 대부분의 데이터셋과 모델에서 AUROC가 개선됐다. 예를 들어 Gemma의 TriviaQA 자기일관성 AUROC는 0.653에서 0.752로, Qwen의 MedQA는 0.554에서 0.638로 올랐다. TruthfulQA는 출력 기반 신호와의 상관이 약한 만큼 α* 추가 이득이 가장 컸다. 반면 평균 토큰 엔트로피와 최대 토큰 확률에서는 이득이 없는 경우도 있었다.
셋째, 지식 주입 실험은 내부 메커니즘의 안정성과 학습의 관계를 보여준다. PopQA의 대상 엔티티에 대해 위키백과 기반 지도 미세조정을 수행한 뒤 같은 질문을 평가했다. Llama의 정확도는 11.1%에서 55.4%로, Qwen은 4.0%에서 32.8%로 올랐고 통제 엔티티의 변화는 미미했다. 지식 주입 후 평균 마진 변화 ΔM은 모든 모델에서 증가했다. Llama에서 새로 정답이 된 응답의 평균 마진은 0.040에서 0.072로 커졌고, 계속 오답이거나 정답에서 오답으로 바뀐 예시의 마진은 약간 줄었다. 다만 정답에서 오답으로 바뀐 표본은 너무 적어 일반화하기 어렵다고 저자들은 밝힌다. Qwen과 Gemma도 새로 정답이 된 응답의 마진이 유의하게 증가했고, 계속 정답인 응답의 마진도 늘었다. 동시에 Qwen과 Gemma에서는 학습 후 오답에 대한 확신이 약간 높아지는 경향도 나타났다.
개발자 관점에서 이 방법은 모델이 답을 바꾸지 않고 버티는지를 내부 표현 수준에서 진단하는 도구로 쓸 수 있다. 출력 확신이나 자기일관성이 높아도 내부 계산이 작은 개념 조향에 쉽게 무너지면 취약한 지식 사용으로 볼 수 있다. 다만 Jlens 행렬과 내부 활성값 접근이 필요하고, 레이어 대역 선택과 의미 이탈 판정 모델, 조향 범위에 따라 결과가 달라질 수 있다. 따라서 단독 불확실성 점수라기보다 기존 출력 기반 지표를 보완하는 진단 신호로 배치하는 것이 논문의 취지에 맞다.
저자들이 밝힌 한계도 분명하다. α*와 출력 기반 불확실성의 상관 강도는 모델과 데이터셋마다 달랐고, 출력 확신이 기계적 안정성을 반드시 함의하지는 않았다. α* 추가가 항상 AUROC를 올리지는 않았으며 특히 평균 토큰 엔트로피와 최대 토큰 확률에서는 이득이 없었다. TruthfulQA에서는 상관이 약했고, 최대 조향 크기 0.50은 경험적으로 정한 값이다. 지식 주입 실험도 PopQA가 모델 지식 컷오프 이전에 공개됐기 때문에 해당 지식이 전혀 없었다고 주장하지 않는다. 정답에서 오답으로 바뀐 사례의 표본 크기가 작다는 점도 일반화의 전제로 남는다.