VERITAS가 LLM 내부 계산을 토큰으로 풀어 CoT 불충실성을 추적한다

무엇인가

이 논문이 다루는 문제는 Chain-of-Thought(CoT)가 겉으로는 그럴듯하지만 실제로는 모델 내부 계산을 정직하게 반영하지 않을 수 있다는 점이다. 기존 검증은 크게 두 갈래였다. LLM-as-Judge는 생성된 CoT 텍스트가 답을 그럴듯하게 뒷받침하는지만 보고, 활성화 프로빙은 고정된 층·위치의 정적 활성화 스냅샷만 읽는다. 저자들은 둘 다 "불충실성이 생성 과정에서 어떻게 발달하는가"를 설명하지 못한다고 지적한다. 추론 관련 정보가 어느 층에서 생겨나 어떻게 전이되고 언제 출력으로 표면화되는지를 모델링하지 않는다는 것이다.

어떻게 동작하나

제안 방법 VERITAS의 핵심은 모델 계산을 '말로 풀어내는(verbalise)' 것이다. 층별 야코비안 렌즈(J-lens)를 써서 중간층 잔차 스트림 h(ℓ,t)를 최종층 잔차 공간으로 선형 근사한 뒤 언임베딩을 적용해 어휘 분포로 바꾼다. 렌즈 행렬 J_ℓ는 일반 코퍼스에서 야코비안을 평균해 추정하고, D_ℓ = W_U·J_ℓ의 각 행이 특정 토큰 w에 대응하는 J-lens 벡터가 된다. 이렇게 하면 서로 다른 층의 상태가 '같은 토큰 좌표'를 갖는 공통 공간(J-space)에 놓이므로, 층 축과 생성 진행 축을 함께 비교할 수 있다.

무엇과 다른가

다음은 읽기 격자와 앵커 발견이다. 문장·절 경계에서 잔차 상태를 샘플링하고 CoT 진행을 P개의 상대 위치 구간(phase)으로 정규화해 층×구간 격자를 만든다. 같은 질문에 대한 충실한 CoT와 불충실한 CoT를 1대1로 짝지어, 각 셀에서 두 상태의 평균 차이 Δ(ℓ,p)를 구한다. 이 대비 방향과 각 후보 토큰의 J-lens 벡터 사이 코사인 점수를 계산해 양의 상위 κ개 토큰을 뽑고, 이들의 합집합이 앵커 사전이 된다. 앵커를 Context·Explanation·Checking·Reporting 네 단계로 묶어 보면, 충실 방향 앵커는 Context에 붙어 있고 Checking이 후반 구간·깊은 층에서 늘어나는 반면, 불충실 방향 앵커는 Context를 일찍 잃고 Explanation과 Reporting이 지배한다. 과제와 분리된 설명이 만들어진다는 해석이다.

어떻게 쓰나

탐지에는 세 가지 구조적 특징을 쓴다. Map은 각 층·구간 셀에서 앵커 정렬 강도를 발견 점수로 가중 평균해 '증거가 어디에 나타나는지'를 담는다. Profile은 앵커별로 선택된 셀들의 정렬을 평균해 '어떤 앵커가 표현되는지'를 남긴다. Dynamics는 층 방향과 진행 방향으로 이웃 셀 간 정렬 변화량(변위)을 구하고 연속 변위 사이 코사인을 계산해 '증거가 어떻게 변해가는지'를 측정한다. 세 특징을 이어 붙여 L2 정규화 로지스틱 회귀에 넣는다. 탐지 성능이 예측 헤드의 용량이 아니라 추출된 궤적 특징 자체를 반영하도록 일부러 단순한 선형 분류기를 썼다고 밝힌다.

전제와 한계

실험은 BonaFide와 FaithCoT-Bench(AQuA, LogiQA, TruthfulQA, HLE-Bio)에서 Llama3.1과 Qwen3 백본으로 수행했다. 베이스라인은 Perplexity, Early Ans, Info Gain, Ans Tracing, LLM-as-judge, 중간층·마지막층 은닉 상태 프로브(HS_m, HS_l)다. 평균 균형 정확도는 VERITAS 전체 버전이 Qwen3에서 0.749, Llama3.1에서 0.737로, 각 모델의 최강 베이스라인(Ans Tracing 0.655, HS_l 0.644)을 9점 이상 앞섰다. 비지도 베이스라인 중 상대적으로 나은 로짓 기반 방법이 0.610, 텍스트 수준 신호가 0.533인데 VERITAS는 0.743이었다. 초록 기준으로 LLM-as-Judge 대비 균형 정확도 28.4%, 활성화 프로빙 대비 평균 16.0% 개선이다.

특징별 분석도 구체적이다. Map에서 충실한 CoT는 22~23층 부근에서 정렬이 최고점을 찍고 후반 구간에서 더 깊어지지만, 불충실한 CoT는 17층 근처에 고정된다. Profile에서는 text, provided, statement, clearly, assess 같은 접지·평가 앵커에서 충실 CoT가 더 강하게 반응하고, 불충실 CoT에서는 assess, value, automatically가 거의 0으로 떨어진다. Dynamics에서는 모터 층 기준으로 CoT 30% 지점까지 두 집단이 구분되지 않다가, 충실 CoT는 정체하고 불충실 CoT는 계속 하락해 마지막 구간에서 급락한다. CoT 길이 삼분위에서는 Map이 짧은 CoT 0.688에서 중간 0.737로, Profile은 짧음·중간 0.737·0.740에서 김 0.703으로, Dynamics는 짧은 CoT 0.753에서 길어질수록 하락해 특징마다 강점 구간이 다르고 그래서 결합이 이득이라고 설명한다. 층을 K개 단계로 합치면 K=7에서 0.693(전체 층 0.695), K=3에서 0.673으로 버틴다. 전이는 앵커만 재사용할 때 97~99%, 앵커와 분류기를 모두 고정한 제로샷에서 88~90%를 유지했고, Llama3.1에서 Qwen3로의 교차 모델 전이에서 Dynamics가 91~96%, Map이 79~87%를 지켰다.

개발자 관점에서 이 논문은 CoT를 신뢰도의 근거로 쓰는 시스템에 대한 경고이자 도구다. 출력 텍스트만 검사하는 검증기는 모델이 내부적으로 다른 경로를 타고도 그럴듯한 설명을 만들어내는 경우를 잡지 못한다. VERITAS식 접근은 은닉 상태 접근이 가능한 오픈 모델에서 층·구간 격자와 앵커 정렬만으로 추론 궤적을 특징화하고, 그 특징이 어느 구간에서 어긋나는지를 사람이 읽을 수 있는 토큰으로 제시한다. 다만 앵커 사전을 만들려면 같은 질문에 대한 충실·불충실 CoT 쌍이 필요하고, J-lens 행렬은 일반 코퍼스에서 미리 추정해 둬야 하며, 분류기 보정은 데이터셋에 부분적으로 의존한다는 점을 전제로 삼아야 한다.

저자들이 밝힌 한계도 분명하다. 윤리 진술에서 VERITAS가 만드는 궤적은 모델 행동에 대한 정답 설명이 아니라 진단 도구로 취급해야 한다고 못박는다. 또한 초기 층은 안정적인 언어화를 만들어내지 못해 분석이 중간·후반 층(워크스페이스·모터 층)에 의존하고, 층을 거칠게 묶으면 Map과 Profile이 손실을 본다. 교차 데이터셋 전이에서 앵커보다 분류기에서 더 많이 떨어진다는 관찰도, 앵커는 상당히 범용적이지만 임계값 보정은 소스 데이터에 묶여 있다는 실무적 주의점으로 읽힌다.