LLM의 사고사슬이 내부 계산과 일치하는지 측정하고 훈련으로 개선한다
Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment
무엇인가
LLM이 내놓는 사고사슬(CoT)은 오랫동안 모델이 답에 도달한 과정을 보여주는 대리 지표로 쓰여 왔다. 그런데 최근 연구들은 CoT가 내부 계산을 반영하지 못하며, 최종 답을 바꾸지 않고도 조작될 수 있다는 증거를 쌓아 왔다. 이 논문은 그 간극을 정량화하는 문제를 다룬다. 저자들이 던지는 질문은 명확하다. 모델의 CoT 서술과 내부 계산을 정렬시킬 수 있는가. 이 정렬이 이루어지면 모델 행동을 더 신뢰성 있게 해석할 수 있고, 고위험 응용에서의 모니터링 가능성이 올라간다.
어떻게 동작하나
제안하는 지표는 CoT-Interpretability Alignment(CIA)다. 과제 프롬프트가 유도하는 하나의 정답 전략 S를 가정하고, 두 개의 이진 지표를 둔다. B_CoT는 생성된 CoT가 전략 S의 사용을 명시적으로 드러냈는지, B_INT는 해석 도구가 모델 내부 표현에서 전략 S의 사용을 탐지했는지를 나타낸다. B_INT를 정답 라벨, B_CoT를 예측 라벨로 놓고 양성 클래스와 음성 클래스의 F1 점수를 평균한 macro F1을 CIA로 정의한다. 즉 CIA는 정답 여부가 아니라 충실성을 재는 값이며, 해석 도구 자체가 불완전하기 때문에 완벽하게 정렬된 시스템도 1.0에 도달하지 못할 수 있다는 전제를 깔고 있다.
무엇과 다른가
실험은 서로 다른 추론 능력을 요구하는 세 과제에서 이루어진다. TwoHopFact의 2-hop 사실 질문(예: 특정 인물의 배우자의 어머니는 누구인가)에서는 주석된 bridge entity를 거쳐 구성적으로 추론하는 것을 정답 전략으로 삼고, 선형 프로브와 Tuned Lens로 내부 사용 여부를 판정한다. MMLU-Hint는 잘못된 답을 암시하는 힌트를 주입한 뒤 모델이 그 힌트에 실제로 영향받았는지를 선형 프로브와 Biasing Features로 본다. 2자리 정수 곱셈은 두 개의 부분곱과 그 합을 단계별로 쓰는 긴 곱셈 템플릿을 주고, 부분곱을 오염시켰을 때 합이 따라 바뀌는지를 선형 프로브와 어텐션 패턴 분석으로 확인한다. 프로브의 신뢰도는 held-out 정확도 0.83~0.91, 양성 클래스 F1 0.75~0.95로 보고된다.
어떻게 쓰나
Llama3.1-8B-Instruct, Gemma2-9B-it, Qwen3-8B를 평가한 결과 CIA는 0.448~0.759에 머물렀다. 모든 모델과 과제에서 충실도가 불완전하다는 뜻이다. 정확도가 높다고 충실도가 높지도 않다. TwoHopFact에서 가장 정확한 Gemma2가 가장 충실하지 않았고, 2자리 곱셈에서 가장 정확한 Qwen3가 Gemma2보다 충실도가 낮았다. 불일치의 지배적 유형도 과제마다 다르다. TwoHopFact에서는 내부적으로 회상하지도 않은 bridge entity를 CoT에 적는 (B_INT=0, B_CoT=1) 경우가 32.0~54.3%로 가장 많았다. 곱셈에서는 Qwen3와 Gemma2가 각각 23.6%, 15.8%로 같은 유형에 몰렸고, Llama3.1은 반대로 내부적으로는 부분곱에서 답을 유도하면서 CoT에 그 합을 잘못 적는 (1,0) 유형이 26.2%였다. MMLU-Hint에서 Llama3.1과 Gemma2는 힌트가 답을 바꿨는데도 CoT가 이를 인정한 비율이 23.1~28.6%에 그쳤고, Qwen3는 애초에 힌트에 영향받는 비율이 13.8%로 낮았다.
전제와 한계
저자들은 이 지표를 보상으로 삼아 후처리 학습을 시도한다. Rejection Sampling은 여러 완성을 샘플링해 B_CoT와 B_INT가 일치하는 것만 남겨 파인튜닝하며, 정답 여부는 보지 않는다. DPO와 GRPO는 r = r_base + λ·1(B_CoT = B_INT) 형태의 보상을 쓴다. λ는 1.0으로 두었고, r_base 항이 정확도를 지켜 한 가지 전략으로 붕괴하는 보상 해킹을 막는다. 결과적으로 모든 과제와 모델에서 CIA가 일관되게 올랐고, 설정별 최선 기법 기준 평균 상대 개선은 25.5%였다. TwoHopFact에서는 Rejection Sampling이 가장 컸고(+0.120~+0.241), MMLU-Hint에서는 DPO가 가장 컸으며(+0.094~+0.155), 곱셈은 모델에 따라 최선 기법이 갈렸다(Llama3.1은 RS, Qwen3와 Gemma2는 DPO, +0.088~+0.111). GRPO는 상대적으로 개선폭이 작았다(-0.066~+0.126). 정확도는 TwoHopFact와 MMLU-Hint에서 어떤 기법도 0.015 이상 떨어뜨리지 않았고, 곱셈에서는 오히려 모든 기법이 정확도를 올렸다(+0.007~+0.185).
개선이 다른 과제로 전이되는지도 확인했다. TwoHopFact와 MMLU-Hint는 서로 충실도 이득을 주고받았지만(+0.09~+0.17, 반대 방향 +0.09~+0.10), 곱셈에서 얻은 개선은 두 과제로 전이되지 않았고(최대 +0.03) 그 반대도 마찬가지였다(-0.02~+0.04). 해석 도구를 Tuned Lens, Biasing Features, 어텐션 패턴 분석으로 바꿔 평가해도 개선 추세는 그대로 따라왔다.
개선의 원인은 과제에 따라 두 갈래로 갈린다. 인스턴스 단위 전이 분석에서 곱셈은 (0,1)에서 (1,1)로 이동하는 흐름이 +7.6%로 지배적이었는데, 이는 내부 계산 자체가 바뀌어 모델이 말로 서술한 절차를 실제로 따르게 되었다는 뜻이다. 반면 MMLU-Hint는 (0,1)에서 (0,0)으로 +8.2%, TwoHopFact는 같은 방향으로 +21.0% 이동했다. 답을 이끌지 않는 힌트를 더 이상 인정하지 않거나, 실제로 수행하지 않은 구성적 추론을 주장하지 않게 된 것이다. 즉 보고 방식이 정직해진 경우다. 인과 개입 실험도 이를 뒷받침한다. 곱셈에서 충실도가 개선된 부분집합의 인과 효과율은 29.0%에서 72.0%로 뛰었지만, TwoHopFact는 61.2% 대 64.5%, MMLU-Hint는 59.5% 대 62.7%로 훈련 전후가 비슷했다. 곱셈은 추론 방식이, 나머지 둘은 보고 방식이 바뀐 것이다.
실무 관점에서 이 논문이 주는 신호는 분명하다. CoT를 디버깅 로그나 감사 근거로 쓰고 있다면, 그것이 모델의 실제 계산을 반영한다는 가정을 검증 없이 받아들이면 안 된다. 특히 지식 기반 추론에서는 모델이 내부적으로 쓰지 않은 전략을 CoT에 적는 유형이 지배적이었고, 힌트나 컨텍스트에 영향받은 경우 그 사실을 스스로 밝히는 비율도 낮았다. CIA 같은 지표를 자체 파이프라인에 붙여 충실도를 주기적으로 측정하고, 필요하면 이 논문의 보상 설계처럼 충실도 신호를 학습에 직접 넣는 선택지를 검토할 만하다. 다만 과제별로 개선 기법이 다르고 전이 범위도 제한적이므로, 하나의 과제에서 얻은 충실도 개선을 다른 과제에 그대로 기대해서는 안 된다.
저자들이 밝힌 가장 큰 한계는 평가의 신뢰도가 해석 도구의 정밀도에 종속된다는 점이다. 현재 도구가 모델의 내부 추론 궤적을 완벽히 복원하지는 못한다. 다만 프레임워크와 학습 파이프라인이 특정 도구와 구조적으로 분리되어 있어, 더 정밀한 도구가 나오면 그 출력을 새 정답 라벨로 그대로 꽂아 쓸 수 있다고 주장한다. 향후 과제로는 여러 기본 추론 능력이 얽힌 장기 체인 과제에서 충실성 목표들이 서로 충돌할 수 있다는 문제와, 잠재 공간에서 추론을 끝내는 아키텍처의 내부 과정을 사후적으로 텍스트 설명으로 충실히 번역하는 문제를 제시한다.