CausalCoT는 문맥 격리로 생각의 사슬 누수를 막는다
Causal Chain of Thought: Mitigating Attention Leakage via Context Isolation
무엇인가
이 논문은 LLM의 생각의 사슬(CoT)이 단계별 설명처럼 보이지만 실제로 최종 답을 인과적으로 이끄는지는 보장되지 않는다는 문제를 다룬다. 자기회귀 생성에서 조밀한 어텐션은 각 추론 단계가 전체 문맥을 볼 수 있게 해, 모델이 중간 논리를 거치지 않고 입력이나 전역 문맥에서 답을 직접 조회한 뒤 그럴듯한 사후 정당화를 만들 수 있다. 저자들은 이를 어텐션 누수라고 부르고, 누수가 이전 토큰의 잠재 표현을 통해 전이되므로 특정 단계와 논리적으로 무관한 내용까지 스며든다고 설명한다. RLHF나 GRPO 같은 정렬 학습도 인간이 선호하는 그럴듯한 텍스트를 최적화할 뿐 내부 계산의 투명성을 보장하지 않기 때문에, 고위험 의사결정에서 설명을 신뢰하기 어렵다고 본다.
어떻게 동작하나
제안 방법 CausalCoT는 추론 계획과 실행을 분리한다. 1단계에서 LLM은 플래너 역할만 하여 입력 X를 원자적 하위 질문들의 방향성 비순환 그래프(DAG)로 분해한다. 노드는 하위 질문, 간선은 한 질문의 답이 다른 질문을 푸는 데 필요하다는 의존성을 뜻한다. 2단계에서는 그래프를 위상 정렬 순서로 실행하되, 루트 노드는 원래 입력과 해당 하위 질문만 보고, 내부·리프 노드는 자신의 하위 질문과 직계 부모 노드의 답변만 본다. 전역 입력, 형제 노드, 병렬 추론 가지에는 접근하지 못한다. 이 마르코프 구조가 비부모 내용으로 향하는 어텐션 경로를 제거해, 각 단계가 지역 의존성에만 민감해지도록 만든다.
무엇과 다른가
저자들은 여기서 말하는 인과를 통계적 인과 추론이나 구조적 인과 모델이 아니라 엄격한 절차적 의존성으로 한정한다. CausalCoT는 모델 내부 계산을 그대로 노출한다고 주장하지 않고, 배포 시 추론 절차가 비부모 추론 내용에 직접 어텐션하지 못하도록 제약한다고 말한다. 그래프는 실행 전에 감사할 수 있어 전문가가 노드나 간선을 추가·삭제·수정할 수 있고, 잘못된 중간 노드를 고치면 하위 노드만 다시 계산하면 된다. 또한 do(v_i=x)에 해당하는 반사실 개입을 노드 값에 적용해 그 효과를 하류로 전파할 수 있다고 설명한다.
어떻게 쓰나
실험은 GPQA, MedQA, 그리고 건강·비즈니스·윤리를 포함하는 Counterfactual Simulatability Suite에서 진행됐다. 모델은 Gemma 3, GPT-5.4, Claude 4.5/4.6 계열이고, 비교 대상은 표준 CoT와 Factored Decomposition이다. Factored Decomposition도 하위 질문으로 분해하지만 부모 라우팅이 명시적이지 않고 최종 예측에서 모든 생성 텍스트를 이어 붙여 전역 어텐션 누수를 다시 들여온다고 지적한다. 평가 지표는 정확도, Pass@3, GPT-5.4로 중간 단계에 오류를 주입했을 때의 답변 변화율, 주입된 오류의 논리적 함의에 맞게 답이 바뀌는지를 보는 Predictable Change, 그리고 k=1,2,3회의 테스트 시점 개입 후 정확도 개선이다.
전제와 한계
결과적으로 CausalCoT는 최고 베이스라인 대비 평균 정확도가 1.05~6.38%p 낮아지는 데 그쳐 경쟁력 있는 성능을 유지했다. Factored Decomposition이 일부 지표에서 근소하게 높은 경우도 있었지만, 이는 최종 단계에서 전역 문맥을 다시 붙여 누수를 허용한 결과라고 저자들은 해석한다. 초기 DAG가 잘못되면 예측 실패로 이어지지만, Pass@3에서는 여러 구조적 시도를 통해 이 병목을 완화했다. 충실성 실험에서 표준 CoT는 중간 단계 오류에도 최종 답을 잘 바꾸지 않았는데, GPT-5.4는 26.82%, Claude Sonnet 4.6은 9.97%만 답을 바꿨다. CausalCoT는 중간 추론 민감도를 최강 베이스라인 대비 평균 12%p, 최대 21%p 높였고, 결과 표에서는 베이스라인별 평균 증가폭이 +4.81~+21.19%p로 보고됐다. Predictable Change도 높아, 단순히 출력이 불안정해진 것이 아니라 주입된 전제에 따라 하류 추론이 논리적으로 바뀌었다고 주장한다.
테스트 시점 개입에서도 CausalCoT는 지역 수정이 하류로 예측 가능하게 전파되는 이점을 보였다. 개입 예산 k가 1,2,3으로 늘수록 정확도가 꾸준히 개선됐고, GPQA에서 GPT-5.4 Mini에 적용했을 때 세 번의 개입 후 최고 베이스라인인 CoT보다 약 7%p 앞섰다. 표준 CoT는 조밀한 전역 어텐션 때문에 수정된 텍스트를 무시하고 기존 편향으로 되돌아가는 경우가 많아 회복 곡선이 평평해지는 반면, CausalCoT는 DAG 라우팅으로 수정이 정확히 필요한 하위 단계에 도달한다는 설명이다.
개발자 관점에서 CausalCoT는 설명 가능한 추론 파이프라인, 고위험 도메인의 감사 로그, 인간이 중간 추론을 교정하는 워크플로에 유용한 설계 패턴이다. 다만 도입 전에 플래너가 만든 DAG 품질을 확인해야 하고, 초기 그래프 오류가 전체 정확도를 좌우한다는 점을 운영 지표로 감시해야 한다. 또한 격리된 문맥 평가는 표준 CoT보다 추론 오버헤드가 늘 수 있지만, 독립 노드를 병렬 실행할 수 있는 구조라는 점도 함께 봐야 한다.
저자들이 밝힌 한계는 분명하다. 제로샷 DAG 생성은 잘못된 초기 그래프가 하류 정확도를 병목으로 만들 수 있고, 프롬프트 기반 그래프 생성은 구조적 보장이 없다. 향후 플래너 모델을 파인튜닝해 그래프 제약을 내장하는 방향을 제안한다. CausalCoT는 입력 교란에 대한 반사실 견고성을 본질적으로 보장하지 않으며, LLM 내부 계산의 기계적 충실성을 보장하는 것도 아니다. 저자들이 주장하는 범위는 문맥 격리 기반의 제어 가능성과 개입 기반 충실성이다. 평가도 이산 답안이 있는 판별형 과제에 한정됐고, 개방형 생성으로 확장하려면 답변 플립에 의존하지 않는 충실성 지표가 필요하다고 인정한다.