TAC-CoT가 잠재 추론 토큰과 도구 호출을 교차 배치해 추론 비용을 줄인다

무엇인가

대형 언어모델 기반 에이전트는 정확한 추론, 외부 지식, 여러 단계의 숙고가 필요한 작업에 CoT를 결합해 왔다. 문제는 기존 방식이 대부분 명시적 CoT라는 점이다. 중간 추론을 사람이 읽을 수 있는 자연어 토큰으로 전부 발화하면 자기회귀 생성과 호환되고 해석 가능하다는 장점이 있지만, 추론 궤적이 길어질수록 추론 비용이 커지고 중간 단계에서 발생한 오류가 누적되기 쉽다. 이를 대체하는 암묵적 CoT는 자연어 근거를 압축된 연속 토큰으로 바꿔 잠재 공간에서 추론하지만, 에이전트 시스템에는 구조적으로 맞지 않는다. 저자들은 두 가지 한계를 지적한다. 첫째, 암묵적 토큰 예산이 최종 답변 이전에 하나의 끊김 없는 블록으로 소비되기 때문에 도구 호출을 내보내거나 관측을 받아들일 중간 지점이 없다. 둘째, 입력의 난이도나 필요한 중간 결정 수와 무관하게 모든 질의에 동일한 토큰 수가 적용된다.

어떻게 동작하나

TAC-CoT는 이 두 한계를 하나의 설계로 동시에 건드린다. 명시적 도구 사용 궤적을 추론 구간, 도구 호출, 관측, 최종 답변이 번갈아 나오는 열로 본 뒤, 각 명시적 추론 구간만 b개의 연속 사고 토큰으로 이루어진 암묵적 구간으로 치환하고 도구 호출·관측·최종 답변은 원래의 텍스트 형태로 유지한다. 연속 사고 토큰은 현재 위치의 마지막 레이어 은닉 상태에 투영 레이어를 적용해 만들고, 어휘 투영을 우회해 입력 임베딩으로 모델에 다시 먹인다. 이 투영 레이어가 잠재 사고 공간과 토큰 임베딩 공간을 분리한다는 점은 CODI를 따른다.

무엇과 다른가

핵심 설계 결정은 언제 잠재 추론을 끊고 외부와 상호작용할지다. 매 암묵적 구간이 끝날 때마다 TAC-CoT는 도구 호출과 답변 선택지의 로짓을 비교한다. 도구 호출 로짓이 더 높으면 도구 호출을 내보내고 반환된 관측을 문맥에 붙인 뒤 다음 암묵적 구간을 시작한다. 그렇지 않으면 그 구간이 이전 관측을 정리하는 마지막 구간이 되어 최종 답변을 생성한다. 구간 내부의 b는 고정이지만, 질의가 k개 구간을 거쳐 종료되면 총 kb개의 연속 토큰을 쓰게 되고 이 k는 추론 중에 동적으로 결정된다. 즉 단순한 질의는 한 구간에서 끝나고 복잡한 질의는 여러 번의 도구 상호작용을 거치므로 추론 예산이 질의 적응형이 된다.

어떻게 쓰나

학습 데이터는 두 갈래로 만든다. 실행 가능한 도구 상호작용이 이미 있는 소스는 주석을 통일된 도구 호출 형식으로 정규화해 추론 구간 사이에 삽입하고, 없는 소스는 DeepSeek-V3를 도구 증강 솔버로 써서 추론 구간·도구 호출·관측·답변이 섞인 궤적을 합성한 뒤 정답과 일치하는 궤적만 남긴다. 학습은 동일 백본이 학생과 교사를 겸하는 자기 증류로 이루어진다. 학생에게는 추론 시 폐기되는 보조 재구성 디코더를 붙여, 각 명시적 추론 구간을 b개 청크로 나누고 각 연속 사고 토큰이 해당 청크를 재구성하도록 하는 재구성 손실을 준다. 도구 호출과 최종 답변에는 표준 교차 엔트로피를 적용하고, 교사는 명시적 궤적에 대한 교차 엔트로피로 학습시킨 뒤 답변 생성 직전 콜론 토큰 위치의 은닉 활성값을 스톱그래디언트와 L1 거리로 학생에게 증류한다. 최종 목표는 학생 손실, 교사 손실, 증류 손실의 합이다.

전제와 한계

실험은 Qwen2.5-0.5B-Instruct, Llama-3.2-1B-Instruct, Qwen3-4B를 백본으로 삼고, 수학은 GSM8K-Aug-NL에 GSM8K-Aug의 계산기 주석을 결합해, QA는 HotpotQA로 4만 개 궤적을 만들어 평가했다. 비교 대상은 동일 궤적으로 미세조정한 Explicit-CoT 에이전트, 토큰 가지치기로 추론을 압축하는 TokenSkip, 병렬 야코비 반복을 쓰는 PCCoT, CODI, 단계 수준 재구성을 더한 SIM-CoT다. 백본 평균으로 수학 정확도는 Explicit-CoT 대비 5.8%p, QA는 2.4포인트 향상됐고, 도메인 내 수학 6.5%p·도메인 외 5.5%p, QA는 도메인 내 2.4포인트·도메인 외 2.5포인트가 올랐다. 순전파 횟수는 수학에서 최대 2.6배, QA에서 최대 6.8배 줄었고, L40S 단일 GPU에서 실측 벽시계 속도 향상은 수학 2.3배, QA 2.4배였다. 도구를 쓰지 않는 수학 설정에서도 TAC-CoT는 Explicit-CoT를 앞섰고, 토큰을 잘라내는 TokenSkip은 Explicit-CoT보다 낮은 성능을 냈다.

진단 분석은 성능 향상의 출처를 네 갈래로 나눈다. 도구 사용 품질은 정답이 처음 k개 관측 안에 등장하는지를 보는 AC@k로 측정했는데, TAC-CoT는 모든 QA 데이터셋에서 AC@5와 AC@10을 개선했고 특히 HotpotQA와 2WikiMultihopQA에서 두드러졌다. TAC-CoT의 AC@5가 Explicit-CoT의 AC@10과 비슷하다는 것은 더 적은 단계로 근거를 확보한다는 뜻이다. ToolBench에서는 단일 도구 51.8%, 다중 도구 58.6%의 Solvable Win Rate를 기록했고 다중 도구 이득이 통계적으로 유의했다. 오류 누적은 명시적 구간을 1개에서 4개까지 점진적으로 암묵적으로 바꾸는 실험으로 확인했는데, 학습 궤적의 90번째 백분위수가 4구간이므로 그 지점까지 확장한 것이다. GSM8K, GSM-Hard, SVAMP 평균 정확도가 구간을 더 암묵화할수록 단조 증가했다. 생성 추론 길이와 정답 추론 길이의 오프셋으로 묶어 보면 두 방법 모두 과잉 사고 구간에서 성능이 떨어지지만 TAC-CoT의 하락 폭이 작았다. 적응형 예산은 GSM8K를 정답 추론 단계 수로 나눠 SIM-CoT와 비교했을 때, 1단계 예시의 4.6포인트 우위에서 4단계 예시의 30.3포인트 우위로 격차가 커졌다. 도구 사용 자체의 효과도 커서, Qwen2.5-0.5B에서 도구 없는 변형 대비 평균 최대 29.9포인트 향상과 13.3배 순전파 감소를 함께 보고했다.

실무 관점에서 이 논문은 도구 호출이 끼어드는 다단계 파이프라인에서 추론 토큰 생성 비용과 지연을 줄이려는 팀에 직접적인 설계 지침을 준다. 눈여겨볼 지점은 세 가지다. 추론을 완전히 없애는 대신 구간 사이에 실행 가능한 텍스트 인터페이스를 남긴다는 것, 추론 예산을 질의별로 늘리고 줄이는 라우팅을 구간 경계의 로짓 비교만으로 구현한다는 것, 그리고 추론 시점에는 보조 디코더 없이 학생 모델만 돌아간다는 것이다. 다만 성능 수치는 GSM8K 계열과 HotpotQA, Wikipedia API 검색이라는 특정 설정에서 측정된 것이므로 자체 도구 스키마와 관측 형식에 그대로 옮겨질지는 검증이 필요하다. 교사 궤적을 DeepSeek-V3로 합성한 QA 데이터는 정답 일치 필터를 거쳤지만 교사 편향을 안고 있으며, 저자들도 이 편향이 TAC-CoT와 모든 QA 베이스라인에 동일하게 공유된다는 점을 근거로 상대적 개선만 해석해야 한다고 밝힌다.

저자가 명시한 한계는 두 가지다. 적응형 라우팅이 토큰 수준이 아니라 구간 수준에서 동작한다는 점, 그리고 더 긴 상호작용 지평에서의 실용적 배포 평가가 남은 과제라는 점이다. 구간 경계에서만 도구 호출 여부를 판단하므로 하나의 구간 안에서는 세밀한 중간 분기가 불가능하고, 다중 도구 시나리오의 이득이 유의했음에도 상호작용이 길어질 때 비용과 정확도가 어떻게 변하는지는 이 논문이 답하지 않는다.