적대적 초안 모델이 장기 에이전트의 핵심 추론을 정밀하게 인코딩한다

무엇인가

이 논문은 speculative decoding을 단순한 디코딩 가속기가 아니라 장기 에이전트의 컨텍스트 정밀도를 배분하는 제어 채널로 재해석한다. 기존에는 초안 모델이 타깃 모델과 얼마나 많이 일치해 acceptance rate를 높이는지만 봤지만, 논문은 장기 실행 에이전트에서 검증 블록의 어느 슬롯에서 토큰이 커밋되는지가 추론 정확도에 영향을 준다고 주장한다. 타깃 모델의 출력 분포는 보존되지만, 실제 서빙에서는 저정밀 가중치, 양자화 KV 캐시, 희소 어텐션 때문에 같은 입력도 비트 단위로 재현되지 않고, 이 수치 잡음이 검증 블록 안에서 누적된다는 관찰이 출발점이다.

어떻게 동작하나

논문은 SGLang과 NVIDIA B200 4장에서 GLM-5.3-NVFP4와 DeepSeek-V4.1-Flash를 측정한다. GLM-5.3은 DFlash2 초안으로 8개 슬롯, DeepSeek-V4.1-Flash는 DSPARK로 6개 슬롯 검증 블록을 쓴다. 동일 프리픽스와 KV 캐시를 고정하고 같은 포워드 패스를 반복한 결과, GLM-5.3의 슬롯 0 오차는 0.473 nats로 단일 토큰 디코딩 0.478 nats와 사실상 같았지만, 이후 슬롯마다 약 4%씩(0.0195 nats/슬롯) 증가해 마지막 슬롯은 34% 더 잡음이 컸다. 2 nats 초과 편차는 3.2%에서 6.2%, 3 nats 초과는 1.1%에서 2.1%로 늘었다. DeepSeek-V4.1-Flash도 상대 증가율 약 4%(0.0094 nats/슬롯)로 같은 패턴을 보였고, 1 nats 초과가 3.1%에서 4.5%, 2 nats 초과가 0.41%에서 0.68%로 증가했다.

무엇과 다른가

더 중요한 것은 이 잡음이 긴 궤적에서 읽혀 돌아온다는 점이다. 검증 블록으로 KV 캐시에 쓴 컨텍스트는 약 30턴까지는 일반 디코딩으로 쓴 것과 비슷하게 읽혔지만, 그 이후에는 4 nats를 넘는 극단적 편차가 10~20% 더 많아졌다. 저자들은 이 차이가 대부분의 일상 토큰에는 문제가 되지 않지만, 에이전트가 요구사항 해석이나 테스트 실행 여부 같은 결정을 굳히는 소수의 결정 지점 토큰에서는 이후 모든 턴을 조건화하기 때문에 중요하다고 본다.

어떻게 쓰나

제안 방법의 핵심은 초안 모델을 결정 지점에서 일부러 타깃 모델에 거부되도록 학습하는 것이다. speculative sampling에서 초안 q와 타깃 p가 주어지면 거부 확률은 total variation distance, 즉 1 - Σ min(p(v),q(v))이고, 거부 시 잔차 분포 max(0,p(v)-q(v))에서 다시 샘플링한다. 따라서 초안은 출력 분포를 바꿀 수 없지만, 블록이 어디서 끝나는지는 바꿀 수 있다. 결정 지점에서 초안이 바람직하지 않은 쪽, 예를 들어 likely/risk/simpler 프레임이나 테스트를 실행하지 않는 행동을 제안하면 타깃이 이를 거부하고 잔차 샘플링으로 해당 결정을 슬롯 0에서 다시 쓰게 되며, 이후 검증 블록도 가장 정밀한 슬롯에서 재시작된다. 일상 토큰에서는 기존처럼 높은 acceptance를 유지한다.

전제와 한계

학습은 타깃 모델이 스스로 판정한 커밋 문장으로 결정 지점을 찾고, 결정 프레임이나 테스트 실행 여부에 대한 선호 쌍을 만든 뒤 DPO를 역방향으로 적용한다. GLM-5.3에서는 principle/evidence 프레임을 선호하고 likely/risk/simpler를 적대적으로 두는데, 논문의 트레이스 분석에서 principle/evidence 결정의 정답률은 약 70%, likely/risk는 36%였다. DeepSeek-V4.1-Flash에서는 계획 확정 전, 실패 도구 출력 직후, 새 시나리오가 생겼을 때 테스트를 실행하는 쪽을 선호하고 실행하지 않는 쪽을 적대적으로 둔다. 보상은 학습 초안과 원본 초안의 로그 확률 차이를 윈도로 가중한 값이고, 손실은 DPO 항에 선택된 쪽의 NLL 항을 더한 형태다. GLM-5.3은 DFlash2의 transformer 층과 norm 등 2.15B 파라미터(타깃+초안의 0.28%)를, DeepSeek-V4.1-Flash는 DSPARK를 미분 가능한 PyTorch로 옮겨 attention projection, norm, hyper-connection, attention sink, bigram head 등 449M 파라미터(0.06%)를 QAT로 학습한다. 초안은 의미적 정답을 배우는 것이 아니라 거부를 유도할 프레이밍을 배우며, held-out 선호 정확도는 GLM-5.3 0.635, DeepSeek-V4.1-Flash 0.85(배포 모델은 0.70)로 보고된다.

실험은 DeepSWE 113개 과제와 NL2Repo-Bench 104개 저장소, 각 설정 5회 독립 실행으로 구성된다. DeepSWE에서 GLM-5.3-NVFP4는 기존 초안 60.6%에서 적대적 초안 67.6%로 7.0포인트 올랐고(95% CI 2.6~11.4), DeepSeek-V4.1-Flash는 67.8%에서 71.8%로 4.0포인트 올랐다(95% CI -1.3~7.3). NL2Repo-Bench의 평균 pytest 통과율은 DeepSeek-V4.1-Flash가 65.0%에서 66.4%로 1.4포인트 상승했다(95% CI 0.4~2.4, p=0.011). 타깃 모델 가중치, 서빙 스택, exact verification, 샘플링 파라미터, 에이전트 하네스는 고정하고 초안만 바꿨다는 점이 이 결과의 핵심이다.

통제 실험은 이 이득이 단순히 초안을 학습한 효과가 아님을 보여준다. 같은 결정 지점에서 바람직한 쪽을 선호하도록 학습한 순방향 초안은 오히려 GLM-5.3을 55.7%로, DeepSeek-V4.1-Flash를 66.4%로 떨어뜨렸다. 반면 관련 없는 선호로 학습한 초안들을 모으면 DeepSWE 67.5%로 기존 67.8%와 차이가 없었고(p=0.83), 배포한 run-tests 초안은 그 묶음보다 4.3포인트 높았다(p=0.018). 추론 효율도 크게 나빠지지 않아, greedy-chain 근사에서 블록당 기대 수용 토큰 수는 GLM-5.3이 2.28로 전후 동일했고 DeepSeek-V4.1-Flash는 2.5에서 2.46으로 약 1.8% 줄었다. 논문은 최대 약 2%의 디코딩 속도를 맞바꿔 장기 추론 정확도를 얻었다고 정리한다.

개발자에게 이 논문은 장기 실행 코딩 에이전트를 speculative decoding으로 서빙할 때 acceptance rate만 최적화하면 놓치는 지점이 있음을 알려준다. 타깃 모델의 분포를 바꾸지 않고도 초안 모델이 어느 토큰을 거부시켜 잔차 샘플링으로 다시 쓰게 할지 조절해 컨텍스트 정밀도를 재배분할 수 있다는 발상은, 자체 초안 모델과 타깃 hidden state를 다룰 수 있는 서빙 조직에 현실적인 실험 축을 제공한다. 다만 저자들이 밝힌 전제는 exact verification의 보장이 이상화된 타깃 함수를 가정한다는 것이고, 실제 이득은 저정밀·양자화·희소 어텐션 서빙의 비트 재현성 문제를 전제로 한다. 또한 초안은 의미적 정답을 배우지 못하며 결정 프레임이나 테스트 실행 같은 행동 선호만 학습하고, 결정 지점 라벨링은 타깃 모델 자체를 judge로 쓴다. 결과도 두 open-weight 모델과 두 코딩 벤치마크, 5회 실행에 한정되며 DeepSeek-V4.1-Flash의 DeepSWE 이득은 신뢰구간이 0을 포함하고, GLM-5.3에서 이득이 더 큰 이유는 사고가 더 길고 다양하기 때문이라고 저자들은 설명한다.