ANTE는 코딩 에이전트가 행동 전에 결과를 예측하고 실행으로 검증하게 한다

무엇인가

코딩 에이전트는 컨테이너 안에서 도구 응답과 실행 결과를 받아 다음 행동을 정한다. 문제는 대부분의 기존 에이전트가 앞을 내다보지 않는다는 점이다. 정책이 행동의 결과를 예측하지 않고, 최종 보상만 주어지면 실패가 어느 초기 단계에서 비롯됐는지 귀속시키기 어렵다. 그래서 잘못된 편집 하나가 아무 신호도 도착하기 전에 저장소 상태를 되돌릴 수 없게 오염시킬 수 있다. 논문은 Figure 1의 예로 이를 설명한다. 반응형 에이전트와 회고형 에이전트 모두 목표 테스트는 통과하지만 이전에 통과하던 테스트를 깨뜨리는 편집을 제출한다. 메모리는 무슨 일이 있었는지 기록할 뿐, 행동 전에 부작용을 예측하지는 못한다.

어떻게 동작하나

ANTE(Anticipate, Then Execute)는 이 문제를 정책 내부의 세계 모델로 푼다. 에이전트는 매 행동 전에 믿음 상태 β=(z, ŷ, d)를 명시적으로 쓴다. z는 무엇이 확립됐고 무엇이 깨졌는지 한 문장으로 요약한 것이고, ŷ은 다음 행동이 실행할 검사의 결과에 대한 예측이며, d는 trust 또는 abstain이라는 확신 라벨이다. 예측은 검증기 ψ가 실행 결과에서 읽어내는 값 공간과 같은 형태를 갖는다. 즉 검사 결과(pass/fail/na)와 명령이 정상 종료했는지(0/1)의 쌍이다. 행동은 실행 전에 결정론적 사상 χ로 epistemic(검증 가능한 검사를 실행)과 pragmatic으로 분류되고, 실행 후 ψ가 결과를 판정한다. 믿음 블록이 파싱되고 ψ가 값을 반환하면 검증 가능한 단계, 검사 결과가 pass나 fail이면 결정적(conclusive) 단계다. 학습은 두 단계다. 1단계 ANTE-SFT는 BeliefTraj 코퍼스(6,729개 저장소 태스크에 걸친 12,500개 검증된 성공 궤적, tmax-15k 풀에서 온 10,823개 터미널 태스크에 걸친 30,161개)로 믿음 상태를 포함한 추론·행동을 모방 학습한다. 논문은 이 단계가 시연의 성공률에 근접함을 보장하되, 사후적으로 라벨링된 부분 때문에 남는 잔차 Λ가 2단계에서 다뤄진다는 명제 1을 제시한다.

무엇과 다른가

2단계 ANTE-RL의 핵심은 BAPO(Belief-Anchored Policy Optimization)다. 세 신호가 결합된다. 첫째, 실행 기반 예측 손실은 검증 가능한 모든 단계에서 실제 관측된 결과를 정답으로 삼아 예측 토큰에 교차엔트로피를 건다. 둘째, 결정 보상은 결정적 단계에서 올바른 trust 예측에 +α, 틀린 trust 예측에 -γ, abstain에 고정 비용 -κ를 준다. γ=αq*/(1-q*)로 두어 예측 정확도가 목표 q*를 넘을 때만 trust가 양의 기대 보상을 갖게 만든다. 셋째, 믿음 고정 어드밴티지다. 같은 태스크의 여러 롤아웃에서 같은 예측 결과를 낸 단계들을 하나의 그룹으로 묶고, 그룹 내 결정 반환의 평균 V̂(ỹ)와 Q̂(ỹ,d)를 기준선으로 삼아 단계별 이득을 계산한다. 최종 어드밴티지는 에피소드 어드밴티지에 이 단계 항을 더한 A(i,t)=A_i+Δ(i,t) 형태이고, Δ는 결정 그룹 내 편차에 전체 가중치를, 결정 자체의 가치에 절반 가중치를 주는 구조다. 추론 시에는 ANTE-TTO가 동작한다. 정책이 abstain하거나 fail을 예측하면 대안 메시지 K=3개를 온도 1.0으로 샘플링하고, 각자의 믿음으로 점수 s(β)=φ(ŷtst)+1[ŷexe=1](pass=3, na=1, fail=0)를 매겨 최상위 하나만 실행한다. 외부 채점기도, 후보 전부의 실행도 필요 없다.

어떻게 쓰나

실험은 두 하네스에서 이뤄졌다. R2E-Gym 저장소 이슈 태스크에 7B·14B(Qwen2.5-Coder-Instruct 기반)와 32B(Qwen3-32B 기반), Tmax 에이전트 기반 터미널 태스크에 9B(Qwen3.5-9B 기반)를 쓴다. 비교 대상은 믿음 상태가 없는 Reactive와, 궤적 요약 메모리를 추가한 Retrospective, 그리고 믿음과 예측 손실은 유지하되 BAPO를 뺀 ANTE(w/o BAPO)다. SWE-bench Verified에서 ANTE는 모든 스케일에서 두 베이스라인을 앞선다. 7B·14B·32B에서 Reactive 대비 2.8·4.4·6.2포인트, Retrospective 대비 2.0·2.8·4.8포인트이며 32B에서 pass@1 57.2%에 도달한다. 초록 기준으로 Qwen3-32B를 25.0%에서 57.2%로 올린 것이고, 믿음 상태 없이 학습한 동일 조건 GRPO 베이스라인보다 6.2포인트 높다. 터미널 태스크에서는 세 벤치마크 모두에서 Reactive 대비 6.7~10.0포인트, Retrospective 대비 2.0~5.5포인트 앞서고 Terminal-Bench 2.0에서 24.7%를 해결한다. BAPO를 빼도 믿음 상태만으로 SWE-bench Verified에서 1.0~3.2포인트, 터미널에서 4.0~5.5포인트가 오르고, BAPO가 그 위에 7B·14B·32B에서 1.8·2.6·3.0포인트를 더한다. 터미널에서는 1.4~6.0포인트가 추가된다. 도메인 밖 일반화도 보고된다. 코드 실행 예측, 상태 추적(BBH), 수학, 과학에 걸친 11개 벤치마크에서 ANTE-32B가 동일 백본·궤적·학습 절차를 공유하는 Reactive-RL보다 평균 6.2포인트 앞선다. 학습 중 세계 모델의 예측 적중률은 32B 기준 44%에서 69%로 오르고, trust 비율은 두 배가 되며, trust한 예측의 정확도는 보상 임계값 q*를 넘어선다. ANTE-TTO는 7B에서 토큰 1.31배로 TTS-4의 4.42배 대비 훨씬 싸게, 네 가지 설정 평균 1.6배로 4.1배 대비 저렴하게 동작한다.

전제와 한계

실무 관점에서 이 논문이 주는 것은 에이전트 루프에 끼워 넣을 수 있는 구체적인 계약이다. 도구 호출 직전에 요약·예측·확신 결정을 강제로 출력하게 하고, 그 예측을 실제 실행 결과와 대조해 단계별 학습 신호로 쓰는 패턴은 저장소 수준 태스크를 다루는 어떤 하네스에도 이식 가능하다. 특히 최종 테스트 하나만 보상으로 주는 기존 RL에서 놓치기 쉬운, 목표 테스트는 통과하지만 다른 테스트를 깨는 편집을 사전에 걸러내는 데 초점이 맞춰져 있다. 도입을 검토한다면 확인할 것은 세 가지다. 예측 스키마와 앵커 키, 결정 보상이 하네스별로 따로 설정된다는 점, abstain이 정상 동작의 일부라는 점(정확도가 q*에 도달하기 전까지는 기권이 이득이다), 그리고 ANTE-TTO가 트리거 단계에서만 후보를 재샘플링해 추가 비용을 제한한다는 점이다.

한계와 전제는 논문 본문에 흩어져 있다. 별도의 한계 절이 제시되지는 않았지만, 1단계 SFT가 사후적으로 라벨링된 부분을 복구하지 못한다는 잔차 Λ가 명시적으로 남고 이를 2단계가 다룬다는 구조 자체가 전제다. 요약 토큰 z에는 아무것도 검사하지 않으므로 그래디언트가 흐르지 않고, 그룹이 퇴화하면 태스크 평균으로 폴백하며, trust한 결정적 단계가 하나도 없는 태스크에는 단계 항이 부여되지 않는다. 예측 정확도만 보상하면 저장소 상태가 불충분하게 결정된 지점에서 추측을 장려하게 되므로 trust/abstain 결정이 별도로 필요하다는 것도 저자들이 밝히는 설계 전제다. 또한 믿음 스키마와 어드밴티지는 두 하네스에서 동일하지만 결과 공간·앵커 키·결정 보상은 하네스별로 설정된다는 점, 터미널 하네스에서는 검사가 롤아웃당 한 번만 평가된다는 점이 적용 범위를 규정한다.