장기 실행 에이전트가 실패 증거와 세계모델로 복구 우선순위를 바꾼다

무엇인가

이 논문은 자율 연구, 컴퓨터 사용, 순차 의사결정처럼 여러 단계를 거치는 장기 실행 에이전트가 초기의 작은 실수 때문에 반복 시도에 갇히거나 되돌리기 어려운 조기 확정에 빠지는 문제를 다룬다. 실패 원인은 여러 단계 뒤에야 드러나므로 최근 시도만 되돌리는 국소적 성찰이나 백트래킹으로는 복구가 어렵다. 저자들은 실패가 이전 결정이나 여러 분기에서 공유된 가정에서 비롯될 수 있다고 보고, 롤백을 넘어 증거를 보존하면서 관련 복구 가설의 우선순위를 다시 매기는 문제로 정식화한다. 여기서 프런티어는 실패 메커니즘, 필요한 증거, 복구 평가 체크를 포함한 검증 가능한 복구 가설이다.

어떻게 동작하나

BeliefWeaver는 프런티어, 시도, 관찰, 체크포인트를 잇는 관계 그래프 G_t와 각 프런티어가 계속 추진할 가치가 있는지를 나타내는 신념 b_t^i=q_t^i(z_i=1)를 유지한다. 탐색 상태 B_t=(G_t, E_t, b_t)는 롤백 뒤에도 보존되고, 새 증거 e_t+1이 들어오면 Update(B_t, e_t+1)로 갱신된다. 증거 유형은 반복 시도, 개선안, 과거 목표 피드백, 진단 기반 반박이며, 그래프의 관계가 어떤 단일 프런티어 증거 요인을 적용할지 결정한다. 그래서 한 시도의 결과가 최근 시도뿐 아니라 공유 메커니즘을 가진 다른 프런티어의 우선순위도 바꿀 수 있다. 실행 가능 여부와 순위는 분리된다. 진단 명령을 임시 환경 복사본에서 실행하고 관찰을 후보의 예상 행동과 비교해 consistent, insufficient, contradicted 중 하나로 판정한다. 실행 전에는 일관된 증거 판정을 받고 목표가 아직 충족되지 않은 프런티어만 후보가 되며, 후보 순위는 S_t(f_i)=b_t^i - lambda_fail * l_t^i로 매긴다. 가장 높은 순위의 적격 프런티어가 증거와 실행 문맥을 함께 받아 에이전트 하네스로 전달되고, 검증기가 결과 상태를 점수화한다. 개선된 체크포인트는 보존하고 실패한 갱신은 롤백하며, 새 관찰과 시도 이력은 다시 영속 상태에 추가한다.

무엇과 다른가

암묵적 세계모델 IWM은 psi_theta(B_t, f_i)=(d_t^i, p_t^i, r_t^i)로 후보를 평가한다. d는 가용 증거에 비춘 가설 평가, p는 복구 진전 가능성 추정, r은 다른 프런티어와의 관계다. 후보 생성 단계에서 언어모델은 과제 요구사항, 줄 번호가 붙은 소스 문맥, 현재 진단, 이전 시도를 받아 구현과 명세의 불일치, 가능한 메커니즘, 관련 소스 위치, 수집할 증거, 목표 체크를 담은 검증 가능한 가설을 제안한다. local_code와 contract_judge라는 두 프롬프트 기반 전문가가 메커니즘 타당성과 요구사항 위반을 추정해 엄격한 진전 점수를 만들고, 관계 질의는 후보 간 개선 관계와 공유 메커니즘을 찾아 재생성과 조건부 재개방에 쓰인다. 저자들은 반복되는 IWM 역할 네 가지, 즉 진단 생성, 증거 판정, 프런티어 관계 추론, 과제 조항 평가를 Qwen3.5-9B 학생 모델로 증류한다. 먼저 LoRA 기반 지도 미세조정 SFT로 교사가 만든 역할별 요청-응답 쌍을 학습하고, 이어서 학생 자신의 탐색 분포에서 발생한 문맥을 교사가 라벨링하는 온폴리시 증류 OPD를 수행한다. 복구 컨트롤러, 실행기, 신념 갱신 규칙, 전망 평가는 학생에게 넘기지 않고 그대로 둔다.

어떻게 쓰나

실험은 터미널 기반 벤치마크 113개 과제로 구성된다. Terminal-Bench 2.0 65개, Terminal-Bench 3.0 23개, Long-Horizon Terminal-Bench 25개다. TB2와 TB3는 테스트 기반 피드백을 주고, LHTB는 더 긴 실행과 점수만 주는 피드백을 강조한다. 비교는 Terminus-2 네이티브 지속 실행, 체크포인트와 후보 실행 및 롤백을 더한 Structured Continuation, 진단 프로브와 실행 피드백 및 후보별 목표 체크를 더한 WM Grounding, 영속 관계 신념과 증거 게이트 실행을 더한 전체 BeliefWeaver 순이다. 모든 설정은 같은 체크포인트와 같은 남은 실행 예산에서 시작한다. 교사 실험은 DeepSeek V4 Pro를, 증류 실험은 Qwen3.5-9B를 사용하며, Final은 최종 보존 체크포인트의 테스트 통과 비율 또는 등급 보상으로 측정한다. Step-AUC와 Time-AUC도 함께 보고한다.

전제와 한계

교사 실험에서 전체 BeliefWeaver는 네이티브 Terminus-2 지속 실행보다 Overall Final을 5.1포인트 올렸고, TB3에서 가장 큰 10.1포인트 개선을 보였다. Overall Step-AUC는 2.8포인트, Time-AUC는 1.6포인트 올랐다. 구성요소 제거 실험에서 Structured Continuation은 Final, Step-AUC, Time-AUC를 각각 2.9, 0.9, 1.1포인트 개선했고, WM Grounding만 더하면 Final이 1.7포인트 하락했다. WM Grounding 위에 영속 관계 신념과 증거 게이트 실행을 더하면 Final 3.9포인트, Step-AUC 2.4포인트, Time-AUC 1.0포인트가 올랐다. 전체 시스템은 실행기 단계 13.2%, 실행 시간 17.8%, 실행기 비용 16.6%를 줄였지만 컨트롤러 호출은 과제당 33.4회로 다른 설정의 9.1회 이하보다 많았다.

증류 실험에서 SFT+OPD는 Overall Final 58.4%로 네이티브 기준보다 9.8포인트, 같은 교사보다 4.7포인트 높았다. SFT와 SFT+OPD는 교사 요청과 API 비용을 약 55% 줄였고, SFT+OPD+Gen은 교사 요청 74.5%, API 비용 81.9%를 줄여 과제당 평균 교사 비용을 0.550달러에서 0.100달러로 낮췄다. SFT+OPD+Gen의 Final은 57.5%로 같은 교사보다 3.8포인트 높았다. 교사 토큰 사용량은 세 설정에서 각각 55.4%, 55.1%, 81.1% 감소했다. 저자들은 이 절감이 교사 API 사용량에 대한 것이며 전체 엔드투엔드 추론 비용은 아니라고 명시한다.

실무에서는 터미널 기반 코딩 에이전트나 검증 가능한 장기 작업에서 롤백 후에도 실패 증거를 버리지 않고 복구 후보를 재정렬하는 패턴이 유용하다. 다만 진단 프로브와 검증기, 안정적 체크포인트 복원이 전제이고, 컨트롤러 호출 오버헤드가 커질 수 있으므로 비용 구조를 확인해야 한다. 작은 모델 증류는 교사 API 비용을 줄이지만 전체 추론 비용 절감을 보장하지 않는다. 또한 IWM이 제안하는 복구 가설과 관계 추론의 품질이 실제 복구 성능을 좌우하므로, 배포 전에 진단 판정의 정확도와 롤백 신뢰성을 함께 점검해야 한다.

저자들이 밝힌 한계는 다음과 같다. IWM 예측이나 관계 추론 오류가 프런티어 순위를 잘못 매겨 탐색을 낭비할 수 있다. 신념 상태는 소수의 관계만 모델링해 여러 실패 원인이 상호작용할 때 제한적일 수 있다. 실험은 검증기 피드백과 신뢰할 수 있는 체크포인트 복원이 있는 터미널 과제에 한정되며, 피드백이 희박하거나 롤백이 잡음이 많거나 불가능한 설정으로의 전이는 불명확하다. 향후 과제로 학습 기반·불확실성 인식 신념 갱신, 구성요소별 기여도 분리, 희박 피드백과 불완전 롤백에서의 복구를 제시한다.