ReGE는 에이전트의 반복 시도 기록을 지침으로 합성해 재실행 성공률을 높인다

무엇인가

인터랙티브 에이전트가 같은 작업을 여러 번 시도하면 사실, 쓸모 있는 명령, 중간 결과, 실패한 전략이 기록으로 남는다. 문제는 이 지식이 여러 시도에 흩어져 있고 전체 기록은 길며, 개별 발견이 맞는지도 알 수 없다는 점이다. 게다가 이전 시도에서 만든 파일이나 도달한 환경 상태는 환경이 초기화되면 그대로 넘어오지 않는다. 후보 선택, 응답 집계, 궤적 요약 같은 기존 재사용 방식은 세부를 남기는 것과 새 에이전트가 처리할 이력을 줄이는 것 사이에서 줄타기를 한다. 논문은 이 지점에서 질문한다. 에이전트가 자기 시도에서 얻은 경험을 어떻게 다음 실행에 쓸 수 있는 지침으로 바꿀 수 있는가.

어떻게 동작하나

ReGE(Re-execution Guided by Experience)는 소스 풀 P={τ1,…,τK}를 입력으로 삼는다. 실험에서는 모든 벤치마크에서 작업당 4회 시도를 소스로 쓴다. 각 시도는 별도 블록으로 만들어 추론·행동 서술과 명령을 단계 순서대로 담고, 마지막에 산출물 경로와 내용을 붙인다. 이 필드들을 복사하고 잘라 입력 길이를 제한하며, 코치가 보기 전에 궤적별 LLM 요약을 따로 만들지 않는다. 벤치마크 정답 라벨은 코치와 학생 모두에게 주지 않고, 원시 스텝 관측 필드도 생략한다. 즉 완전한 환경 이력이 아니라 상한이 걸린 실행 기록을 다룬다.

무엇과 다른가

핵심 구현인 ReGE-Syn은 이 기록들을 한 번의 코치 호출로 합성한다. g = Cθ(x, V(P); psyn) 형태로, 코치는 작업 지시 x와 프로그램적으로 렌더링한 기록 V(P)를 함께 받아 스스로 완결되는 지침을 만든다. 모든 소스 블록을 시도 경계와 단계 순서를 유지한 채 한 컨텍스트에 넣기 때문에, 무엇을 남기고 무엇을 연결할지 결정할 때 시도 간 정보를 함께 고려할 수 있다. 궤적별로 따로 요약한 뒤 합치는 방식과의 차이다. 기본 산출물은 실행 순서대로 정렬된 계획이며, 정확한 경로·값·명령·형식 요구사항·마주친 문제를 해당 단계 옆에 배치하고, 기록이 후보 답이나 산출물을 뒷받침하면 검증 방법과 함께 넣도록 요구한다. 학생은 τg ~ Run(πθ, x, s0; g)로 초기 환경 상태 s0에서 새로 시작해 현재 관측에 비추어 제안된 조작을 채택하거나 조정하거나 건너뛴다. 소스 생성, 합성, 학생 실행은 모두 같은 베이스 모델을 쓰며 파라미터 업데이트나 더 강한 교사 모델이 없다. 프레임워크에는 심판이 고른 궤적 하나를 그대로 지침으로 넘기는 ReGE-Sel 변형도 포함된다.

어떻게 쓰나

실험은 Terminal-Bench 2.0(89개 작업, 실행당 30턴), Spider2-Lite(135개 인스턴스, SQL 호출 18회), AndroidWorld(에뮬레이터를 깨뜨리는 템플릿 2개 제외 후 114개 템플릿, GPT 342개·Claude 114개 인스턴스), BrowseComp-Plus(830개 질문, 10만 195개 문서 고정 코퍼스, 40스텝)에서 gpt-5.6-luna와 claude-sonnet-5로 수행했다. 네 벤치마크 평균으로 미지도 실행 대비 GPT 9.9%p, Claude 8.8%p 정확도가 올랐고, Terminal-Bench 2.0의 GPT 성공률은 41.6%에서 56.2%로 뛰었다. 비용 측면에서는 gpt-5.6-luna에 ReGE를 붙여 평균 67.4%를 기록해 상위 모델 gpt-5.6-sol의 67.0%, gpt-5.6-terra의 63.9%와 비슷해졌으며, 소스 풀 생성까지 포함해 작업당 0.21달러로 sol의 28%, terra의 58% 수준이었다. 소스 풀이 이미 있으면 작업당 0.034달러다. 매칭된 BrowseComp-Plus 부분집합에서 ReGE-Syn은 적응시킨 AggAgent 대비 지침 생성 토큰을 GPT 98.2%, Claude 95.5% 줄였고, 소스 생성을 제외한 생성·실행 합산 토큰도 각각 15.7%, 35.4% 감소했다. claude-sonnet-5의 Spider2-Lite에서는 SQL 호출이 50%, 출력 토큰이 30% 줄었다(AndroidWorld는 거의 변화 없음).

전제와 한계

어떤 정보가 유효한지도 분리해 측정했다. 소스 경험 없이 코칭만 하면 Control과 같은 성능이고, 기록을 하나라도 주면 성공률이 오르며 1개에서 4개로 늘리면 4.0%p가 더 붙는다. 성공과 실패가 섞인 소스 풀에서 이득이 가장 커서 Terminal-Bench 2.0·Spider2-Lite·AndroidWorld에서 13.0~21.6%p, BrowseComp-Plus에서 GPT 48.0%p·Claude 35.2%p였다. 반대로 모든 소스가 실패하면 개선이 작고 불규칙하며(GPT Terminal-Bench 0.0%→9.4%, GPT Spider2-Lite는 양쪽 모두 0.0%), 모든 소스가 성공하면 Control이 이미 90% 이상을 푼다. 프로세스 정보의 값어치는 더 직접적이다. 제출된 소스 답이 하나뿐인 질의(전체의 6.3%)가 전체 추가 성공의 90%를 차지했고, 전체 입력으로만 풀린 질의(5.7%)에서는 산출물만 요약한 방식의 94.1%가 40스텝을 다 쓰고도 답을 내지 못했다. 소스 네 개가 모두 답을 낸 경우에도 성공률은 비슷한데 학생 평균 스텝이 8.9에서 4.8로 줄었다. 합성 지침은 Direct history나 Independent summaries보다 약 4분의 1 길이였고, ReGE-A(설명+답 형식)는 합산 토큰 32.1% 절감과 88.3%→90.7% 성공률을 보였으나 gpt-5.6-luna의 100개 질의 비교에서는 80%로 ReGE-Syn의 82%에 뒤졌다. ReGE-Sel은 89.3%로 88.3%보다 높으면서 학생 토큰을 21% 덜 썼다.

개발자 입장에서 이 논문이 주는 실무 패턴은 명확하다. 이미 쌓고 있는 에이전트 실행 로그를 별도 학습 없이 한 번의 합성 호출로 다음 실행용 지침으로 압축할 수 있고, 그 효과는 실패 기록을 버리지 않을 때 커진다. 다만 원시 로그를 그대로 넣지 말고 스텝 순서·명령·산출물 중심으로 상한을 걸어 렌더링해야 하며, 지침 생성 비용만 보지 말고 학생 실행 토큰까지 합친 총량으로 평가해야 한다. 또한 지침은 정답 라벨 없이 만들어진 권고이므로 학생이 현재 환경에서 검증하는 절차가 필수이고, 태스크 특성에 따라 이득 편차가 크다(AndroidWorld는 스텝·토큰 감소가 거의 없었다). 병렬 에이전트 스웜의 기록을 하나의 실행 지침으로 통합하는 용도로도 쓸 수 있다는 것이 저자들의 제안이다.

저자들이 밝힌 한계는 분명하다. 계산 예산 때문에 Terminal-Bench 2.0, Spider2-Lite, AndroidWorld, BrowseComp-Plus 네 벤치마크로 평가가 제한되었고 절제 실험은 평가 데이터의 일부 부분집합에서만 수행했다. 더 넓은 과제 설정과 정렬된 조건의 반복 실행 평가가 추가로 필요하다고 서술한다. 또한 소스 정답 라벨을 코치와 학생에게 주지 않으므로 지침의 권고는 학생의 환경 검증에 의존하고, 소스 풀이 전부 실패한 경우에는 이득이 작거나 일관되지 않았다는 점도 결과에 드러난다.