ASAP는 사전학습 베이스 모델의 에이전트 실행 능력을 종단간 평가한다

무엇인가

이 논문은 사전학습 단계의 베이스 모델이 실제 에이전트 환경에서 어떻게 행동하는지를 종단간으로 평가하는 문제를 다룬다. 기존 에이전트 벤치마크인 SWE-bench, DeepSWE, Terminal-Bench 등은 대부분 후처리 학습 이후 모델을 전제로 하며, 사전학습 중에는 정적 궤적에서 만든 QA나 코드·궤적 우도 같은 대리 지표에 의존해 왔다. 저자들은 이런 지표가 모델 선택에는 가볍지만, 모델이 환경을 탐색하고 편집하고 테스트하며 실패 후 복구하는지를 보여주지 못한다고 지적한다. 또한 표준 에이전트 스캐폴드는 시스템 프롬프트, 채팅 템플릿, 정해진 도구 형식, 안정적 멀티턴 상호작용을 가정하므로, 이를 명시적으로 학습하지 않은 베이스 모델을 그대로 넣으면 궤적이 깨지거나 불안정해진다. 체크포인트마다 SFT를 반복하는 대안은 비용이 들고 평가 대상 모델 자체를 바꾼다는 문제가 있다. 그래서 논문의 중심 질문은 베이스 모델을 명령 수행형 모델로 바꾸지 않고도 종단간 에이전트 과제에서 평가할 수 있는가이다.

어떻게 동작하나

ASAP는 베이스 모델을 불완전한 채팅 모델이 아니라 완성 모델로 평가하자는 원칙을 따른다. 채팅 템플릿과 시스템 프롬프트를 적용하지 않고, 기존 에이전트 스캐폴드의 모델 대면 상호작용 프로토콜만 가볍게 바꾼다. 첫째, 각 상호작용 단계를 Markdown+XML 셸 로그 형식으로 표현한다. 자유로운 사고는 Markdown으로 쓰고, 행동과 환경 피드백은 <bash>, <observation> 같은 XML 태그로 구분한다. 각 단계에서 Thinking 표시부터 시작해 완전한 행동이 끝날 때까지 하나의 완성 호출로 사고와 행동을 생성하고, 하네스가 행동을 실행해 관찰 결과를 덧붙인다. 종료는 <submit/>, 최대 단계 수, 반복 행동 루프 감지로 이뤄진다. 둘째, 명령 수행형 모델이 만든 참조 궤적의 초기 몇 단계를 짧은 접두사로 붙여, 베이스 모델이 이미 시작된 상호작용을 이어 쓰도록 부트스트랩한다. 이 접두사는 모든 평가 모델에 동일하게 쓰이며 해법이나 목표 패치를 직접 드러내지 않는지 확인했다고 한다. 셋째, 조기 제출과 반복 행동 같은 구조적 실패에 대해 각각 최대 한 번의 짧은 힌트만 주는 최소 복구를 적용한다. 조기 제출은 한 번 거부하고 소스 파일을 편집하라는 힌트를 준 뒤 다시 제출하면 빈 패치로 종료하고, 반복 행동은 한 번 억제하고 다른 접근을 권한 뒤 다시 반복되면 종료한다. 하네스가 대신 과제별 행동이나 편집을 넣지는 않는다. 구현은 SWE-agent, OpenHands, Terminus, BrowseComp에 대한 가벼운 패치로 이뤄졌고, 환경과 스캐폴드 로직은 크게 바꾸지 않았다. 주요 지표는 편향 없는 추정량으로 계산한 Pass@k와, n회 실행 모두에서 성공한 인스턴스 수인 Intersection@n이다.

무엇과 다른가

주 실험은 Qwen, GLM, Gemma, Mimo 계열의 오픈소스 베이스 모델 6개를 SWE-bench Verified, Terminal-Bench 2.1, BrowseComp-Plus에서 동일한 ASAP 설정으로 평가했다. 각 모델은 8회 독립 롤아웃으로 평가됐다. SWE-bench Verified의 Pass@1은 SWE-agent에서 7.12%에서 37.70%, OpenHands에서 4.00%에서 39.23%까지 벌어졌고, Terminal-Bench 2.1에서는 12.50%에서 26.69%, BrowseComp-Plus에서는 14.64%에서 29.44%의 범위를 보였다. Qwen3.5-35B-A3B-Base와 MiMo-V2.5-Base가 여러 설정에서 일관되게 강했다. SWE-bench Verified에서 SWE-agent와 OpenHands의 Pass@1 순위 상관은 Spearman ρ≈0.89로 강했지만, 정확한 순위와 절대 성능은 스캐폴드와 도메인에 따라 달라졌다. 예를 들어 Qwen3.5-9B-Base는 SWE-agent 21.85%에서 OpenHands 32.95%로 올랐고, Qwen3-30B-A3B-Base는 반대로 내려갔다. 반복 샘플링은 일시적 해결 가능성과 안정적 능력을 구분했다. MiMo-V2.5-Base는 SWE-agent에서 Pass@1 37.70%와 8회 모두 해결한 82개 인스턴스를 보였고, Qwen3.5-35B-A3B-Base는 Pass@1 34.23%와 교집합 67개를 보였다. 반면 Qwen3-30B-A3B-Base는 Pass@1 7.38%에서 Pass@8 24.20%로 올랐지만 8회 모두 해결한 인스턴스는 없었다.

어떻게 쓰나

저자들은 자체 학습한 30B-A3B MoE 베이스 모델 M의 5개 사전학습 단계에 걸친 9개 체크포인트를 SWE-bench Verified에서 ASAP로 평가했다. stage1은 일반 사전학습, stage2는 QA와 명령 수행 데이터가 포함된 고품질 혼합에 학습률 감쇠를 적용하지만 에이전트 궤적은 없는 단계, stage3은 궤적 유사 데이터와 32K 장문맥 학습을 처음 도입한 단계, stage4와 stage5는 각각 128K와 256K로 문맥을 늘리며 궤적 학습을 이어간 단계다. 가장 큰 변화는 stage2에서 stage3으로의 전환에서 나타났다. Pass@1은 stage2 말 10.15%에서 stage3 말 27.30%로 올랐고, stage3 중간 체크포인트도 22.95%였다. 이후 stage4 29.95%, stage5 30.65%로 개선 폭은 완만해졌다. 같은 단계 안에서도 ASAP는 중간 체크포인트와 최종 체크포인트를 구분했다. stage1, stage3, stage4에서 ASAP Pass@1은 각각 2.23, 4.35, 1.10포인트 올랐지만, 기존 사전학습 벤치마크 집계 점수는 +0.25, +0.09, −0.13포인트에 그쳤다. 반대로 stage2에서는 기존 벤치마크가 +2.31포인트로 ASAP의 +0.73포인트보다 크게 올랐는데, 이는 stage2가 에이전트 궤적 없이 지식·추론·코딩 성능을 겨냥한 단계이기 때문이라고 설명한다.

전제와 한계

ASAP의 핵심 주장은 점수만이 아니라 실행 궤적을 통해 행동 변화를 분해할 수 있다는 것이다. stage1에서 stage2로 가면 파싱 가능한 턴이 88.81%에서 99.41%, 유효 도구 호출이 79.78%에서 97.06%로 오르지만, 적용 가능한 패치를 만든 궤적은 36.33%, 과제를 해결한 궤적은 10.15%에 그쳤다. 저자들은 이를 stage2가 에이전트 능력보다 인터페이스 신뢰성을 주로 개선한 것으로 해석한다. stage2에서 stage3으로 가면 파싱 가능성과 유효 도구 호출은 높게 유지된 채 자율 편집이 42.86%, 능동 테스트가 65.64%, 적용 가능 패치가 63.88%, 해결률이 27.30%로 올랐고, 반복 명령 루프와 비정상 종료도 줄었다. 즉 점수 상승이 인터페이스 준수보다 실행 행동 개선과 함께 나타났다. stage4와 stage5에서는 개별 능력 차원의 변화가 작았고 해결률 개선도 작았다. 이런 궤적 수준 분석은 최종 정답만 보는 기존 정확도 기반 사전학습 벤치마크로는 할 수 없다는 것이 저자들의 주장이다.

후처리 학습 전후 비교도 제시된다. Qwen3.5-35B-A3B와 MiMo-V2.5 두 계열에서 베이스 모델은 ASAP로, 후처리 모델은 원래 SWE-agent 스캐폴드로 평가했는데, 프로토콜이 설계상 다르기 때문에 이 비교는 후처리 효과의 스캐폴드 통제 추정이 아니라 서술적 비교라고 저자들은 명시한다. 후처리 모델은 두 계열 모두 편집-테스트-복구-제출 패턴이 더 안정적이었고, 실패한 테스트 후 구현을 수정하는 경우가 많았으며, 빈 패치가 적고 최종 해법을 명시적으로 제출했다. 수정 파일 집합도 정답 패치 범위에 더 가까웠다. 베이스 모델의 병목은 계열마다 달랐다. Qwen-Base는 이미 많은 궤적에서 소스 편집과 능동 테스트를 수행해 기본 실행 흐름은 후처리 전에도 끌어낼 수 있지만 복구, 개선, 안정적 완료가 약했다. MiMo-Base는 탐색 단계에 더 오래 머물며 효과적 편집으로 넘어가지 못하는 경우가 많았다.

개발자 관점에서 ASAP는 사전학습 체크포인트를 SFT 없이 비교하고, 최종 성공률만으로는 보이지 않는 탐색·편집·테스트·복구·완료 행동을 진단하는 도구로 쓸 수 있다. 특히 기존 사전학습 벤치마크가 거의 변하지 않는 구간에서도 에이전트 실행 능력의 차이를 드러낼 수 있다는 점이 실무적으로 중요하다. 다만 저자들도 강조하듯 정확한 모델 순위는 스캐폴드와 도메인에 따라 달라질 수 있으므로, 하나의 스캐폴드 점수만 보지 말고 여러 스캐폴드와 반복 실행, Intersection@n 같은 안정성 지표를 함께 확인해야 한다. 또한 ASAP는 가중치 업데이트 없이 기존 스캐폴드를 패치해 베이스 모델의 완성 인터페이스를 유지하므로, 평가 파이프라인에 도입할 때는 참조 접두사와 복구 힌트가 평가 대상 행동을 과도하게 이끌지 않는지 확인해야 한다.

논문이 밝힌 전제와 한계도 분명하다. 참조 궤적 접두사는 저장소 구조나 관련 파일을 살펴보는 정도의 제한적 안내를 줄 수 있지만 해법이나 목표 패치를 직접 드러내지 않도록 검증했다고 한다. 복구 개입은 각 실패 유형에 최대 한 번의 텍스트 힌트로 제한되며, 하네스가 과제별 행동이나 편집을 대신하지 않는다. 그럼에도 베이스 모델이 힌트 후 복구하지 못하면 궤적은 종료되므로, 구조적 실패가 평가에 영향을 줄 수 있다. stage2 모델은 네이티브 8K 문맥을 넘어 YaRN 외삽으로 평가됐다는 점도 전환 해석의 전제다. 베이스와 후처리 모델 비교는 스캐폴드가 달라 서술적이며, 후처리 효과를 통제 추정한 것이 아니다. 저자들은 에이전트 능력에 전이 가능한 구성요소와 설정 특화 행동이 함께 있다고 보며, 특정 상호작용 프로토콜이나 과제 분포에 최적화하기보다 스캐폴드 불변 행동과 더 넓은 도메인 커버리지를 훈련할 필요가 있다고 제안한다.