Sage-A1.5는 35B MoE 에이전트의 장기 작업 조직과 검증을 학습한다

무엇인가

Sage-A1.5는 35B MoE 에이전트 모델로, 기존 Agents-A1이 긴 작업 수행 능력을 모델 파라미터 확장이 아니라 에이전트 지평(horizon) 확장으로 키웠다는 전제 위에 있다. 저자들은 소프트웨어 엔지니어링, ML 최적화, 과학 연구처럼 여러 하위 작업을 관리하고 대안을 비교하며 새 증거에 따라 결정을 수정해야 하는 작업에서는 도메인 기술만으로 부족하다고 본다. 단일 에이전트가 문맥 증가, 느린 탐색, 누적 오류, 비생산적 반복 검색, 미검증 가정 위의 추론에 빠질 수 있기 때문에 작업 조직과 진행 검증 자체를 학습 가능한 능력으로 만들어야 한다는 문제의식이다.

어떻게 동작하나

핵심은 Adaptive Agentic Execution이다. Agentic Orchestration과 Agentic Verification을 실행 정책에 넣어, 문제 해결 능력의 범위(coverage)뿐 아니라 능력의 구성(composition)을 학습한다. 오케스트레이션은 작업을 어떻게 분해하고 누구에게 위임하며 어떤 문맥을 주고 의존성과 결과를 어떻게 통합할지 모델이 결정하게 한다. 탐색적 구성은 같은 질문에 여러 가설이나 접근을 병렬로 맡겨 후보와 증거를 비교하는 A∨B∨C 형태이고, 구성적 구성은 전체 작업을 상호 보완 하위 문제로 나눠 병렬 수행 후 통합하는 A∧B∧C 형태다. 복잡한 작업에서는 두 패턴이 동적으로 섞인다.

무엇과 다른가

학습은 Constraint-Guided Long-Horizon Search와 Multi-Source Research Synthesis 두 과제군으로 진행된다. 메인 에이전트는 직접 조사하거나 하위 에이전트에 범위와 문맥을 지정해 위임하고, 하위 에이전트는 분리된 문맥에서 웹 검색과 읽기를 병렬로 수행한다. 각 하위 에이전트는 결과와 함께 자기평가, 지지 증거, 남은 문제를 구조화해 반환하고, 메인 에이전트는 이를 바탕으로 빈틈과 충돌을 찾고 추가 조사나 통합을 결정한다. 교사 모델은 역할별 프롬프트·도구·실행 예산으로 메인과 하위 궤적을 만들고, 두 종류 궤적을 독립 샘플로 감독한다. 메인 궤적은 분해·위임·피드백 활용·합성을, 하위 궤적은 독립 조사·증거 정리·구조화 보고를 학습한다.

어떻게 쓰나

Agentic Verification은 외부 하네스가 정해진 규칙으로 검증을 트리거하는 방식이 아니라, 모델이 스스로 검증 시점과 대상을 정하고 다음 행동을 수정하는 능력이다. 반복 검색, 진행 정체, 핵심 결론 확인이 필요한 지점에서 감독 모델이 검증을 삽입해 궤적을 만들고, 정리 후 외부 감독 프롬프트와 제어 메시지를 제거해 검증 과정을 모델 추론 텍스트에 직접 넣는다. 추론 시에는 'Verification protocol:enabled' 같은 조건 마커로 활성화할 수 있고, 별도 검증 도구나 온라인 감독 모델 없이 자체 추론과 도구 사용 과정에서 수행한다. 훈련은 다도메인 SFT와 혼합 보상 RL을 결합한다. MLE에는 Kaggle-MLE Factory, MLE-Dojo, 실험 트리, Windowed Interaction RL, 비동기 PPO식 정책 최적화(윈도 보상, KL·엔트로피 정규화, 토큰 확률비 보정)를 쓰고, SWE에는 SWE-rebench-V2와 사내 과제를 SWE-bench 형식으로 만들어 mini-swe-agent와 Claude Code 궤적을 수집하며 누출 통제를 한다. 과학 연구는 문제 선별, search·visit·code·scholar 도구와 샌드박스·도구 결과 재생을 갖춘 하네스 최적화, 정답성·추론 깊이·도구 호출 성공률로 필터링한 궤적 증류·학습의 3단계로 훈련한다.

전제와 한계

성능 주장은 12개 벤치마크에서 Agents-A1과 Ornith-1.5를 동등 이상으로 앞서거나 맞선다는 것이다. 특히 35B 파라미터에도 FrontierScience-Olympiad, CMT, PinchBench, IFBench에서 더 큰 Kimi-K3, GLM-5.3, GPT-5.6-sol을 앞선다고 주장하고, SWE-Bench Pro와 BrowseComp에서는 이들과 경쟁적이라고 밝힌다. 다만 본문에 인용된 범위에는 벤치마크별 세부 점수표가 없어 개별 수치와 향상 폭은 제시되지 않았다. 대신 사례 연구에서 구체적 수치가 제시된다.

세 번째 개선점인 open scientific discovery는 정해진 질문 답변을 넘어 탐색적 연구를 수행하고, 분석 코드·출력·그림·보고서 같은 검사 가능한 산출물을 남기는 것이다. FPGA iCEBreaker 설계는 타이밍과 핀 제약을 만족했고, UAV 덕트 연구는 SU2로 후보 형상을 평가해 K17을 선택하며 구성 직렬화 정밀도 오류를 재생성과 재실행으로 수정했다. 에너지 경제에서는 아프리카에서 유럽으로 가는 그린 수소 30개 생산 사이트를 모델링해 2025년 기술 가정에서 유럽 생산비 5.50유로/kg과의 교차점을 약 7.3% 자본비용으로 추정했다. 중력파 분석에서는 ℓ=2에서 8로 갈수록 모드별 1,500개 항목의 중앙값 차이가 7.6배 커졌고, 원자재료에서는 여섯 금속 표면의 O/OH 흡착 선형 적합 기울기가 0.637과 0.676이었다. 그 외 응급대응 계획, 양자 컴파일 감사, SEC 재무보고, 네트워크 포렌식, 문서 마스킹 사례도 제시됐다.

과학자 정렬 사례도 수치를 동반한다. 신경과학 재분석은 201개 마우스 뇌 영역에서 PC1이 표준화 분산의 63.2%를 설명했고(5,000회 순열 평균 24.0%, 경험적 p≈2.0×10^-4), 가치 기반과 순위 기반 PCA 점수 상관은 r=0.960, 운동 디코딩 지표가 선택 디코딩 영역 간 분산의 약 60%를 설명했다. 계산화학은 Psi4로 피리딘 유도체 5개, 단량체 7개, 복합체 포즈 11개를 다뤄 약 12시간에 완료했고, 인간 연구자가 처음부터 하면 약 1주일로 추정했다. 고체물리 Sc2Au6 정련은 8회 시도에서 Rwp를 88.3091%에서 86.1092%로 2.1999%p 낮췄고 셀 길이 정련이 2.1215%p로 가장 큰 감소였다. 전기화학은 40개 역사 기록과 8변수 공간, 5개 배치×4조건 피드백으로 누적 최고 수율 32%, 32%, 43%, 89%, 89%를 기록했고, 계산생물학은 9개 데이터셋에서 aggregate_improvement를 -0.0469에서 0.1158로 올렸다.

개발자에게 이 논문의 핵심은 장기 실행 에이전트의 품질이 모델 크기만이 아니라 실행 구조에서 나온다는 주장이다. 병렬 서브에이전트에 분리 문맥을 주고 구조화된 자기평가·증거·남은 문제를 받는 인터페이스, 중간 검증 지점을 기준으로 탐색 이력을 압축하는 설계, 실패한 도구 호출에서 복구하는 궤적을 학습 데이터로 삼는 방식은 코딩·ML·리서치 에이전트를 만들 때 참고할 만하다. 다만 벤치마크 세부 점수와 재현 설정은 원문 표와 부록을 확인해야 하고, 과학 사례가 실제 실험이 아니라 시뮬레이션과 과거 데이터 재생이라는 점을 구분해야 한다.

저자들이 밝힌 한계는 분명하다. 현재 오케스트레이션과 검증 훈련은 검색과 리서치 합성에 중심이 있고, 초장기 궤적은 여전히 큰 문맥 오버헤드를 쌓는다. 통합 모델은 공동 후학습 후에도 각 도메인 교사 모델의 최고 성능을 완전히 유지하지 못한다. 과학 쇼케이스도 능동적 물리 실험이 아니라 계산 시뮬레이션과 역사 데이터 재생에 머문다. 향후 검증 지점을 경계로 완료된 탐색 이력을 단계 기록으로 압축하고, 오케스트레이션을 더 넓은 엔지니어링 워크플로로 확장하며, 도메인 간 증류 손실을 줄이고, 과학자와 협력해 실제 실험 검증과 연결하겠다고 계획한다.