과학 에이전트 무리가 실패 원인을 구분해 스스로 연구를 개선하는 SwarmRSI
SwarmRSI: Recursive Self-Improvement through Evolving Scientific Agent Swarm
무엇인가
과학 연구용 LLM 에이전트 무리는 서로 다른 연구 방향의 근거와 구현을 결합해 다음 실험을 이끌 수 있다. 문제는 두 가지다. 실험이 실패했을 때 그것이 가설 자체의 문제인지 구현의 문제인지 알 수 없고, 전체 점수가 오르지 않은 프로그램 안에 다른 에이전트에게 필요한 구성 요소가 숨어 있을 수 있다. 저자들은 이 한계가 과학 연구의 두 가지 의존 관계에서 나온다고 본다. 가설의 가치는 그것이 어떻게 구현되고 얼마나 엄격하게 검증되는지에 달려 있으므로, 실패한 실험만으로는 연구 방향을 고쳐야 하는지 구현을 고쳐야 하는지 판단할 수 없다. 또 중간 결과의 가치는 이후 발견이나 구현과의 결합에 달려 있어, 현재 성능만으로는 다른 에이전트의 미래 연구에 대한 기여도를 과소평가하게 된다.
어떻게 동작하나
SwarmRSI는 에이전트가 물려받는 연구 상태 자체를 진화시킨다. 각 에이전트는 가설, 프로그램, 실험 근거, 아직 해결되지 않은 요구를 담은 연구 상태 s_t=(H_t, P_t, E_t, U_t)로 다음 행동을 계획하고, 공유 그래프 G_t가 이 승계 가능한 상태를 기록한다. 그래프의 각 레코드 ξ_i=(H_i, P_i, X_i, E_i)는 검증된 가설, 부모와 결과 프로그램, 결과(outcome), 실행 및 구현 근거를 담는다. 실패한 시도와 이득이 없었던 시도도 그대로 보존되며, 간선은 가설-프로그램 연관과 부모·재사용 관계를 추적한다.
무엇과 다른가
첫 번째 메커니즘인 피드백 유도 무리 변이(Feedback-Guided Swarm Mutation)는 다른 에이전트의 실험 피드백으로 수정 방향을 정한다. 에이전트는 선택한 부모 쌍 (h_t, p_t)과 상태 s_t를 가지고 (h̃_t, δ_t)=Propose(q, h_t, p_t; s_t)로 새 가설과 수정 계획을 제안하는데, δ_t는 의도한 변경과 그 근거를 담는다. 인스턴스 간 성능 차이는 가설 수정을 이끌고, 실행 실패나 실현되지 않은 개입은 프로그램 수리를 이끈다. 가설을 바꾸는 수정을 H-mutation, 가설을 유지한 채(h̃_t=h_t) 구현만 고치는 수정을 P-mutation이라 부른다. 이어 p̃_t=Implement(p_t, h̃_t, δ_t; s_t)로 부모 프로그램 위에 계획을 구현하고, 후보는 부모 관계와 수정 근거를 유지한 채 공유 평가 루프로 들어간다.
어떻게 쓰나
두 번째 메커니즘인 상보적 무리 재조합(Complementary Swarm Recombination)은 전체 점수가 오르지 않은 프로그램까지 포함해 부분 결과를 재사용한다. 가설 재사용에서는 해결되지 않은 구현 요구가 있는 가설 h_t에 대해, 그 요구를 다른 에이전트의 프로그램 메커니즘과 매칭해 유효한 기반 프로그램 b_t를 고르고, Rebase(h_t, b_t; s_t)로 가설은 유지한 채 구현을 그 기반에 맞춰 옮긴다. 프로그램 재조합(교차)은 인스턴스별로 최고 효용을 낸 프로그램 p_k* 중 부모보다 나은 것들을 기부자로 삼아, 각 인스턴스마다 부모를 앞서는 가장 순위 높은 기부자의 구성 요소를 가져오고 나머지 인스턴스에서는 부모의 구성 요소를 유지한다. 이 모든 결정을 총괄하는 재귀적 무리 진화(Recursive Swarm Evolution)는 활성 가설 프런티어와 유효 프로그램 대표 프런티어를 유지하며, 다음 단계가 가설을 고칠지(H) 프로그램을 고칠지(P)를 할인 UCB 지수 S_f = μ̂_f + β√(log(1+N_H+N_P)/N_f) + γψ_f로 정한다. 여기서 μ̂_f는 토큰 비용당 최근 개선량, N_f는 할인된 실험 횟수, ψ_f는 해당 프런티어가 해결할 수 있는 미해결 요구의 포화 압력이다. 시도되지 않았거나 오래 기다린 프런티어는 점수보다 우선한다. 구현 실패는 가설을 유지한 채 프로그램 수리를 요청하고, 인스턴스별로 이득과 손실이 섞이면 가설 수정을 요청하며, 새 최고 성능 프로그램이 나오면 보존된 가설들을 그 위에서 실현하도록 요청한다.
전제와 한계
실험은 단일세포 분석 6개 과제의 OpenProblems, 6개 도메인 90개 과학 코딩 과제의 NatureBench, 저복잡도 분할 22개 대회의 MLE-Bench Lite, 총 118개 과제에서 이뤄졌다. DeepSeek-V4-Pro를 백본으로 쓰면 OpenProblems 평균 74.2로 도메인 특화 에이전트 TusoAI의 67.1을 앞서고, 같은 백본의 Claude Code보다 NatureBench Match-SOTA에서 21.1%p 높다. 같은 백본 기준으로 가설 진화 에이전트 Arbor를 7.8%p, 프로그램 진화 에이전트 AIDE를 16.7%p 앞서며 둘 다 유의하고, MLE-Bench Lite의 Any-Medal 비율 81.8%는 Arbor와 MLEvolve를 넘는다. 토큰은 TusoAI와 Arbor보다 적게 쓴다. Gemini 3.1 Pro Preview로는 OpenProblems 평균 76.2, NatureBench Match-SOTA 44.4%, MLE-Bench Lite 81.8%를 기록했다. 제거 실험에서는 P-mutation을 없애면 Match-SOTA가 13.3%p, H-mutation을 없애면 10.0%p 떨어졌고, 재조합을 끄면 6.7%p 떨어지며 Surpass-SOTA가 15.6%에서 7.8%로 반감했다. 공유 그래프를 제거하면 7.8%p, H/P 선택을 고정 교대로 바꾸면 8.9%p 하락해 평균 g 낙폭이 가장 컸다. 궤적 분석에서는 후속 정제가 실패한 구현의 35%를 새 최고 유효 프로그램으로 바꿨고(AIDE 12%, Arbor 5%), 제안한 가설의 62%가 개선으로 이어졌다(Arbor 17%). DeepSeek-V4-Pro 단일 시드에서 최종 최고 프로그램의 약 77%가 리베이스, 교차, 피드백 유발 업데이트 중 하나에서 파생됐으며, 소스 과제 3세대를 거쳐 승계한 상태는 12개 홀드아웃 NatureBench 과제에서 평균 g를 12.01에서 21.89로, Match-SOTA를 41.7%에서 86.1%로 끌어올렸다. 실패 분석은 Match-SOTA 미달 또는 무메달 35개 궤적의 실패 시도 644건을 주석자 2인이 판정했고(Cohen's κ=0.92), 93.3%가 이득 없는 충실한 개입, 6.7%가 구현·실행 문제였다.
개발자 관점에서 이 논문이 주는 실무적 시사점은 탐색 루프의 상태 설계에 있다. 실패한 실행을 버리지 않고 가설, 프로그램, 실행 근거, 미해결 요구를 함께 그래프에 남겨 다음 실행의 출발점으로 삼는 구조는, 여러 코딩 에이전트가 같은 저장소에서 병렬로 실험하는 파이프라인에 그대로 옮길 수 있는 패턴이다. 특히 점수만 보지 않고 실행·구현 근거를 함께 읽어야 한다는 지적은 중요하다. 논문은 00838 과제에서 하위 코드가 제안된 아미노산 치환을 덮어써 평가가 그 변경을 아예 시험하지 못한 사례를 들며, 유효한 점수가 구현 문제를 가릴 수 있음을 보여준다. 또 인스턴스별로 부모를 앞서는 기부자를 골라 부분 구성 요소만 가져오는 교차 방식은, 전체 점수가 낮은 브랜치에서 쓸 만한 코드 조각을 건져내는 전략으로 참고할 만하다. 도입을 검토한다면 공유 그래프의 레코드 스키마(가설-프로그램-근거-요구)와 H/P 선택의 탐색 예산 배분을 먼저 확인해야 한다.
원문에는 별도의 한계 절이 제시되지 않았지만, 저자가 명시한 전제와 평가 조건은 분명하다. Arbor·AIDE와의 NatureBench Match-SOTA 비교만 95% 짝지은 부트스트랩 신뢰구간과 McNemar 검정을 쓰고 나머지 비교는 서술적이며, 최종 프로그램 계보의 77%라는 수치는 DeepSeek-V4-Pro 단일 시드, 90개 NatureBench 과제 전체에 대한 한 번의 실행에서 나온 값이다. 자체 실행 결과는 3개 랜덤 시드 평균이고, 발표된 수치는 원 출처의 설정을 유지했다. 실패 분석은 Match-SOTA에 미달하거나 메달을 얻지 못한 35개 궤적만을 대상으로 했고, 그 실패의 대부분(93.3%)이 이득 없는 충실한 개입이라는 점은 점수 하락이 곧 구현 결함을 뜻하지 않는다는 이 논문의 전제를 뒷받침하는 동시에, 성능 향상이 어디서 왔는지 점수만으로 판별하기 어렵다는 한계로도 읽힌다. 생물학적 사례 연구는 진화된 프로그램 2개를 생물학자가 재현해 장과 비장 면역 후속 분석에 사용한 것으로, 대규모 독립 검증이 아니라 사례 수준의 근거다.