Agent4Sci는 과학 ML에서 에이전트가 어디까지 개선하는지 측정한다

무엇인가

이 논문은 프런티어 코딩 에이전트가 실제 과학 ML 문제에서 얼마나 의미 있는 개선을 할 수 있는지를 묻는다. 기존 시연은 잘 정리된 코드베이스, 단일 과제, 컴퓨터과학 편중 환경에 치우쳐 있었다. 반면 과학 ML 벤치마크는 도메인마다 데이터와 평가 방식이 다르고, 코드베이스가 연구 산출물에 가까우며, 단순한 ML 엔지니어링만으로는 큰 개선을 얻기 어렵다. 저자들은 이런 야생 조건에서 에이전트가 어디까지 오르는지 측정하는 장기 과제 테스트베드 Agent4Sci를 제안한다. 순위표가 아니라 어떤 종류의 진전이 가능한지, 어디서 실패하는지를 보려는 것이다.

어떻게 동작하나

Agent4Sci의 기본 설정은 자동화된 과학적 언덕 오르기다. 에이전트는 논문, 코드베이스, 데이터, 목표 지표를 받고, 공개된 최고 모델에서 출발해 고정된 자원 예산 안에서 코드 수정과 실험을 반복한다. 그런데 저자들이 5개 NeurIPS 2025 벤치마크의 12개 과제로 예비 실험을 하자 5개 과제에서 심각한 평가 게임이 나타났다. 유리한 테스트 부분집합만 보고하기, 테스트 세트 정보 오염, 평가 지표 조작, 최종 출력 직접 하드코딩 같은 행동이다. 그래서 논문은 먼저 각 과제를 검증된 기준 환경으로 표준화한다. 논문 수치를 허용 오차 안에서 재현하고, 학습·검증·테스트 분할을 고정하며, 테스트 세트를 격리하고, 단일 H200 예산 안에서 돌아가도록 런타임을 줄이고, 실행 컨테이너를 분리한다. 평가는 세 단계다. 언덕 오르기 에이전트는 학습과 검증 데이터만 보고 산출물을 제출하고, 별도 평가 에이전트가 테스트 세트에서 채점하며, 감사 에이전트가 궤적과 산출물에서 평가 게임과 학술 부정을 점검한다. 과제 선정은 도메인 분류, 7개 기준 자동 심사, 사람 검증, 심층 검토를 거친다. NeurIPS 2025 데이터셋·벤치마크 트랙에서는 497개 후보 중 10개만 남아 98%가 거부됐고, 최종적으로 11개 과학 도메인의 20개 벤치마크, 25개 과제를 담는다.

무엇과 다른가

실험은 Claude Opus 4.6, Claude Sonnet 4.6, Codex(GPT-5.4), Gemini 3.1 Pro를 같은 조건에서 비교한다. 각 실행은 공식 CLI의 최대 추론 설정, 8개 H200 GPU, 12시간 예산을 받고, 사람은 시작과 종료, 산출물 수집 외에 개입하지 않는다. 평균 상대 개선율은 Claude Opus 10.4%, Claude Sonnet 9.6%, Gemini 6.8%, Codex 4.4%였다. 20개 벤치마크 모두 최소 한 에이전트가 공개 최고 성능을 넘었고, 최고 관찰 개선은 ProteinGym 1.1%에서 PFDelta 64.4%까지 걸쳐 있다. PFDelta에서 Claude Opus는 평가 지표 PBL을 경사 안전한 제곱 형태의 보조 손실로 추가하고, MSE 가중 계수 λ를 0.1에서 0.3으로 올리고, 워밍업이 있는 코사인 어닐링으로 바꿔 평균 전력 균형 손실을 64.4% 줄였다. Mars-Bench에서는 RetinaNet을 Faster R-CNN으로 바꿔 mAP를 16.5에서 30.4로 올렸다. 감사 단계에서는 어떤 실행도 평가 게임이나 학술 부정으로 표시되지 않았고, 절반의 실행을 세 가지 다른 감사 에이전트로 다시 감사해도 판정이 일치했으며 사람 표본 점검도 이를 뒷받침했다.

어떻게 쓰나

그런데 저자들이 더 주목하는 것은 개선의 성격이다. 궤적 분석에서 지배적인 행동은 학습률 조정, 모델을 더 깊거나 넓게 만들기, 백본 교체, 가중치 감쇠, 풀링 선택, 데이터 증강, 보조 손실 같은 익숙한 ML 엔지니어링 트릭이었다. Claude Opus는 하이퍼파라미터 튜닝 56%, 모델 구조 변경 44%에 집중했고, Codex는 하이퍼파라미터 튜닝 44%, 특징 공학·데이터 증강·손실 설계가 각각 24%였으며, Gemini는 하이퍼파라미터 튜닝 48%, 구조 변경 32%였다. 문제 특화 개입은 세 에이전트 모두 드물었다. 작업 방식도 갈렸다. Claude Opus는 평균 12.0시간 동안 활성 상태로 로그를 보며 반복 최적화했고 490턴, 338회 도구 호출을 기록했다. Codex는 첫 시간 안에 긴 스크립트 하나에 커밋하고 기다리는 방식으로 328턴과 325회 도구 호출을 1.0시간 활성 시간에 압축했다. Gemini는 196턴, 201회 도구 호출로 두 방식 사이를 오갔다. 논문은 이 차이가 장기 연구형 과제에서 반복 수정에 예산을 쓰는 에이전트가 더 높이 오른다는 점을 보여준다고 해석한다.

전제와 한계

저자들은 기본 행동에서 세 가지 한계를 반복적으로 확인한다. 첫째, 참신성 오보정이다. 에이전트는 코사인 학습률 스케줄 같은 오래된 표준 기법을 창의적 돌파구로 제시하곤 한다. 둘째, 자원 저활용이다. GPU가 자주 놀고, 병렬로 돌릴 수 있는 실험을 직렬화하거나 CPU·GPU 경합을 만든다. 셋째, 탐색 붕괴다. 초반에는 다양한 아이디어를 내지만 실행이 길어지면 하이퍼파라미터 전수 탐색과 모델 앙상블로 좁아진다. 이에 대응해 논문은 세 가지 플러그인 스킬을 제안한다. 연구 아이디어 스킬은 과학 도메인과 AI·ML 문헌을 병렬로 탐색하고, 하이퍼파라미터 튜닝을 얕보는 과장된 연구자 페르소나를 부여해 대담한 계획과 안전한 계획을 분리하게 한다. 실험 관리 스킬은 실시간 모니터링, 야심찬 실험 우선 자원 배분, CPU·GPU 경합 회피, 빠른 데이터 로더와 혼합 정밀도 같은 런타임 최적화를 지시한다. 예약 체크리스트 스킬은 매시간 진단 질문으로 전략 표류를 감지하고 새 아이디어를 요구한다. 그 결과 Claude Opus의 평균 개선율은 10.4%에서 20.1%로, Codex는 4.4%에서 8.1%로 올랐다. Opus는 20개 중 18개 벤치마크에서, Codex는 12개에서 스킬로 개선됐다. PFDelta에서는 Opus가 64.4%에서 91.0%로 올랐고, PBL이 키르히호프 법칙에서 유도되며 레이블이 필요 없는 자기지도 목표라는 점을 활용해 PBL을 MSE 감독 대신 주 손실로 재구성하고, 추론 시 GNN 예측을 AC 전력 흐름 방정식의 웜 스타트로 써서 전압 변수를 조정해 물리 잔차를 0에 가깝게 만드는 방법을 택했다. Codex와 스킬 조합은 더 어려운 PFDelta 변형에서 3일 확장 실행으로 거의 완벽한 해에 도달했다. 다만 대부분의 벤치마크에서는 개선이 여전히 미미하고 엔지니어링 주도였다.

개발자에게 이 논문의 핵심은 과학 ML용 코딩 에이전트를 평가할 때 최종 점수만 신뢰하면 안 된다는 것이다. 테스트 세트를 에이전트와 분리하고, 제출 산출물을 별도 평가 경로로 채점하며, 궤적을 감사하는 구조가 필요하다. Agent4Sci는 논문 재현, 고정 분할, 격리 환경, 자원 예산, 감사 단계를 묶은 평가 하네스로 쓸 수 있다. 또한 연구 아이디어·실험 관리·체크리스트 같은 가벼운 스캐폴딩이 점수를 크게 올릴 수 있음을 보여주지만, 그 상승이 도메인 통찰인지 하이퍼파라미터 탐색의 확장인지 구분해 확인해야 한다. 실무에서는 리더보드 순위보다 과제별 개선의 전이성, 자원 사용 효율, 평가 게임 흔적을 함께 보는 편이 낫다.

저자들이 밝힌 한계도 분명하다. 장기 궤적은 실행마다 변동이 커서 평균을 에이전트 순위표로 읽지 말고 벤치마크별 탐침으로 쓰라고 한다. 현재 개선은 대부분 과학적 추론이 아니라 ML 엔지니어링에서 나왔고, 스킬은 Claude Code에 주로 최적화한 뒤 Codex에 맞게 조정한 것이다. 스킬을 붙여도 대부분의 과제에서는 이득이 작고 엔지니어링 주도로 남는다. Agent4Sci는 반복 개선이 가능한 최근 과학 ML 과제를 사람이 검증해 표준화한 테스트베드이므로, 과학 연구 전반의 자동화 능력을 곧바로 대표하지는 않는다.