Auto-Research Arena는 자동 연구를 아홉 가지 효율 목표로 평가한다

무엇인가

Auto-Research Arena가 겨냥하는 문제는 자동 연구 시스템이 실제로 얼마나 유용한가를 한 가지 지표로만 판단하기 어렵다는 점이다. 기존 벤치마크는 특정 연구 문제 안에서 검증 손실을 낮추는 식으로 진전을 정의하거나, 논문 재현·실험 실행 같은 제한된 측면을 평가하는 경우가 많다. 그러나 언어모델 개발에서는 같은 품질을 더 적은 파라미터, 더 적은 학습 토큰, 더 적은 FLOPs, 더 낮은 학습 메모리, 더 낮은 추론 지연으로 달성하는 일이 모두 별개의 연구 목표가 된다. Arena는 하나의 공유 실험 환경 안에 이런 여러 목표를 두고, 연구 하네스가 목표별로 어떤 강점과 약점을 보이는지 비교하려 한다.

어떻게 동작하나

방법의 핵심은 후보 프로그램 p에 대해 목표 j의 자원 지표 Target_j(p)를 최소화하되, 검증 손실 L(p)가 임계값 τ보다 낮고 목표별 자원 제한 Resources_j(p)가 b_j 이하라는 제약을 만족하도록 만드는 것이다. 이렇게 하면 결과가 자격을 갖추는가와 얼마나 개선되었는가를 분리할 수 있다. Arena는 이를 언어모델 사전학습에 적용해 모델·데이터·학습·추론 효율을 아우르는 아홉 목표를 만든다. 실험 환경은 Karpathy의 autoresearch 테스트베드를 따르며, 후보 프로그램이 아키텍처·옵티마이저·학습 스케줄·추론 구현을 바꿀 수 있다. 품질 기준은 검증 BPB 1.05 미만이고, 각 후보는 A100 80GB 한 장에서 시드 42로 최대 600초 학습한다. 모든 탐색은 약 6억3100만 토큰의 ClimbMix 학습 풀과 고정 평가기를 쓰고, 하네스마다 100회의 과금 실험을 받는다.

무엇과 다른가

실험은 Claude Opus 5와 GPT-6 Astra 두 기반 모델에서 여섯 개 LLM 기반 하네스와 TPE 베이스라인을 아홉 목표에 걸쳐 평가했다. 결과는 특정 하네스가 전 목표를 지배하지 않음을 보여준다. Opus 5에서는 AutoScientists가 종합 Elo 1위, Sequential Search가 2위, Arbor가 뒤를 이었고, GPT-6 Astra에서는 GEAR가 1위, Sequential Search가 2위였다. 특히 별다른 구조 없이 한 번에 하나의 수정만 시도하는 Sequential Search가 두 기반 모델 모두에서 2위를 하면서, 복잡한 오케스트레이션이 아직 일관된 성능 우위로 이어지지 않는다는 점이 드러났다. Karpathy 설정에 맞춰진 TPE는 Arena의 넓은 다목표 평가에서 모든 LLM 기반 하네스보다 크게 뒤졌다. 탐색 궤적도 이를 뒷받침한다. 상위 하네스는 예산 후반까지 개선을 이어갔고, 하위 방법은 일찍 정체되거나 고르지 않게 개선됐다. 예를 들어 Opus 5 학습시간 목표에서 GEAR, Arbor, Beam Search, Heuresis가 모두 270초에 도달했지만, 그 값에 처음 도달한 실험 횟수는 각각 12, 39, 50, 99회로 달랐다.

어떻게 쓰나

또한 Arena는 목표를 바꾸면 질적으로 다른 아이디어가 나온다는 것을 보여준다. 아홉 목표의 탐색 기록에서 32개 발견을 모았고, 그중 20개는 탐색 중 개선으로 채택되었으며, 이를 모델 아키텍처·학습·추론을 아우르는 아홉 개 아이디어 계열로 묶었다. 파라미터 효율 목표에서는 에이전트가 가중치 공유를 통한 루프 Transformer를 찾아냈고, 반복되는 깊이마다 어텐션과 MLP의 잔차 이득을 따로 학습하는 식으로 적응했다. 이는 루프 Transformer에서 잔차 적응이 핵심이라는 최근 연구와 닮은 방향이다. 수치로도 Opus 5 그룹의 최고 프로그램은 모델 크기를 50.33M에서 13.20M 파라미터로, 학습 연산을 토큰당 239.08M에서 52.15M FLOPs로, 최대 학습 메모리를 43.96GiB에서 0.373GiB로 줄이면서 BPB 1.05 미만과 해당 자원 제약을 만족했다. 다만 이 끝점 프로그램들은 탐색 중 누적된 여러 변경을 합친 것이라, 발견 자체가 재사용 가능한 지식인지는 별도 검증이 필요하다.

전제와 한계

저자들은 발견을 검색 밖에서 검증했다. 먼저 여러 목표와 하네스에서 얻은 발견을 아이디어 라이브러리로 모아 품질 중심의 새 탐색을 1시간 예산으로 진행했다. 그 결과 동일 학습 데이터에서는 학습 손실이 2.675에서 2.544로 4.9% 감소했고, 동일 FLOPs에서는 2.617에서 2.544로 2.8% 감소했다. 같은 50.33M 파라미터 크기에서 held-out BPB도 0.9295에서 0.9112로 낮아졌다. 짧은 탐색에서 나온 프로그램이 더 긴 학습에서도 장점을 유지하는지도 확인했다. 토큰 최적화 GEAR 프로그램은 30분에 1.004B 토큰으로 BPB 0.9593에 도달했고, 참조 프로그램은 같은 품질에 약 47.6분과 1.771B 토큰이 필요해 토큰 기준 43.3% 절감이었다. 이 장점은 약 51분까지, 원 탐색 지평의 약 5배까지 유지됐다. AutoScientists의 학습시간 프로그램은 30분에 BPB 0.9647에 도달해 참조가 약 45.8분 걸리는 품질을 34.5% 적은 시간에 달성했다. 다만 이 우위는 무한히 이어지지 않았다. GEAR의 학습률은 약 27분에 2% 하한에 닿았고 AutoScientists의 스케줄은 약 24분에 0이 되면서, 60분 시점에는 참조가 BPB 0.9295, GEAR가 0.9478로 역전 양상이 나타났다.

통제 실험은 제약과 예산, 연구 이력이 탐색 공간을 어떻게 바꾸는지도 보여준다. 파라미터·메모리 효율 탐색에서 BPB 임계값을 1.02, 1.05, 2.0으로 바꾸자, 1.05에서 2.0으로 완화했을 때 Sequential Search는 파라미터를 18.94M에서 0.69M로, 별도 최대 메모리 탐색은 0.83GiB에서 0.035GiB로 줄일 수 있었다. 품질 여유가 커질수록 더 공격적인 효율화가 가능해지고, 반대로 엄격한 임계값은 허용되는 구조 변경 자체를 제한한다. BPB 2.0 미만의 파라미터 최소화에서 20 GPU-hour 예산을 고정하고 후보 학습시간을 1,200초에서 6,000초로 늘리면, 가장 짧은 설정은 60개 후보를 평가해 가장 작은 모델을 찾았고 긴 설정은 더 좋은 BPB를 얻는 대신 파라미터가 늘었다. 이전 목표에서 얻은 프로그램을 새 목표의 시작점으로 쓰는 교차 목표 연구도 가능했다. 파라미터 절감은 유지한 채 학습 FLOPs를 추가로 33.7% 줄였고, FLOP 최적화 프로그램은 FLOP 수를 유지하면서 uncached decode 지연을 87.5% 줄였다. 반면 파라미터 최적화 프로그램에서 학습시간을 최적화하면 품질 도달 시간은 21.1% 줄지만 파라미터는 24.6% 늘어나는 트레이드오프가 생겼다.

개발자에게 이 논문은 자동 연구 에이전트를 코드를 얼마나 잘 고치는가만으로 평가하면 놓치는 것이 많다는 신호를 준다. 실제로 도입할 때는 품질 임계값과 자원 제약을 먼저 고정하고, 파라미터·토큰·FLOPs·학습 메모리·추론 지연 같은 목표별로 에이전트를 따로 평가해야 한다. 또한 짧은 예산에서 찾은 개선이 긴 학습에서도 유지되는지, 학습률 스케줄처럼 탐색 지평에 묶인 설정이 장기 성능을 제한하지 않는지 확인해야 한다. 단순 순차 탐색이 정교한 하네스를 앞지른 사례는 비싼 멀티에이전트 구조를 도입하기 전에 실험 예산과 탐색 정책을 먼저 점검하라는 실무적 경고로 읽힌다. 코드는 공개되어 있어 같은 과금 실험·BPB 평가·자원 제약 프로토콜을 재현할 수 있다.

저자들이 밝힌 범위는 언어모델링의 자동 연구로 한정된다. 논문은 전체 연구 과정이나 과학적 새로움 자체를 평가하지 않고, 아이디어 계열 묶음은 해석에 의존하며, 시스템 측정값의 노이즈 때문에 작은 차이를 해석할 때 주의해야 한다고 적었다. 실험도 샌드박스 환경, 고정된 프로그램 인터페이스, 사전 정의된 컴퓨트 예산, 표준 평가 안에서 이뤄지며 외부 시스템과의 자율 상호작용은 다루지 않는다.