Athanor가 AI 에이전트 넷만으로 베이스 모델을 자율 후학습시킨다

무엇인가

이 논문은 AI가 더 강한 AI를 만드는 재귀적 자기개선(recursive self-improvement)을 오늘 측정 가능한 약한 형태로 좁혀서 다룬다. 그 형태란 최전선 에이전트가 공개 데이터만으로 작은 원시 베이스 모델을 후학습(post-training)시키는 일이며, 저자들은 이것을 에이전트의 연구 잠재력을 재는 시험대로 삼는다. 질문은 명확하다. 사람이 연구 조언을 주지 않아도 에이전트 팀이 스스로 학습 데이터를 만들고 알고리즘을 고치고 결과를 읽어 다음 실험을 정할 수 있는가. 저자들은 이것이 가능하다는 첫 시연이라고 주장한다.

어떻게 동작하나

제안 시스템 Athanor는 실제 GPU 위에서 돌아가는 에이전트 네이티브 자율 후학습 연구 시스템이다. 핵심 설계는 에이전트에게 연구 자율권을 온전히 주되, 실행에서 생기는 마찰을 시스템이 흡수하는 것이다. 에이전트에게는 저마찰 엔지니어링 도구와 효율적인 스타터 코드가 주어지고, 작업은 샌드박스 안에서 이루어지며 외부 교사 모델(teacher model)은 쓸 수 없다. Athanor의 서비스 계층은 고정된 평가(frozen evaluation), 관리형 잡 실행, 오염 제거된 데이터(decontaminated data), 지속적인 연구 기록, 그리고 에이전트가 존재를 모르는 홀드아웃 스위트를 제공한다.

무엇과 다른가

에이전트가 실제로 하는 일은 연구자의 루프와 같다. 데이터셋과 평가 결과를 읽고, 학습 데이터를 직접 구성하고, 학습 알고리즘을 작성·수정하고, 하이퍼파라미터를 조정하고, 결과를 분석해 다음에 무엇을 시도할지 스스로 결정한다. 실험은 104시간 동안 진행됐고, 네 명의 Claude Opus 5.5 에이전트가 각각 8-GPU 노드 하나씩을 배정받았다. 이들에게 연구 관련 조언은 주어지지 않았다.

어떻게 쓰나

결과는 Qwen3-4B-Base를 출발점으로 삼는다. 6개 태스크로 구성된 개발 스위트에서 15.9에서 67.3으로, 에이전트가 인지하지 못하는 홀드아웃 스위트에서 9.2에서 48.2로 올라갔다. 비교 대상인 공식 Qwen3-4B-Instruct-2507은 같은 두 스위트에서 66.5와 47.9를 기록했다. 즉 개발 스위트와 홀드아웃 스위트 모두에서 평균 점수가 공식 인스트럭트 버전을 근소하게 앞선다. 저자들은 원시 베이스 모델을 교차 도메인 범용 모델로 자율 후학습시켜 공식 인스트럭트 버전과 대등하거나 앞선 첫 사례라고 말한다. 다만 태스크별 점수, 하이퍼파라미터, 시드, GPU 시간당 비용 같은 세부 수치는 원문에 제시되지 않았다.

전제와 한계

성능을 끌어올린 방법의 성격도 중요하다. 캠페인 전체 기록에 따르면 에이전트들은 새로운 알고리즘을 발명한 것이 아니라 이미 알려진 기법과 서로의 모델을 재조합했다. 공개 추론 데이터에 대한 SFT, 한 에이전트가 도입한 롤아웃(rollout) 변경을 적용한 RL, 에이전트 간 가중치 병합(weight merge), 그리고 여러 라운드의 자기 증류(self-distillation)가 그 재료다. 에이전트 팀이 개별 실험을 병렬로 돌리면서 서로의 체크포인트를 다음 실험의 출발점으로 쓰는 구조가 성능의 상당 부분을 만든 셈이다.

실무 관점에서 이 논문의 값은 모델 성능 자체보다 인프라 목록에 있다. 고정된 평가, 오염 제거된 데이터, 관리형 잡, 지속적 연구 기록, 에이전트가 모르는 홀드아웃 스위트는 모두 자율 실험이 자기 채점으로 무너지지 않게 막는 장치다. 사내에서 에이전트 기반 학습 자동화를 붙일 때도 같은 순서가 필요하다. 평가를 먼저 고정하고, 학습 데이터와 평가 데이터의 오염 경로를 차단하고, 모든 실행과 체크포인트를 재현 가능한 형태로 남겨야 한다. 그 위에 에이전트를 올려야 에이전트가 만든 결과를 사람이 검증할 수 있다.

저자들이 밝힌 전제와 한계도 분명하다. 이 연구가 다루는 것은 재귀적 자기개선의 약한 형태이며, 대상은 공개 데이터로 후학습 가능한 작은 베이스 모델이다. 에이전트는 샌드박스 안에서만 움직이고 외부 교사 모델을 쓰지 못한다. 저자들의 표현대로 실행(execution)이 시스템에 의해 처리된 상태에서 오늘의 에이전트가 이 과제를 해낼 공학적·연구적 능력을 이미 갖췄다는 결론이며, 실행 인프라가 빠져도 같은 결과가 나온다는 주장은 아니다. 또한 '첫 시연'이라는 표현은 저자들이 아는 범위에서의 주장이고, 단일 104시간 캠페인의 결과이므로 반복 실행 시 분산이나 재현성은 원문에 수치로 제시되지 않았다.