자기진화 모델은 과제 선택이 아니라 실제 업데이트 검증으로 상속해야 한다

무엇인가

논문은 자기진화 언어모델이 스스로 만든 과제로 학습할 때 매 라운드 어떤 업데이트를 다음 모델로 상속할지 결정하는 문제를 다룬다. 기존 R-Zero, Agent0, Skill Self-Play는 과제가 학습 가능해 보이면 통과시키고 그 결과 업데이트를 모두 상속한다. 그러나 논문은 선택-업데이트 간극을 지적한다. 통과율, 불일치, 프론티어 근접도는 학습 전 행동일 뿐 최적화 업데이트의 전이를 설명하지 못한다. 감사에서 Agent0와 R-Zero의 네이티브 승인 42~52%가 독립 응답에서 프론티어를 벗어났고, Skill Self-Play의 실제 업데이트 96개 중 60개는 정답 타깃 NLL을 줄이지 못했다.

어떻게 동작하나

HeirCommit은 업데이트된 모델을 동결하고 현재 모델인 root와 신선한 평가 질문에서 비교해 더 나을 때만 상속한다. 상태 가치는 V_t(S)=E[q(S,z)-q(S_t,z)]로 정의되고, 후회는 선택, 흡수, 확인 오류로 분해된다. 논문은 과제 측 사전 관찰만으로는 업데이트 가치를 식별할 수 없음을 보인다. 동일한 사전 관찰이 +Δ와 -Δ의 가치를 낳을 수 있고, 최선의 업데이트와 root 중 나은 쪽 대비 최악 기대 후회가 최소 Δ/2라는 명제다. 또한 스크리닝 증거를 상속에 재사용하면 K개 분기에 대한 union bound를 지불하지만, 신선한 확인 풀을 쓰면 그 비용이 사라진다는 정리를 제시한다.

무엇과 다른가

EvoHeir는 파라미터 상속과 경험 상속을 분리한다. 각 라운드에서 네이티브 분기를 탐색하고, 후보와 root 중 파라미터 수령자를 스크리닝하며, 현재 및 아카이브 경험으로 수령자의 실패를 수리하고 성공을 보존한 뒤, 흡수 후 상태를 root와 신선한 확인 풀로 검증한다. Recovery에서는 선택된 파라미터로 초기화한 동결 교사와 학생을 두고, 실패 시도에는 도너 참조를 본 수리 교사를, 성공 시도에는 문제만 본 보존 교사를 매칭한다. LoRA rank 8, 최대 16회 업데이트, λ_keep=1을 사용한다. 자격 있는 경험은 파라미터 상속 여부와 무관하게 아카이브에 남아, 거부된 모델도 이후 수령자에게 유용한 도너가 될 수 있다.

어떻게 쓰나

HeirCommit은 R-Zero, Agent0, Skill Self-Play의 네이티브 업데이트에서 감사됐다. 호스트당 64개 업데이트를 결정 프로브와 분리된 풀에서 평가했을 때, HeirCommit은 23~52%를 상속했고 유해 상속 비율을 47~77%에서 13~16%로 낮췄다. 동일 승인률의 무작위 상속 대비 유해 상속을 68~83% 줄인 것이며, 유용한 업데이트의 78~87%는 유지했다. R-Zero와 Skill Self-Play에서는 음의 풀 이득을 양으로 바꿨고, Agent0의 이득은 다섯 배로 높였다.

전제와 한계

EvoHeir는 Qwen3-4B-Base, Qwen3-8B-Base, OLMo-3-7B, Gemma-4-E4B-it 네 백본에서 10라운드, 3개 시드로 7개 수학 및 5개 일반 추론 벤치마크를 평가했다. 모든 백본에서 Math Avg와 General Avg가 가장 높았다. 기반 모델의 수학 평균을 7.9~30.1% 높였고, 세 기반 모델에서는 최강 베이스라인 Agent0보다 1.59~2.40 pp, 6.0~7.0% 앞섰다. Gemma-4-E4B-it에서는 0.55 pp 앞섰다. 48개 벤치마크-백본 조합 중 45개에서 Agent0를 이겼고, 예외 3개는 30문제 AIME 세트였다. No Recovery는 모든 백본에서 Full보다 낮았고, NoConfirm 제거가 수학 2.02 pp, 일반 1.19 pp로 가장 큰 하락을 냈다. Same-Lineage, Random Experience, Current-Round Only 제거는 수학 0.97~1.28 pp, 일반 0.48~0.65 pp를 낮췄다.

경험은 그 경험을 만든 모델보다 오래간다는 결과도 제시된다. 현재 root보다 약한 도너 10개 중 8개가 수령자를 개선했고, 평균 도너 이득은 -1.09 pp였지만 평균 흡수 이득은 +0.71 pp였다. 동일한 64개 참조에서 Cache SFT는 새 성공 +2.08 pp와 손실 -2.61 pp로 순 -0.54 pp였고, Recovery는 +2.54 pp와 -1.15 pp로 순 +1.39 pp였으며 평균 1.93 pp 앞섰다. 현재 라운드만 쓰면 +0.39 pp, 커밋된 라운드 이력을 더하면 +0.73 pp, 거부된 모델의 이력까지 포함하면 +1.39 pp였다. 상속되지 않은 출처의 기록도 나이 1~4에서 0.34~0.73 pp를 더했다. 동일 예산 비교에서 Full은 기본 설정이 네이티브 100.0 단위 대비 123.7단위로 23.7% 오버헤드를 쓰며, 0.8 예산에서는 평균이 가장 낮았지만 1.0 이상에서는 가장 높았다.

개발자에게 이 논문은 자기진화나 합성 데이터 루프에서 과제 필터만 믿지 말고, 실제 업데이트를 별도 홀드아웃으로 검증하는 상속 게이트를 두라는 신호를 준다. 또한 파라미터 상속과 경험 재사용을 분리하면 거부된 모델의 경험도 자산으로 남길 수 있다. 한계로 논문은 고정 라운드 비교임을 밝히며, Full 한 라운드가 96GB GPU 두 장에서 8~9시간 걸린다고 보고한다. 보고된 실행은 τ=0 게이트로 양의 마진 인증을 포기하고 승인 민감도를 택했으며, 충분한 네이티브 학습 예산이 남을 때만 이점이 나타난다고 설명한다. Gemma-4-E4B-it는 개선 여지가 가장 작았고, AIME 세트에서는 예외가 있었다.