A-RSI는 학습 로그로 작업 풀 교체 시점을 판단해 무데이터 자기개선을 이어간다

무엇인가

재귀적 자기개선(recursive self-improvement)에서 모델은 유용한 학습 경험을 얻는 것만으로는 부족하고, 지금 가진 경험이 더 이상 쓸모없어졌다는 사실을 스스로 판단해야 한다. 논문은 이 문제를 두 개로 쪼갠다. 기존 연구는 "다음에 무엇을 생성할지"에 집중하고 "언제 새 경험을 투입할지"는 상대적으로 소홀히 다뤘으며, self-consistency나 다수결 투표로 학습 타깃을 만들면 모델 자신의 불확실한 예측이 다음 업데이트의 정답이 된다는 점을 지적한다. 저자들의 분리는 명확하다. 교체 시점은 학습 다이내믹스가 정하고, 새 과제의 정답은 독립적으로 검증 가능한 프로그램이 계산한다.

어떻게 동작하나

과제 파이프라인은 학습 전에 한 번 만들어지고 이후 고정된다. 기하·차트·표·세기 영역의 시드 과제 유형에서 베이스 모델이 재사용 가능한 문제 구조와 파라미터화된 프로그램을 작성하고, 실행 시 템플릿 τ에서 파라미터 z를 샘플링해 (I, q, a) = G_τ(z)를 얻는다. 핵심은 이미지·질문·정답이 하나의 잠재 구성(configuration)에서 파생된다는 "공유 구성 계약"이다. 예를 들어 차트 템플릿이 v_A=18, v_B=11을 샘플링해 막대를 그리고 "A가 B보다 얼마나 큰가"를 물은 뒤 저장된 값으로 7을 계산한다. 학습자는 (I, q)만 받고 정답 a와 점수 비교만 당한다. 생성기별 admission check, 신선도·오염 스크리닝, 진단용 홀드아웃 제외를 통과한 후보가 교체 풀 후보 집합 C가 된다.

무엇과 다른가

학습은 GRPO로 진행되며 보상은 r = r_ans + λ_fmt·r_fmt + λ_stop·r_stop 구조다. 정답 일치 1/0, 박스 형식 준수, 정상 종료(박스 정답으로 끝나지 않으면 -1)를 합산한다. 같은 응답 그룹의 보상이 모두 같으면 상대 어드밴티지가 0이 되어 정책 경사 신호가 사라진다. A-RSI는 로그에서 두 가지를 계산한다. U_w는 max|A_g,j| > ε인, 즉 그룹 내 보상 분산이 살아 있는 프롬프트의 개수이고, a_w는 로그된 응답의 정답률이다. 윈도우 종료 시 n_w ≥ n_min 이고 (U_w ≤ ρ·U_{w-ℓ} 이거나 a_w − a_{w-ℓ} ≥ η)이면 δ=1로 두고 활성 풀 전체를 미사용 과제로 교체한다. 검증·테스트 점수는 전혀 참조하지 않는다. 교체는 가족 할당량 k=(geo, chart, table, count)를 고정한 채 모델 답이나 난이도 추정과 무관한 의사난수 순서로 400개를 뽑고, 모델 가중치는 그대로 이어받는다.

어떻게 쓰나

실험은 Qwen3-VL-8B-Instruct와 MiMo-VL-7B-SFT, 11개 전체 테스트셋의 등가중 평균 Macro11, 8,192 토큰 출력 한도에서 이뤄졌다. Qwen은 초기 풀에서 100회 GRPO 업데이트한 S_t의 57.77에서 8개 continuation 윈도우와 새 과제 800개를 거쳐 61.05까지 오른다. MiMo는 공개 베이스 S_0의 59.08에서 60.71이 된다. 8번째 윈도우 기준으로 A-RSI는 800개로 61.05, 매 윈도우 교체(Continuous)는 3,200개로 60.64, Periodic은 1,200개로 59.89, Frontier 선택은 800개로 59.59다. 즉 4분의 1의 새 과제로 +0.40 앞선다. 동일 업데이트 지점 S_23에서는 새 풀 학습이 60.40, 기존 풀 계속 학습이 58.35로 +2.05다. 반면 No-Refresh는 S_31에서 제로 신호 경고 35회, 정상 경사 스텝 94/100을 기록하고 health gate가 두 번 실패해 학습이 중단된다.

전제와 한계

검출기 로그도 논문에 그대로 나온다. 기존 풀에서 어드밴티지가 살아 있는 과제 수가 239에서 195로 줄어 U_w/U_{w-2}=.816이 되어 교체가 발동했고, 새 풀에서도 3윈도우 후 .832(A-RSI), .826(Frontier)로 다시 발동했다. 정확도 조건은 단독으로 발동한 적이 없다. 첫 새 랜덤 풀의 학습 정확도는 .35로 기존 풀 끝의 .57보다 낮았고, 이는 모델이 아직 못 푸는 과제가 투입됐다는 뜻이다. 출력 계층 분해에서는 Macro11 차이 +2.05가 양쪽 모두 완료한 답에서 −0.60, 나머지 완료 계층에서 +2.66으로 갈린다. 길이 예산을 4096에서 8192로 늘리면 A-RSI는 베이스 대비 이득의 80%를 유지하지만 MM-Zero v5는 59%만 유지하며, 8192에서 각각 +3.25와 +2.45다. 감사에서는 5개 생성기 그룹에서 뽑은 1,000개 과제의 참조 정답을 독립 솔버가 전부 재현했고, 이미지 해시와 소스 라벨이 일치했으며 800개 이미지는 바이트 단위로 재생성됐다. 다만 선택형 질문에서 프로덕션 체커가 16,000개 검사 중 220개를 잘못 통과시키는 파서 취약점도 함께 보고한다.

개발자 관점에서 이 논문의 쓸모는 "정답을 프로그램으로 계산할 수 있는 과제"에 한정된 무인 학습 루프 운영법이다. 차트·표·기하·계수처럼 렌더링과 정답 산출을 코드로 고정할 수 있고, 평가셋을 건드리지 않으면서 학습을 계속 굴려야 하는 상황이라면, 검증 점수 대신 학습 로그의 그룹 내 보상 분산만으로 풀 교체 시점을 정하는 이 규칙이 바로 이식 가능한 형태다. 다만 검출기가 보는 것은 "학습 신호의 감소"이지 풀의 마스터리나 외부 성능 정체가 아니라는 점, 그리고 생성기 구현과 렌더러, 정답 파서의 정합성을 별도로 감사해야 한다는 점을 전제로 깔아야 한다.

저자들이 밝힌 한계는 분명하다. 각 정책 arm은 한 번씩만 학습됐고 시드 반복이 없어, MiMo에서 랜덤 교체 60.71이 계속 재사용 60.01보다 +0.70, 매 윈도우 교체보다 +0.02, Periodic보다 +0.18인 정도의 차이는 타이밍 우위를 입증하지 못한다고 스스로 인정한다. 테스트한 난이도 기반·역량 기반·롤아웃 기반 선택 전략은 랜덤 선택을 앞서지 못했고, 이 결과는 자신들의 생성기·모델·선택 규칙에 한정된다. SMT로 검증한 네 가지 속성(정답 순위 보호, 랙 인덱싱, 난이도 1스텝 갱신 한계, 풀 간 신선도)은 명세에 대한 기계 검증이며 파이썬 구현이나 렌더러 전체의 검증이 아니다. referring chart 200개는 폰트 차이로 전체 이미지 재현이 미해결로 남아 있다. 향후 과제로 시드 반복, 고정 스케줄 랜덤 대조군, 16k 평가, 저엔트로피 모델을 위한 교체 정책을 제시한다.