LM2LM이 연구 세계 모델 보상으로 언어모델 개선 제안을 학습한다

무엇인가

이 논문은 언어모델 개발 자체를 자동화하는 AutoResearch에서 무엇을 시도할지 정하는 연구 판단을 학습 가능한 능력으로 만들려는 문제를 다룬다. 제안자는 아키텍처, 학습 목표, 최적화 선택을 바꾸는 제안을 내고 빌더가 이를 실행해 검증 손실을 측정한다. 문제는 실제 학습 실행 비용이 크다는 점이다. 원문은 486M 파라미터 모델을 8B 토큰으로 학습하는 데 약 45 B200 GPU-hours가 들고, 100회 업데이트, 업데이트당 32개 상태, 상태당 8개 제안을 쓰는 GRPO 스타일 RL이면 25,600개 제안 평가에 약 1,152,000 GPU-hours, 1,600만 달러 이상이 필요하다고 계산한다. 그래서 싼 대체 피드백이 필요하지만, 정책이 바뀌면 대체 피드백이 과대평가된 제안을 선호해 신뢰성이 떨어질 수 있다는 것이 두 번째 문제다.

어떻게 동작하나

LM2LM은 제안자 πθ를 강화학습으로 훈련한다. 각 연구 상태는 과제 e와 이전 제안·결과 이력 h로 이루어지고, 제안 a를 실행한 뒤 검증 손실 ℓ_t를 얻으면 실험 이득을 g(s,a)=b_e−ℓ_t로 정의한다. b_e는 기준 설정의 검증 손실이므로 이득이 양수면 기준보다 개선된 것이다. 목표는 훈련 과제에서 기대 이득을 최대화하고, 보지 못한 과제에서도 높은 이득을 내는 것이다. 훈련에는 DAPO를 쓰며, 한 상태에서 G개 제안을 샘플링해 보상으로 순위를 매기고 그룹 상대 어드밴티지로 정책을 업데이트한다. 보상 변화가 없는 그룹은 버린다.

무엇과 다른가

비용 문제를 풀기 위해 고정된 LLM을 연구 세계 모델(RWM)로 쓴다. RWM은 과제, 제안, 문맥으로 주어진 실제 실험 기록 M을 보고 실행 없이 실험 이득 ĝ(e,a;M)을 예측한다. 예측값은 과제별 스케일 τ_e로 나누고 −c와 c 사이로 클리핑해 과제 간 비교 가능성을 맞춘다. 최종 보상은 유효 제안이면 정규화 예측 이득에 다양성 보너스를 더하고, 반복 제안은 유효 제안 중 최소 보상보다 δ만큼 낮추며, 실행 불가능한 제안은 −c로 둔다. 다양성 보너스는 같은 메커니즘 방향의 제안이 그룹에 많을수록 작아져 덜 흔한 방향을 탐색하게 한다. 또한 RL 중 샘플링한 상태·제안 쌍을 RWM 예측 이득과 함께 기록 풀에 넣어 실제 실행 없이 훈련 상태를 확장한다.

어떻게 쓰나

대체 보상의 신뢰성은 온폴리시 보정으로 유지한다. 논문은 정규화된 실제 목표를 예측 목표와 예측 편향의 합으로 분해해, RL이 편향을 보지 않고 예측 목표만 올리면 실제 이득은 오르지 않을 수 있음을 지적한다. 그래서 일정 업데이트 지점마다 현재 정책이 만든 제안 중 RWM 보상이 높은 B_u개를 골라 실제로 실행하고, 그 측정 결과를 RWM의 문맥 기록에 추가한다. 선택은 r(s,a;M_u) 합을 최대화하는 방식이다. 보정은 RL 구간 사이에 일어나고, 추가 실제 실행 횟수는 ∑B_u로 RL 중 샘플링한 제안 수와 무관하다.

전제와 한계

실험은 OLMo-3, Qwen3, NanoChat, Marin의 자기회귀 4개 계열과 E2D2-SW, E2D2, MDM, BD3LM의 확산 4개 계열, 총 8개 언어모델 개발 환경에서 한다. 40개 훈련 과제와 10개 홀드아웃 과제로 나누고, 훈련 과제에서 300개 제안을 실제 실행해 기록을 만든다. 그중 100개가 RWM의 초기 기록 M0이다. 구현에서 제안자 백본은 Qwen3.8-27B, RWM은 GPT-6-sol, 빌더는 GPT-6-astra다. DAPO는 96스텝, 8스텝마다 256개 상태와 상태당 8개 제안으로 롤아웃을 갱신하고 보상은 c=6으로 클리핑한다. 초기 기록 100개에서 시작해 16, 40, 64스텝 뒤 세 번 보정해 기본 200회 실제 실행을 쓴다. 평가는 홀드아웃 연구 상태에서 실제 실행으로 하고, 자기회귀는 검증 BPB, 확산은 NLL로 이득을 측정한다. 기준선은 제로샷, 300개 기록을 문맥에 넣은 ICL, SFT, 양의 이득만 남긴 RFT-Real, 그리고 GPT-6-sol이다.

주요 결과로 Base-ICL은 Avg@4를 자기회귀에서 −7.94에서 4.04로, 확산에서 −4.18에서 4.03으로 올렸지만 SFT와 RFT-Real은 일관된 개선을 내지 못했다. LM2LM은 자기회귀에서 Avg@4 17.06, Best@4 23.40, 확산에서 7.10, 9.93으로 모든 기준선을 앞섰고, Base보다 각각 93.3%와 100%의 상태에서 우수했다. 음의 이득 제안 비율은 자기회귀 70.4%에서 39.2%, 확산 59.7%에서 7.6%로 줄었다. 자기회귀에서 GPT-6-sol-ICL보다 음의 이득 비율은 높지만(39.2% 대 29.6%), Avg@4는 17.06 대 6.15로 더 높아 단순히 위험한 제안을 피하는 것보다 높은 이득 제안을 탐색한다고 해석한다.

비용 면에서 96스텝 LM2LM은 ICL K=200과 비슷한 데이터 생성 비용($40.1k 대 $39.5k)으로 더 높은 Avg@4를 냈고, ICL K=300보다 약 33% 낮은 비용과 시간($40.1k 대 $60.0k, 343시간 대 510시간)으로 더 높은 이득을 냈다. RL 훈련비를 포함해도 총비용은 $56.1k로 ICL K=300의 $60.0k보다 낮다. 40스텝에서 96스텝 사이 Avg@4는 자기회귀 10.85에서 17.06, 확산 2.28에서 7.10으로 올랐고, 추가 데이터 생성 비용은 $11.8k, 추가 보정 기록은 69개로 14k개 이상 샘플 제안에 RWM 보상을 제공했다. 일반화 실험에서는 Qwen3 계열 전체를 훈련과 RWM 근거에서 제외해도 LM2LM이 Avg@4 53.72, Best@4 86.69를 기록해 GPT-6-sol-ICL의 21.63, 25.27을 크게 앞섰다. 보정 ablation에서 같은 200회 실제 실행 예산으로 무작위 기록 추가는 Avg@4 14.76이었지만 top-rated 보정은 17.06이었고, 무작위 보정은 10.84, 18.60으로 떨어졌다. 분석에서는 LM2LM의 RWM이 그룹 상대 어드밴티지 코사인 0.50–0.71, 상태 내 쌍별 순위 정확도 0.61–0.69를 유지했지만, 고정 기록 RWM은 128스텝에서 코사인 −0.42, 정확도 0.37로 기회 수준 아래로 내려갔다. 예측-실제 보상 격차도 고정 RWM은 96스텝에서 약 2.0까지 커졌고 LM2LM은 1 미만, 128스텝에서 0.17까지 줄었다. NanoChat 옵티마이저 변경 사례에서는 초기 RWM이 +0.7에서 +1.25로 과대평가했지만 실제 이득은 −1.46이었고, 보정 후 해당 제안 비중이 79%에서 8%로 줄었다.

개발자에게 이 논문은 아키텍처·옵티마이저·학습 레시피 탐색을 자동화할 때 실제 학습 실행을 모두 돌리지 않고도 제안 품질을 학습하는 구조를 보여준다. 다만 RWM 예측을 그대로 신뢰하기보다 현재 정책이 선호하는 제안을 주기적으로 실제 실행해 보정해야 하며, 데이터 생성 비용과 RL 훈련비를 함께 계산하고, 홀드아웃 과제에서 실제 실행으로 검증해야 한다. 특히 서로게이트 보상이 높아지는 것과 실제 이득이 높아지는 것이 다를 수 있으므로 예측-실제 격차와 순위 정확도를 모니터링하는 것이 실무적 체크포인트다.

저자들이 밝힌 한계는 분명하다. 이 연구는 언어모델 개발에서 제안 단위의 개선을 다루며, 긴 end-to-end 연구 캠페인 전체를 검증하지 않는다. RWM 예측은 여전히 불완전하고, 온폴리시 보정도 제한된 수의 추가 모델 학습 실행을 필요로 한다. 향후 과제로 언어모델 후속 학습을 포함한 더 넓은 연구 환경과 더 긴 end-to-end 캠페인으로 확장하는 것을 제안한다. 또한 저자들은 예측 보상과 실험 이득이 제안된 모델 변경의 안전성이나 broader usefulness를 보장하지 않는다고 명시하며, 더 유능한 모델이나 고위험 설정에는 인간 감독과 독립 평가가 필요하다고 강조한다.