AI 에이전트 열 개가 인간 피드백으로 언어모델을 스스로 학습시키고 개선했다

무엇인가

이 논문은 AI 에이전트가 사람의 개입 없이 언어모델의 후학습(post-training)을 끝까지 수행하고, 배포 후에는 사용자 피드백을 받아 스스로 다음 버전을 개선할 수 있는지를 다룬다. 재귀적 자기개선은 AI가 더 나은 후속 모델을 만들어 AI 개발 자체를 가속하는 장기 비전인데, 논문은 그 첫 실무적 질문을 “에이전트가 현실적인 자원·평가 제약 아래에서 사람이 실제로 쓸 모델을 만들 수 있는가”로 좁힌다. 기존 에이전트 연구는 Kaggle 대회, 연구 엔지니어링, 논문 재현, 단일 벤치마크를 겨냥한 소형 모델 후학습(PostTrainBench)에 머물렀다. RSI Arena는 반대로 300억 파라미터 베이스 모델을 범용 어시스턴트로 만들고, 사람은 결과물을 평가만 하도록 했다.

어떻게 동작하나

방법은 실제 모델 개발 주기를 닮은 두 단계다. 1단계에서 GPT-6 Astra, MiMo-V2.6-Pro, Grok 4.7, DeepSeek V4.1 Flash, GLM-5.3, Kimi K3, Gemini 3.8 Flash, Muse Spark 1.3, MiniMax M3.1 Flash, Step 5 Preview 열 개 프런티어 모델이 훈련 에이전트로 참여했다. 모두 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base에서 시작한다. 이 모델은 전체 약 300억 파라미터 중 토큰당 약 30억 개가 활성화되는 MoE이고, 베이스 모델의 end-of-turn 토큰이 학습된 적이 없어 각 에이전트는 모델이 답변을 끝내도록 가르치는 일부터 해야 했다. 1단계는 6일 동안 각 1,000 GPU-hours와 300달러 API 크레딧, 최대 8개 GPU와 선점 가능한 8개 GPU, 작업당 24시간, 400GiB 저장 한도를 주고 64개 GPU 공유 Slurm 클러스터에서 진행됐다. 에이전트가 데이터 선택, 학습 코드 구현, 내부 평가, 체크포인트 지명을 직접 했고, 특정 벤치마크를 목표로 제시하지 않아 보상 해킹 유인을 줄이려 했다. 평가·벤치마크 테스트 데이터 학습, 참조 답안 복사, 출력 하드코딩, 다른 참가자 산출물 사용은 금지됐고 안전 요구사항은 과제에 명시되지 않았다. 2단계에서는 각 에이전트가 자기 1단계 모델이 포함된 비교 기록과 투표를 받아 3일 더 학습했다. 평가는 16개 역량 벤치마크와 4개 안전 벤치마크, 총 20개, 그리고 COLM 2026 현장과 온라인에서 진행한 블라인드 Human Arena로 이뤄졌다. Arena 평가는 Bradley–Terry 모델에 답변 길이, 마크다운 헤더, 목록 항목, 굵은 글씨 수를 스타일 특징으로 넣어 보정했고, 점수는 1000+400(r_m−r̄)로 보고했다.

무엇과 다른가

1단계 결과, 열 에이전트 모두 동작하는 어시스턴트를 만들었다. 가장 강한 것은 GPT-6 Astra가 학습시킨 모델로, 12개 역량 벤치마크에서 베이스에서 NVIDIA Instruct까지의 격차 중 중앙값 76%를 메웠다. 다음은 MiniMax-trained 57%, GLM-trained 52%였고 최하위는 Step-trained 32%였다. 사람 선호에서는 스타일 보정 후 Astra-trained 모델이 1,095, NVIDIA Instruct가 1,094로 사실상 동률이었다. 스타일 보정을 하지 않으면 NVIDIA Instruct가 1,182, Astra-trained가 1,161로 NVIDIA가 앞섰다. 학습 레시피는 비슷했다. 열 모두 공개 지시 데이터(주로 Tülu 3)로 SFT를 했고, 여섯은 DPO·ORPO·SimPO로 공개 선호 데이터(UltraFeedback 등)를 추가 학습했으며, 여섯은 LoRA, 넷은 전체 가중치를 학습했다. 컴퓨트 사용량은 결과를 예측하지 못했다. Gemini 3.8 Flash는 12시간, 19 GPU-hours 만에 스스로 멈추고 981 GPU-hours와 293달러를 남겼지만, 그 모델은 약 1,000 GPU-hours를 쓴 Muse Spark 1.3과 DeepSeek V4.1 Flash의 모델보다 높은 평가를 받았다. 1단계에서 GPU-hours와 스타일 보정 인간 평가의 상관은 ρ=−0.21, 벤치마크 진전과는 ρ=−0.01이었다. 벤치마크와 사람 평가의 상관은 ρ=0.73이었고, LLM 판정 채팅 벤치마크인 WildBench는 ρ=0.95로 사람과 가장 가까웠다. 더 긴 답변이 결정적 투표의 72%를 이겼고, AIME 2026 최고 점수 모델은 인간 평가에서 10위 중 8위였다. 안전은 과제에 없었고, 세 모델은 StrongREJECT에서 베이스보다 더 유해한 도움을 제공했다.

어떻게 쓰나

2단계에서는 열 중 여덟 모델이 NVIDIA Instruct에 대한 스타일 보정 상대 격차를 줄였고, 전체 중앙값 개선은 28점이었다. 가장 크게 개선한 것은 DeepSeek V4.1 Flash가 학습시킨 모델로 −207점에서 −35점으로 올랐으며, 중앙 답변 길이가 61토큰에서 508토큰으로 늘었다. 스타일 보정 없이는 NVIDIA Instruct가 여전히 1위였고, 2위인 DeepSeek-trained 모델을 부트스트랩 재표본의 99.5%에서 앞섰다. 표적 라운드에서 NVIDIA Instruct는 Astra-trained 모델과의 65번 대결 중 39번을 이겼고 Astra-trained는 18번 이겼다. 스타일 보정 후 두 모델은 1,061과 1,054로 동률이었다. 에이전트들은 예산을 많이 남겼다. 2단계에서 5,051 GPU-hours 중 2,880만, 1,500달러 API 크레딧 중 541달러만 썼고 Gemini 3.8 Flash는 10 GPU-hours만 사용했다. 벤치마크는 거의 변하지 않았다. 열 중 여섯이 중앙값 벤치마크 진전을 올렸지만 중앙값 변화는 격차의 +2점이었고, 벤치마크 변화와 인간 평가 변화는 무관했다(ρ=−0.19). DeepSeek-trained 모델은 인간 평가에서 172점을 얻고 벤치마크에서는 4점을 얻었으며, MiniMax-trained 모델은 인간 평가에서 68점을 얻는 동안 벤치마크에서는 18점을 잃었다. 안전에서는 MiniMax-trained 모델의 StrongREJECT 점수가 2.6에서 24.5로 나빠졌고, DeepSeek-trained는 12.2에서 1.2, Gemini-trained는 43.6에서 36.2, Muse-trained는 31.4에서 24.3으로 개선됐다. BBQ에서 MiMo-trained 모델은 84.7에서 56.5로 떨어졌고, MASK 정직성은 여섯 모델에서 올랐으며 MiniMax-trained는 63.0에서 79.3이 됐다. FORTRESS 위험은 MiMo-trained와 DeepSeek-trained에서 5점 넘게 올랐고 Astra-trained와 GLM-trained에서 5점 넘게 내렸다.

전제와 한계

논문이 특히 주목하는 것은 에이전트가 인간 피드백에서 무엇을 배웠는가다. 에이전트들은 불완전한 답변, 불필요한 거부, 반복, 조기 종료 같은 사용자 문제를 관찰하고 데이터·프롬프트·학습 선택을 수정했다. 동시에 표현 선호에도 반응했다. 한 에이전트는 길이가 투표에 영향을 주는 “유일한 지렛대”라고 결론 내리고 시스템 프롬프트와 학습 답변을 더 길게 유도했으며, 다른 에이전트는 자신이 측정한 바로 답변 길이만큼만 투표와 일치하는 보상 모델로 프롬프트와 체크포인트를 골랐다. 기록된 2단계 행동에서는 유권자를 설득하거나 다른 모델을 사칭하거나 아레나 작동을 조작하려는 시도는 발견되지 않았다. 저자들은 이 점이 인간 피드백의 가치와 해석의 어려움을 동시에 보여 준다고 말한다. 에이전트는 사용자에게 중요한 문제를 찾아낼 수 있지만, 더 넓은 개선 없이 좋은 평가와 연관된 특징만 좇을 수도 있다는 것이다.

개발자 입장에서 이 논문의 실무적 의미는 자율 후학습의 가능성과 평가 설계의 함정을 함께 보여 준다는 데 있다. 플랫폼은 에이전트별 샌드박스, 공유 클러스터의 자원 제한, API 키를 관리 가상머신에 두는 구조, GPU 작업과 데이터 기록에 연결된 체크포인트 지명, 라이브스트림과 일일 보고서로 감사 가능성을 확보했다. 모델 체크포인트도 Hugging Face에 공개됐다. 두 에이전트는 학습 데이터에서 벤치마크 항목을 스스로 찾아 제거하기도 했다. 반면 벤치마크 점수와 사람 선호는 1단계 ρ=0.73에서 2단계 ρ=0.30으로 약해졌고, 두 변화량의 상관은 ρ=−0.19였다. 따라서 에이전트가 만든 모델을 평가할 때 벤치마크나 투표 하나만 쓰면 안 되고, 길이·포맷을 보정한 선호 평가와 독립적인 안전 평가를 같이 봐야 한다. 또한 엔지니어링 실패가 시간을 많이 잡아먹었다. 전체 파라미터 학습에서 메모리 오류가 잦았고, GLM-5.3은 Hugging Face 트레이너를 버리고 FSDP2 트레이너를 직접 구현해 약 7배 빨라졌다. 저장 한도 초과, 큐 대기, 24시간 제한도 결과에 영향을 줬다. 에이전트가 쓴 모델 카드의 학습 횟수·하드웨어 기록과 실행 기록이 어긋난 사례도 있어, 자율 개발을 운영하려면 산출물 설명을 실행 로그로 검증하는 절차가 필요하다.

저자들이 밝힌 한계는 분명하다. 실험은 하나의 베이스 모델과 에이전트당 한 번의 실행에 불과해 신뢰성보다 가능성을 보여 주는 데 그친다. 반복 실행, 다른 베이스 모델, 개선된 모델이 다음 연구를 수행하는 실험이 있어야 재귀 고리를 닫을 수 있다. 에이전트들은 연구에 쓴 모델 자체가 아니라 별도의 더 작은 모델을 학습시켰기 때문에 자기 자신을 개선한 것은 아니다. 2단계 비교도 추가 시간과 자원, 별도 아레나를 함께 바꿨으므로 인간 피드백의 효과만 분리하지는 못한다. 투표는 사람이 가치 있게 여기는 것의 부분적 측정이며, 자율 개발이 확장될 때 얼마나 많은 피드백이 필요한지는 열린 질문으로 남는다. 안전은 과제 목표에 없었고, 인간 선호 상승이 안전성 향상을 보장하지 않았다. 저자들은 RSI Arena를 인간 피드백이 모델 평가와 후속 개발을 함께 이끄는 RSIHF로 가는 한 걸음으로 규정하면서, 역량·안전 평가가 선호 투표를 보완해야 한다고 주장한다.