ParetoRSI-Gym은 AI 에이전트의 다영역 데이터 큐레이션을 평가한다

무엇인가

이 논문은 재귀적 자기개선(RSI)의 핵심 부품인 데이터 기반 포스트트레이닝을 AI 에이전트가 자동으로 수행할 수 있는지, 그리고 그 평가를 단일 벤치마크가 아니라 다영역에서 해야 한다고 주장한다. 기존 평가는 정적 데이터 풀에서 고르거나 더 강한 모델을 증류해 한 번의 실행으로 한 점수를 올리는 방식이어서, 실제 모델 출시처럼 수학·코드·과학·의료·금융을 동시에 훈련할 때 생기는 영역 간 트레이드오프와 회귀를 측정하지 못한다는 문제의식이다. 그래서 ParetoRSI-Gym은 에이전트가 5개 영역의 데이터를 동시에 큐레이션하고, 영역별 프록시 점수 벡터의 파레토 프론티어를 전진시키는지를 반복 루프로 평가한다.

어떻게 동작하나

방법은 고정된 조건 아래 데이터만 에이전트가 바꾸는 구조다. 초기 LLM, 5개 영역, 도구셋, SFT 파이프라인은 고정하고, 에이전트는 Hugging Face Hub에서 검색하고 선택하고 내려받아 학습 데이터 풀을 만든다. 각 데이터 항목에는 출처와 커밋 이유를 기록하고, 라운드마다 갱신되는 작성 원칙에는 예산이 걸린다. 모델 풀은 이전 체크포인트를 보관하며, 에이전트는 다음 라운드에 어느 모델에서 이어갈지 고른다. 훈련은 LoRA SFT와 AdamW로 1에포크 수행하며, 라운드당 1,500만 토큰과 4만 항목으로 제한되고 총 5라운드다. 학습률, LoRA rank, 배치 크기, 시퀀스 길이, 워밍업은 에이전트가 정해진 범위 안에서 고른다.

무엇과 다른가

평가의 핵심은 프록시와 일반화의 분리다. 매 라운드 에이전트에게 영역별 프록시 벤치마크 점수와 개별 생성 결과까지 포함한 평가 트레이스를 돌려주지만, 최종 보고에 쓰는 일반화 벤치마크는 실행 중에 노출하지 않는다. 두 벤치마크는 같은 능력을 겨냥하되 문항을 공유하지 않고, 코드는 별도 벤치마크를 쓴다. 따라서 프록시 점수만 오르고 일반화 점수가 오르지 않으면 능력 향상이 아니라 피드백 과적합으로 해석한다. 에이전트는 단일 평균 점수가 아니라 영역별 점수 벡터와 비지배 체크포인트 집합을 받고, 여러 영역을 동시에 개선해야 한다.

어떻게 쓰나

실험은 Claude Code with Opus-5, Codex with GPT-5.6 Sol, CheetahClaw with deepseek-v4-flash 세 에이전트 시스템과 Qwen3-4B-Base, Ministral-3-3B-Base-2512, Olmo-3-1025-7B 세 베이스 모델로 수행됐다. 주요 실험은 9개의 독립 큐레이션 실행이고, Claude Code와 Codex 설정은 훈련 시드 3개를 평균했으며 CheetahClaw는 베이스 모델당 1회 실행했다. 프록시 최고 체크포인트를 3개 베이스 모델과 5개 영역에 동일 가중 평균하면 Claude Code가 시작 모델 대비 +2.3점(상대 +9.2%)으로 가장 좋았다. Codex는 +0.6점(상대 +3.1%), CheetahClaw는 -0.3점(상대 +2.9%)이었다. 상대값은 낮은 기준선 셀에 크게 가중되므로 논문은 절대값과 상대값을 함께 보고한다.

전제와 한계

영역별로는 의료 +4.3점, 코드 +3.2점이 두드러졌고 수학은 오히려 훈련으로 성능이 내려갔다. 가장 큰 상대 향상은 Ministral-3-3B의 의료에서 23.65에서 38.46으로 +63%였지만, 저자들은 그 베이스 모델이 답을 선택지 문자로 끝내지 않는 경우가 많아 일부는 의료 지식보다 답 형식 학습일 수 있다고 밝힌다. 또한 베이스 모델별 향상 패턴이 달라 Ministral-3-3B에서 더 많이 개선되는 등 모델 의존성이 컸다. 반복 개선의 한계도 수치로 드러난다. 45개 에이전트-모델-영역 설정 중 24개에서 최고 프록시 이득 라운드보다 낮은 성능을 보였고, 9개 구성 중 7개에서는 프록시 최고 라운드가 마지막 라운드가 아니었다. 영역별 최고 라운드가 에이전트가 선택한 라운드와 다른 경우도 45개 중 43개였고, 평균 2.0점, 최대 6.9점 손실이 났다.

분석은 하네스와 데이터 선택 전략이 성능만큼 중요하다는 점을 보여준다. 백본을 DeepSeek V4.1 Flash Max로 고정하고 하네스만 바꾸면 평균 일반화 이득이 Codex +4.3점, Claude Code +2.6점, CheetahClaw +0.2점이었고, 코드에서는 Codex가 +13.2점으로 가장 컸다. 데이터 선택에서는 같은 에이전트의 두 실행이 Jaccard 0.24로 겹친 반면 다른 에이전트끼리는 0.07에 그쳤고, 같은 베이스 모델 안에서도 0.23, 다른 베이스 모델 간에도 0.25로 큰 차이가 없었다. 이는 에이전트가 대상 모델에 맞춰 데이터 취향을 바꾸기보다 자기 선호를 반복한다는 해석을 뒷받침한다. 라운드가 진행될수록 처음 들어오는 데이터셋도 줄어 탐색이 정적으로 변했다. 재시작 전략도 달라 Claude Code와 Codex는 각각 64%, 53%의 라운드에서 이전 체크포인트에서 이어갔고 CheetahClaw는 67%에서 처음부터 다시 시작했으며 이전 라운드로 분기한 적이 없었다.

개발자에게 이 논문은 자동 포스트트레이닝 에이전트를 평가할 때 프록시 점수만 보면 안 된다는 실무적 기준을 제공한다. 에이전트가 데이터를 찾고 LoRA SFT까지 수행하는 파이프라인을 만들거나 비교할 때는 홀드아웃 일반화, 영역별 회귀, 최종 체크포인트와 프록시 최고 체크포인트의 차이, 하네스 민감도, 데이터 출처의 라이선스와 편향을 함께 확인해야 한다. 특히 후반 라운드에서 이전 성능을 되돌리는 경우가 많으므로 모델 풀과 롤백, 조기 중단 기준이 필요하다. 이 벤치는 프로덕션 학습 레시피라기보다 에이전트 시스템의 데이터 큐레이션 능력을 비교하는 샌드박스에 가깝다.

저자들이 밝힌 한계는 분명하다. 실험은 에이전트 시스템 3개와 베이스 모델 3개, 5개 영역, 영어 텍스트에 한정됐고, 비교 대상인 에이전트 시스템 자체가 계속 바뀌는 이동 표적이라 결과는 작성 시점의 스냅샷이다. 훈련 파이프라인도 LoRA SFT와 라운드당 1,500만 토큰·4만 항목, 5라운드라는 고정 예산 아래라 다른 설정으로 일반화하기 어렵다. 데이터는 공개 데이터와 공개 벤치마크만 쓰고 샌드박스에서 평가 항목과의 겹침을 걸러냈지만, 에이전트가 데이터를 자율 선택하므로 원천 데이터의 편향을 물려받고 선택 편향을 더할 수 있다. 실제 사용에는 편향 감사, 콘텐츠 필터링, 엄격한 데이터 보존 통제가 필요하다고 저자들은 덧붙인다.