LLM이 서로 환경을 내고 풀며 가르침과 학습을 측정하는 벤치마크다

무엇인가

이 논문은 프런티어 LLM이 이전 모델과 경쟁 모델이 만든 합성 데이터와 환경을 흡수하며 함께 진화하는 상황을 다룬다. 기존 고정 벤치마크는 모델이 숙달하면 포화되지만, 여기서는 모델이 직접 실행 환경을 작성하고 다른 모델의 환경을 푸는 양방향 능력을 측정한다. 환경은 숨은 상태, 관측, 행동, 보상, 행동 예산을 가진 상호작용 프로그램으로, 정적 질의응답보다 탐색과 다턴 적응을 요구한다. 저자들은 모델이 작성자로서 다음 세대에 학습할 문제를 얼마나 잘 만들고, 해결자로서 다른 모델의 문제를 얼마나 잘 푸는지를 통제된 미시 생태계에서 본다.

어떻게 동작하나

방법은 각 모델이 작성자와 해결자를 겸하는 duel이다. 작성자는 다섯 영역(기호 추론, 계획·최적화, 인과 진단, 적대 전략, 동적 제어) 중 하나에서 환경을 만들고, 해결자가 힌트 없이는 실패하고 힌트가 있으면 통과하도록 설계한다. 작성은 계획, 구현, 검증·리뷰, 수리 단계를 거친다. 계획 단계에서 설계 명세와 정확한 힌트, 비공개 타당성 분석을 만들고, 구현 단계에서는 표준 라이브러리만 쓰는 결정적 파이썬 클래스 reset(seed)와 step(action)을 작성한다. 행동 예산은 T=24다. 검증은 샌드박스 실행 검사와 새 세션의 자기 리뷰를 통과해야 하며, 실패하면 최대 두 번 수리하고 그래도 실패하면 환경을 버린다. 이후 모든 모델이 모든 환경을 같은 시드에서 힌트 없이 한 번, 힌트와 함께 한 번 플레이한다. 9개 모델이 각 10개 환경(영역별 2개)을 작성해 90개 환경, 4개 시드, 24행동 예산, 두 조건, 카운터무브 전후로 총 12,960 에피소드가 만들어진다. 점수는 해결률, 난이도, 힌트 리프트다. 힌트 리프트는 같은 환경·시드·예산의 짝지은 결과에서 힌트가 고친 플레이 비율에서 힌트가 망친 플레이 비율을 뺀 값이다. 카운터무브는 첫 라운드 후 작성자가 익명화된 결과 통계와 세 쌍의 매칭 트레이젝토리를 보고 환경이나 힌트를 한 번 수정하는 단계다. 이 한 라운드로 힌트 없는 통과율은 84.9%에서 78.5%로 낮아지고 힌트 리프트는 6.3%에서 13.4%로 올라갔다.

무엇과 다른가

결과의 핵심은 작성 능력이 해결 능력을 따라가지 않는다는 점이다. 해결자 순위는 Claude-Opus-5와 GPT-5.6-Sol이 선두로 공개 지능 지수와 비슷했지만, 난이도와 힌트 리프트에서는 DeepSeek-V4.1-Flash, Gemini-3.8-Flash, Qwen3.8-27B가 상위 3위를 차지했다. 이들은 해결자 순위로는 각각 3위, 7위, 4위인 소형 모델이다. Claude-Opus-5와 GPT-5.6-Sol은 난이도 4위, 힌트 리프트 7위에 그쳤고, Claude-Opus-5가 최소 한 번 실패한 10개 환경 중 9개를 이 세 모델이 작성했다. Qwen3.8-27B는 가장 유용한 힌트를 써서 전체 플레이의 거의 4분의 1을 고치고 거의 망치지 않았다. 반면 최상위 해결자들의 힌트는 하위권 해결자의 정답 시도를 17.7%나 오답으로 바꿨고, 다른 작성자의 힌트는 최대 7.7%였다. 어떤 계층의 힌트도 최상위 해결자의 시도는 3.1% 넘게 망치지 않았다. 약한 작성자는 함정과 수를 직접 지목하고, 강한 작성자는 메커니즘만 말해 파생을 해결자에게 맡기는 경향이 있었다. 이런 힌트를 받은 약한 해결자는 일찍 결단하고 중앙값 13행동 만에 실패했지만, 힌트 없이 느린 탐색으로는 20행동에 성공했던 경우도 있었다. 또한 가장 강한 해결자들은 피드백에 가장 적게 반응했다. GPT-5.6-Sol은 환경을 거의 바꾸지 않았고 Claude-Opus-5도 평균보다 적게 바꿨다. 반면 Qwen3.8-27B와 GLM-5.3은 통과율을 각각 13.1점, 10.8점 낮췄다.

어떻게 쓰나

듀얼 행렬은 점수 외에도 모델 간 관계를 드러낸다. 두 모델의 승부는 한 모델이 상대 환경을 푼 비율과 상대가 자기 환경을 푼 비율의 차이로 계산됐고, 84개 삼중 조합 어디에도 순환이 없을 만큼 전이적이어서 안정적 순위를 만들었다. 이 순위는 해결 순위와 다르다. Claude-Opus-5는 8개 듀얼을 모두 이겼고, DeepSeek-V4.1-Flash가 2위로 GPT-5.6-Sol의 환경을 92% 풀었지만 반대 방향은 75%였다. 해결자 4위인 Qwen3.8-27B는 듀얼 순위 3위다. 작성 습관의 유사도도 측정됐다. 영역별 설계 계획의 TF-IDF 코사인 유사도에서 각 작성자의 평균 유사도를 뺀 값으로 보면 Claude-Opus-5와 DeepSeek-V4.1-Flash가 가장 비슷했고 GLM-5.3이 둘에 가까웠다. 코드와 프로그램 크기, 계획 길이 같은 비언어 지표도 같은 쌍을 가리켰지만 해결 트레이젝토리는 특별히 더 비슷하지 않았다. 독립적으로 작성했는데도 9개 중 8개 모델이 패리티 규칙을 사용하는 식의 수렴도 나타났다.

전제와 한계

강화학습 실험은 듀얼 통계가 실제 학습 이득을 예고하는지 묻는다. Qwen3.8-27B를 Qwen3.8-27B 자신, GPT-5.6-Sol, DeepSeek-V4.1-Flash, Inkling-Small 네 작성자의 환경 각 200개, 총 800개로 학습시켰다. GRPO로 LoRA 어댑터를 1에포크, 학습률 5×10^-6로 업데이트했다. 평가는 AIME 2025·2026(avg@8), ACEBench-Agent의 다단계·다턴 분할, EvalPlus의 HumanEval+·MBPP+(pass@1), LiveBench, Reasoning Gym에서 이뤄졌다. 듀얼 쪽에서는 학습 전 Qwen3.8-27B가 각 작성자 환경에서 보인 힌트 리프트를 읽었다. 네 세트 중 어느 것으로 학습해도 거의 모든 벤치마크가 올랐고, 상승폭은 힌트 리프트를 따랐다. GPT-5.6-Sol의 환경은 힌트 리프트가 +17.5로 가장 높고 평균 이득도 +2.0으로 가장 컸으며 AIME, EvalPlus, LiveBench에서 앞섰다. DeepSeek-V4.1-Flash의 환경은 힌트 리프트 +5.0으로 가장 낮고 평균 이득도 +0.1에 그쳤으며 ACEBench-Agent와 LiveBench에서는 소폭 손실이 있었다. Qwen3.8-27B 자신의 환경은 힌트 리프트 공동 2위, 평균 이득 2위로 자기 개선에서도 같은 신호가 유지됐다.

개발자에게 이 논문은 에이전트용 합성 환경을 만들거나 강화학습 데이터로 쓸 때 작성자와 해결자를 분리해 평가하라는 신호를 준다. 가장 강한 해결자가 가장 좋은 교사라는 보장이 없고, 힌트는 학습자 수준에 맞지 않으면 오히려 정답 시도를 망칠 수 있다. 힌트 리프트처럼 같은 시드에서 힌트 유무를 짝지어 비교하는 지표는 환경 작성자의 교수 능력을 측정하고, 다운스트림 학습 이득을 사전에 가늠하는 데 쓸 수 있다. 카운터무브 루프는 다른 모델의 플레이를 보고 환경을 한 번 더 어렵게 조정하는 저비용 개선 절차로 참고할 만하다. 또한 이 벤치마크는 모델이 환경을 쓰기 때문에 더 강한 작성자가 들어오면 인간 주석 없이 토큰 비용만으로 상한이 올라가는 자기 갱신형 평가라는 점이 실무적으로 중요하다.

논문이 명시한 범위는 좁다. 카운터무브는 한 라운드뿐이고, 평가는 9개 모델, 모델당 10개 환경, 4개 시드, 24행동 예산에 한정된다. 각 모델 호출은 해당 모델의 자체 에이전트 하네스와 지원되는 최고 추론 노력에서 이뤄지므로 하네스 차이가 결과에 섞일 수 있다. 강화학습 실험도 Qwen3.8-27B 한 모델과 네 작성자, 800개 환경에 국한된다. 유효하지 않은 환경-시드 인스턴스는 백박스 LLM 감사와 수동 리뷰에서 제외됐다. 따라서 다른 모델 규모나 과제 영역으로 일반화하려면 별도 검증이 필요하다. 저자들은 별도의 한계 절을 길게 두기보다는 재현성과 감사 절차를 강조하며, 모든 환경과 트레이젝토리, 분석 코드를 공개한다고 밝힌다.