벤치마크를 난이도 위의 분포로 보고 평가의 두 가지 실패를 진단한다
Your Benchmark Is an Empirical Measure Over Difficulty
무엇인가
이 논문이 다루는 문제는 단순해 보이는 벤치마크 평가가 사실은 질문의 난이도 분포에 의존한다는 점이다. 벤치마크 점수는 문항별 성능의 평균이므로, 같은 두 모델이라도 쉬운 문항에 가중치가 몰려 있으면 거의 동점으로 보이고, 어려운 문항에 가중치가 있는 목표 분포에서는 뚜렷하게 갈릴 수 있다. 학습 중 성능 모니터링에서도 같은 문제가 생긴다. 모델이 특정 난이도 구간에서 크게 좋아져도 그 구간에 문항이 없으면 점수는 거의 움직이지 않는다. 저자들은 이 두 경우를 각각 측도 불일치(measure mismatch)와 커버리지 공백(coverage gap)이라는 이름으로 형식화하고, 이것이 벤치마크 평가의 근본적인 실패 모드라고 주장한다.
어떻게 동작하나
형식화는 난이도를 연속 변수 z∈[0,1]로 두고 시작한다. 벤치마크 B의 문항 난이도 z_i에 대해 경험적 측도 ν_B=(1/n)Σδ_{z_i}를 정의하면, 벤치마크 점수는 S_B(θ)=∫s_θ(z)dν_B(z)로 정확히 적분이 된다. 여기서 목표 난이도 분포 μ를 도입하면 두 모델의 성능 차이는 D_B=∫Δdν_B, D_μ=∫Δdμ로 갈라지고, 그 괴리는 ν_B와 μ의 불일치에서 나온다. 저자들은 이 불일치를 1-바서스타인 거리 DDM(B;μ)=W₁(ν_B,μ)로 측정한다. 정리 2.1은 Δ가 L-립시츠일 때 |D_B−D_μ| ≤ L·W₁(ν_B,μ)임을 보이고, 나아가 |D_μ|가 그 상한보다 크면 두 모델의 순위 부호가 뒤집히지 않는다는 것을 보인다. 사전 정보가 없을 때 무엇을 목표 분포로 삼을지에 대해서는 정리 2.2가 답한다. 난이도 축 어디에서 성능 차이가 발생하는지 전혀 모르는 불확실성 집합에서 최악의 경우 보존되는 차이를 최대화하는 분포는 균등분포이며 그것이 유일한 maximin 선택이라는 것이다.
무엇과 다른가
커버리지 공백은 정렬된 난이도 점들 사이의 최대 간격 G(B)=max_j(z_(j+1)−z_(j))로 정의된다. ν_B가 유한 개 점만 지지하는 이산 측도이므로, 문항이 없는 구간은 측도 0을 받고 그 구간의 개선은 점수에 반영되지 않는다. 정리 2.3은 이를 가설검정으로 정밀화한다. 폭 w의 연속 구간에서 성능이 a 이상 향상된다는 대립가설을 세울 때, w ≤ G(B)이면 반복 평가 횟수 k를 아무리 늘려도 최소최대 검정력이 유의수준 α에 머물고, w > G(B)이면 k→∞에서 검정력이 1로 간다. 즉 최대 간격이 벤치마크의 국소 해상도 한계를 정확히 특정한다.
어떻게 쓰나
실증 분석은 수학, 코딩, 에이전트 과제, 논리, 과학, 지시 수행, 의학 등 7개 도메인의 인기 벤치마크 25개를 대상으로 한다. 난이도는 문항별 평균 실패율 대신 문항반응이론(IRT) 1PL 모형으로 추정했는데, 난이도가 모델 능력에 상대적이어서 어떤 모델이 틀렸는지까지 반영해야 한다는 이유에서다. 비에이전트 벤치마크에는 1.7B에서 397B 파라미터에 이르는 LLM 12개를 계층 표집해 문항당 최대 32회 롤아웃으로 평가했고, 에이전트 벤치마크는 HAL이 보고한 폐쇄형 최신 모델 15~66개의 결과를 활용했다. 파라미터는 MCMC 베이지안 추론으로 적합했으며 사전 4개, 사후 3개 진단을 모두 통과했다. 결과는 25개 중 10개가 DDM ≥ 0.10, 8개가 최대 간격 ≥ 0.10, 9개가 상위 5개 간격 합 ≥ 0.30이었다. AIME24와 AIME25는 상위 5개 간격 합이 0.5에 가까워 RLVR 학습 모니터링에 널리 쓰이면서도 난이도 축의 상당 부분을 해상도 없이 남겨둔다. HumanEval이나 BBH-5 objects처럼 문항이 수백 개인 벤치마크에서도 간격이 크게 나타나, 이것이 소규모 벤치마크의 부작용만은 아니라는 점을 보인다.
전제와 한계
BenchFill은 진단을 처방으로 바꾸는 부분이다. 가장 큰 인접 간격 [z_L,z_R]의 중점 z*=(z_L+z_R)/2를 목표 난이도로 삼고, 기존 문항을 참조해 그 난이도에 맞는 새 문항을 LLM으로 다시 쓴다. 알고리즘은 문항–난이도 쌍을 담은 메모리를 유지하며, 매 라운드 목표에 가까운 부모 문항을 검색해 목표 난이도와 주변 문항–난이도 참조 목록을 조건으로 자식 문항을 생성한다. 새 문항의 난이도는 원래 벤치마크에 적합된 IRT 척도 위에서 해당 문항 파라미터만 재추정하는 온라인 캘리브레이션으로 주석되고, 목표에 가까운 자식은 메모리에 남아 다음 라운드의 부모나 참조가 된다. 기본 설정은 최대 8라운드, 라운드당 부모 4개, 부모당 자식 4개, 참조 목록 최대 16쌍이며 재작성 모델은 MiniMax-M2.7, 온도 1.0이다. 8개 대표 벤치마크의 상위 3개 간격을 대상으로 문항 3개만 삽입했을 때 상위 3개 간격 합이 21.09%~38.88% 줄었고, 평균 32.67%로 오라클 상한 35.06%에 근접했다. 예산을 맞춘 균등 부모 재작성 베이스라인은 17.52%였다. 목표 난이도 편차는 0.01 미만이었고, 저자들은 AMC23(40→80문항), AIME24(30→50), AIME25(30→52), AIME26(30→53)의 확장판을 공개했다.
개발자 입장에서 이 논문이 주는 실무적 지침은 명확하다. 리더보드 점수를 난이도 중립적인 비교로 읽지 말고, 자신의 사용 사례가 요구하는 난이도 분포와 벤치마크의 경험적 분포가 맞는지 확인해야 한다. 또한 학습 중 벤치마크 점수가 정체되어 있다고 해서 개선이 없다고 단정하면 안 되며, 그 정체가 커버되지 않은 난이도 구간 때문인지 최대 간격 지표로 점검할 필요가 있다. 두 지표는 계산이 단순해 자체 벤치마크 진단에도 바로 적용할 수 있다.
저자들이 밝힌 전제와 한계도 분명하다. 정리 2.2는 균등분포가 보편적 최적이 아니라 사전 정보가 없을 때의 원칙적 기본값이라고 못 박는다. 최대 간격은 필연적으로 벤치마크 크기에 의존하지만, 저자들은 그것이 단순한 잡음이 아니라 실제 미탐지 구간이며 정리 2.3에 따라 국소 개선이 최악의 경우 감지 불가능하다고 주장한다. 난이도 추정은 모델 선택과 IRT 모형 가정에 의존하며, BenchFill로 생성한 문항은 GPT-5.4 기반 유효성 판정과 전문가 수동 검수를 거쳐야 벤치마크에 들어간다. 또한 논문이 제시한 수치는 상위 3개 간격 감소율이며 전체 난이도 분포가 완전히 균등해졌다는 주장은 아니다.