가드레일 벤치마크 점수는 안전 능력이 아니라 학습한 정책의 정의를 잰다
Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On
무엇인가
가드레일 분류기는 마치 'unsafe'가 텍스트 자체의 속성인 것처럼 보고된다. 이 논문은 그 전제를 정면으로 부정한다. unsafe는 정책의 속성이고, 정책은 라벨을 통해 모델에 들어간다. "이 노래 가사를 그대로 써줘"는 콘텐츠 플랫폼에서는 정책 위반이지만 문서 작성 도우미에게는 평범한 요청이다. "야한 농담 해줘"는 모더레이션 제품이 막고 코딩 어시스턴트는 답한다. 어느 쪽도 문자열에 대한 사실이 아니라, 라벨링 정책을 쓴 사람이 한 번 내린 결정이다. 대부분의 연구는 프로젝트마다 라벨 정책이 하나뿐이라 이 둘을 분리할 수 없는데, 저자들은 산업 배포 과정의 사고 덕분에 분리했다.
어떻게 동작하나
방법은 같은 프롬프트 풀을 한 달 간격으로 두 파이프라인에 두 번 라벨링하는 데서 출발한다. Policy A는 "신중한 모더레이터라면 이걸 차단할까?"라고 물었고, 저작권 텍스트 재현이나 정책 거부 유도 프롬프트, 선을 넘지만 무해한 요청까지 차단 대상으로 본다. Policy B는 "유해 콘텐츠에 대한 요청인가?"라고 물었고, 4개 대형 instruct 모델이 각 3샘플(T=0.7)씩 판정하는 3라운드 이진 캐스케이드 LLM 배심으로 만들어졌다(교차 모델 합의 94.6%). 4클래스 라벨이 비교 가능한 97,245개 프롬프트에서 정확 일치는 83.6%, 이진 수준 136,472개에서는 90.1%였다. 클래스별 유지율을 보면 두 정의가 갈라지는 지점이 드러난다. generic_safe 89.7%, harmful 85.2%는 안정적인데 compound 78.3%, boundary_safe 71.2%로 논쟁적인 클래스가 가장 불안정하다. 이 라벨군을 학습 파이프라인의 어디에 어떻게 넣느냐만 바꿔 10개 arm을 만들고, ModernBERT-large 394.8M teacher와 ModernBERT-base 149.0M student 두 스케일로 총 20개 모델을 15개 공개 벤치마크 33,137개 프롬프트에서 단일 하네스로 결정론적으로 채점했다.
무엇과 다른가
첫 번째 감사는 학습 코퍼스에 벤치마크가 이미 들어 있다는 발견이다. 정규화 후 완전 일치 기준으로 JailbreakBench-benign은 88.0%(88/100), OR-Bench-hard는 82.1%(1,083/1,319)가 학습·검증 풀 안에 있었다. HarmBench-copyright 25.0%, WildGuard-harmful 14.3%, StrongREJECT 12.1%, AdvBench 2%, OR-Bench-toxic 0%와 대비된다. 구조가 핵심인데, 가장 심하게 오염된 두 개가 바로 과잉거부 벤치마크다. 가드레일이 "우리 모델은 과차단하지 않는다"고 주장할 때 쓰는 지표라는 뜻이다. boundary_safe 같은 클래스를 공개 데이터로 만들면 공개 과잉거부 세트를 그대로 수확하게 되기 때문에, 저자들은 이걸 부주의가 아니라 수렴이라고 부른다. 이후 모든 분석은 그리드 어디에도 쓰인 프롬프트를 전부 제외한 깨끗한 부분집합에서 다시 계산됐다.
어떻게 쓰나
두 번째 감사는 벤치마크별로 점수가 라벨 정의에 얼마나 좌우되는지를 측정한다. 아키텍처와 옵티마이저를 고정하고 10개 arm에 걸친 점수 범위를 재면 HarmBench-copyright는 0.99(전체 스케일 대비), WildGuard-benign은 0.043으로 23배 차이가 난다. 하지만 범위만으로는 "정의 때문에 움직인 것"과 "그냥 잘 움직이는 벤치마크"를 구분할 수 없어서, 시드만 바꾼 실행 간 편차인 시드 바닥(Φ)이 필요하다. 이 코드베이스의 37개 triplet에서 HarmBench-copyright는 0~71점(중앙값 4), OR-Bench-hard는 0.2~58%(중앙값 2.8)까지 벌어진다. 가장 근접한 4개 레시피만 보면 각각 54~71점, 21~58%로 바닥을 잡았고, Δ/Φ는 1.7배와 1.5배다. 저자들이 주장하는 것은 순위 전체가 아니라 "레벨이 분리된다"는 것, 즉 policy-A가 마지막 신호인 arm들은 HarmBench-copyright에서 100에 도달하고 나머지는 73을 넘지 않는다는 식의 분리다.
전제와 한계
세 번째 감사가 가장 실무적으로 아프다. 149.05M 파라미터 중 0.04M, 즉 0.03%인 선형 헤드만 동결 백본 위에서 재학습하면 HarmBench-copyright가 0에서 100까지, OR-Bench-hard 과잉거부가 3.4%에서 56.4%까지 움직인다. 반대로 hard label이 전부 policy A인 arm(E6, 40,327/40,327 행)을 전체 파인튜닝해도 17.3점과 31.4%에 그친다. policy-B teacher의 소프트 라벨이 자기 데이터를 덮어쓰기 때문이다. 실제로 policy-A teacher로 바꾸고 hard label은 전부 B로 둔 E8이 100.0과 6.4%를 기록했고, 헤드 보정 arm들(E1 100.0/4.7%, E7 100.0/6.8%, E10 100.0/3.4%)도 같은 극단에 붙는다. 순위 검정은 p=0.005(k=4, 149M), 0.004(k=5, 395M)이고, 클러스터링 후 양측 검정으로는 0.071과 0.036, 헤드 보정 arm을 빼면 0.14와 0.048이다. 능력은 그대로다. E8은 능력 부하 6개 벤치마크 평균 탐지율 91.1%, E7은 89.1%로 데이터 믹싱 arm들의 88.3~86.8%와 비슷하다.
네 번째 감사는 "홀드아웃 split이면 된다"는 통념을 깬다. policy-A로 라벨링된 단일 다국어 검증 split이 policy B로 학습된 14개 arm까지 포함해 20개 모델 전부를 채점하는데, 이 점수는 정책 부하 벤치마크와 ρ=+0.74로 상관하고 탐지 능력과는 ρ=+0.34에 그친다. 게다가 그 split 자체가 policy-A 학습 파일 안에 69.3% 포함돼 있었다(arm별 노출 10.9~69.3%). 깨끗한 split은 따로 있었지만 쓰이지 않았다. 실험실 간 재현도 된다. 오염 제거된 동일 프롬프트에서 Granite Guardian 3.1-2B는 HarmBench-copyright 75개 클린 프롬프트에 0점, Qwen3Guard-4B는 99점을 냈다. 둘 다 고장난 게 아니라, 한쪽은 "상식적으로 유해한가"를, 다른 쪽은 "저작권 침해"를 정의에 넣었을 뿐이다.
개발자에게 이 논문이 주는 실무 규칙은 세 가지다. 첫째, 자기가 쓰는 벤치마크가 학습 데이터와 겹치는지 정확 일치 해시라도 돌려서 수치를 보고하라. 저자들도 자기 검증 split에는 이 감사를 두 번째로 돌리고 나서야 발견했다. 둘째, 시드 바닥 없이 벤치마크 델타를 해석하지 마라. 이 코드베이스에서는 그 바닥이 54~71점이라 처음 쓴 결론의 절반을 무효화했다. 셋째, 운영 정의와 어느 split에서 잰 점수인지 명시하라. 카테고리 목록만으로는 결정이 정해지지 않는다. 특히 증류된 가드레일을 배포하거나 헤드만 재보정해서 정책을 바꿀 때는 데이터 카드에 아무 흔적이 남지 않는다는 점을 기억해야 한다.
저자들이 밝힌 한계도 분명하다. arm마다 시드가 하나뿐이라 시드 바닥을 arm 자체가 아니라 인접 레시피에서 가져왔고, 그 방향은 검증할 수 없어서 순위의 중간 구간은 해석 불가로 남는다. 범위는 ModernBERT 인코더 20개, 사내 24필러 택소노미 하나, 두 개의 루브릭(사실상 2점 표본)에 한정되며 arm들은 풀 크기(8,489~144,744행)와 체크포인트 선택 규칙에서 매칭되지 않았다. 오염 감사는 정규화 완전 일치라 하한이고, HarmBench-copyright의 0.99 범위는 75개 클린 프롬프트(그중 39개가 "X 가사 생성", 36개가 "X에서 긴 구절 생성")라는 좁은 구성 위에서 읽힌 하나의 논쟁적 판정이다. SOTA 비교도 비대칭이다. 자기 arm들은 이 벤치마크를 보며 개발됐고 베이스라인은 아니며, 베이스라인 벤더는 학습-테스트 오염 검사를 공개하지 않는다.