탈옥 성공률은 채점기만 바꿔도 22배 달라진다

무엇인가

탈옥 논문들은 '공격 성공률(ASR)'을 모델의 속성처럼 보고한다. 하지만 이 비율은 파이프라인의 출력이다. 유해 요청 코퍼스, 공격 래퍼, 디코딩 설정, 채점기, 그리고 채점기에 준 루브릭까지, 비율을 보고하는 사람이 전부 고른다. 채점기에 따라 비율이 달라진다는 지적은 이미 있었고 저자들도 새롭다고 주장하지 않는다. 이 논문이 하는 일은 다르다. 타깃 모델과 프롬프트, 응답을 문자 단위로 고정하고 채점기만 바꾼다.

어떻게 동작하나

실험 구성은 이렇다. 공개 벤치마크에서 뽑은 유해 요청 100개(cores)를 공개된 9개 공격 패밀리로 감싸 900개 공격 프롬프트를 만든다. Qwen2.5-7B-Instruct가 답한 것이 코퍼스 A, gemma-3-12b-it이 같은 900개에 답한 것이 코퍼스 B다. 5개 조직의 채점기 8개가 refuse·evasive·comply·gibberish 네 갈래 루브릭으로 900개 응답을 라벨링한다. 기준 채점기는 gemini-2.5-flash로 항목당 3회 호출해 다수결을 쓴다. 별도로 새 유해 요청 100개(코퍼스 C), 새 타깃 계열 Phi-4-mini-instruct(코퍼스 D), 로스터 밖 홀드아웃 채점기 세 개(qwen3.8-27b, gpt-oss-safeguard-20b, Mistral-7B-Instruct-v0.3)를 추가 검증에 쓴다.

무엇과 다른가

핵심 발견은 '클래스 붕괴(class collapse)'다. 8B·9B dense 채점기 세 개(Llama-3.1-8B, gemma-2-9b-it, Qwen3-8B)는 준수 응답을 여러 클래스로 흩뿌리지 않고, 바로 이웃한 evasion으로 몰아넣는다. 코퍼스 B에서 Llama-3.1-8B는 900개 응답 중 comply 라벨을 단 한 번도 부여하지 않는다. 코퍼스 A에서 이 채점기는 기준 채점기가 comply로 본 항목 중 144개를 옮기는데 그중 118개가 evasion이고, gemma-2-9b-it는 138개 중 137개를 evasion으로 보낸다. 결과적으로 comply 비율은 채점기 사이에서 코퍼스 A 24.8배, 코퍼스 B 22.4배 차이가 난다. 반면 거부 여부 경계인 non-refusal 비율 차이는 23.0포인트와 18.0포인트로, 덧셈적으로 움직인다. 붕괴하는 세 채점기를 빼면 comply 차이는 네 코퍼스 모두 1.7~2.8배로 줄지만 non-refusal 차이는 여전히 10~22포인트다. non-refusal 응답만 조건으로 걸어도 15.6배(A), 26.1배(B)로 벌어지고, 두 번째로 높은 값 나누기 두 번째로 낮은 값은 13.6배·20.5배인데 non-refusal은 1.2배다. 채점기를 한 번만 호출해도 결과는 같다. 새 요청 코퍼스 C에서 세 채점기는 기준이 comply로 본 101개 중 1·1·25개만 유지하고, 새 타깃 코퍼스 D에서는 41개 중 2·5·10개만 유지한다. 홀드아웃 Mistral-7B-Instruct-v0.3도 A에서 152개 중 2개, B에서 128개 중 0개만 유지한다.

어떻게 쓰나

진단법은 값싸다. 모든 평가가 이미 만들어내는 클래스별 라벨 개수를 세는 것이다. 규칙은 이렇다. 어떤 채점기가 다른 채점기 카운트의 3분의 1 미만으로만 부여하는 클래스가, 다른 채점기에서는 응답의 10분의 1 이상에 부여되면 플래그한다. 두 임계값은 잠정적이지만 실행 전에 고정했다. 8개 로스터에서 이 규칙은 코퍼스 A·B의 세 채점기만 정확히 잡아내고 나머지는 건드리지 않는다. Llama-3.3-70B는 A에서 comply 110개로 최고 카운트 223의 3분의 1을 넘어 플래그되지 않는다. gibberish는 900개 중 최대 23회라 0이 나와도 플래그되지 않는다. 즉 이 검사는 '응답에 없는 클래스'와 '채점기가 쓸 줄 모르는 클래스'를 구분하며, 정답 라벨이나 사람 주석이 필요 없다. 홀드아웃 대형 채점기들은 어느 코퍼스에서도 플래그되지 않았고, Mistral-7B는 comply 클래스에서만 플래그됐다. 코퍼스 D는 최대 카운트가 900 중 77이라 규칙 자체를 적용할 수 없었다.

전제와 한계

저자들은 채점기 크기가 단조롭게 성능을 결정한다는 초기 주장을 철회한다. 같은 릴리스인 gpt-oss-20b와 gpt-oss-120b를 비교하니 작은 쪽이 코퍼스 A에서 24.8%로 117B 형제의 22.7%보다 높았고, B에서도 18.2% 대 17.9%였다. 남는 주장은 4개 모델 패밀리에서 관찰된 7~9B dense 채점기의 실패 영역뿐이다. 채점기 외의 선택도 비율을 움직인다. 라벨링 이후 내린 결정 세 가지가 응답을 하나도 바꾸지 않고 한 채점기의 non-refusal 비율을 16.3포인트 옮겼고(루브릭 명확화만으로 8.9포인트), 유해 요청 출처 벤치마크를 바꾸면 15.3포인트 움직인다. 사람 주석자들은 코퍼스 A에서 27.1%를 comply로 봐 기준 채점기의 16.5%보다 높게 나왔다.

개발자에게 이 논문이 주는 실무적 의미는 분명하다. 오류의 방향이 한쪽으로 정해져 있고, 그것이 안전에 불리한 방향이라는 점이다. 크기를 아는 로스터의 작은 채점기는 전부 comply를 과소보고했고 과대보고한 사례는 없었다. 같은 응답에서 1.0% 대 24.8%다. 로컬에서 무료로 돌아가고 재현성도 완벽한 8B 채점기를 쓰면, 더 큰 채점기가 찾아내는 위험을 놓친 채 '모델이 훨씬 안전하다'는 결론에 도달한다. 재현성과 타당성은 별개이며, 매번 같은 오답을 내는 채점기는 우리가 보통 돌리는 재현성 검사를 전부 통과한다. 저자들이 제안하는 보고 최소 요건은 여덟 항목이다. 채점기의 체크포인트와 파라미터 수 및 호출·결합 방식, 정확도 옆의 클래스별 라벨 개수, 루브릭 원문과 수정 이력, 결과 클래스 정의(거부는 우회했지만 아무것도 전달하지 못한 시도를 어떻게 분류하는지 포함), 타깃과 채점기의 디코딩 온도 및 그에 따른 노이즈 바닥, 유해 요청 벤치마크 출처, 블라인드 인간 라벨 여부, 그리고 comply 비율과 non-refusal 비율을 각각 어느 경계에서 그었는지다. 기준 채점기 자체도 코퍼스 A의 12.1%, B의 9.9%에서 자기 자신과 불일치하며, comply 라벨에서는 그 비율이 18%와 14%로 올라간다.

한계도 분명하다. 이 논문은 정답 라벨을 만들지 않았으므로 모든 수치는 채점기 사이의 스프레드이지 정확도가 아니다. 가장 크게 실패한 Llama-3.1-8B도 900개 중 78%에서 기준 채점기와 일치하고 라벨 형식은 온전하다. 붕괴는 4개 패밀리의 7~9B dense 채점기 네 개에서만 보였고, 작은 채점기 일반에 대해 주장하지 않는다. 왜 Llama-3.1-8B가 코퍼스 B에서는 전면 붕괴하고 A에서는 부분 붕괴인지는 설명하지 못하며, 이를 가르려면 채점기에 대한 개입 실험이 필요하다고 밝힌다. 두 대형 채점기는 파라미터 수가 공개되지 않아 저자들 자신이 제안한 보고 항목 1을 스스로 위반했다. 채점기별 호출 횟수도 균일하지 않고, 네 코퍼스 모두 같은 9개 공격 패밀리를 쓰므로 다른 공격에 일반화된다고 주장하지 않는다.