신뢰도 점수로 AI 결정의 감사 여부를 정해 오류 노출을 제한한다

무엇인가

이 논문은 AI 시스템이 연속적으로 결정을 내리는 온라인 환경에서, 각 결정을 자동 수용할지 전문가 감사자에게 넘길지 선택하는 selective auditing 문제를 다룬다. 결정과 신뢰도 점수는 같은 모델이 만들 필요가 없고, 한 에이전트가 제안하고 별도 검증 에이전트가 정확성·안전 점수를 주는 구조도 허용한다. 감사는 비싸므로 전부 검토할 수 없고, 목표는 감사되지 않은 AI 오류의 비율 Err(T)=u_T/n_T를 사용자가 정한 α 이하로 유지하면서 감사 빈도를 최소화하는 것이다. 여기서 u_T는 감사되지 않은 오류 수의 기대값, n_T는 전체 오류 수의 기대값이며, 데이터 분포나 신뢰도 점수의 보정에 대한 가정 없이 적대적·적응적 스트림도 다룬다.

어떻게 동작하나

첫 방법인 additive thresholding은 신뢰도 임계값 τ_t를 두고 C_t<τ_t면 반드시 감사, 아니면 확률 γ로 표본 감사한다. 감사 후에만 오류 e_t를 관찰할 수 있으므로 τ_{t+1}=τ_t+ηΔ_t, Δ_t=(1-π_t-α)e_t H_t/π_t로 갱신해 역확률 가중을 적용한다. Theorem 1은 |Err(T)-α|≤(1/η+1/γ)/n_T를 보장하고, 오류 수가 T에 비례하면 O(1/T)로 목표에 붙는다. 신뢰도 점수가 보정되지 않아도 보장이 유지된다는 점이 핵심이다.

무엇과 다른가

이 위에 confidence calibration을 얹는다. 신뢰도 구간 격자에 심플렉스 가중치를 두고 C_t를 단조 계단 함수 S_t로 재보정하며, 감사된 항목의 역확률 가중 기울기로 exponentiated gradient를 수행한다. 이 변형은 Theorem 1과 같은 오류 제어를 유지하면서 pseudo-calibration을 만족하고, 실험에서 감사 절감을 늘린다. 즉 신뢰도 점수의 품질이 낮아도 오류 상한은 지키고, 점수를 더 유용하게 재매핑해 감사를 덜 하도록 만드는 구조다.

어떻게 쓰나

효율성은 감사하지 않은 결정의 기대 비율 Eff(T)로 측정한다. 저자들은 단조 임계값 규칙으로 제한하고, 적대적 데이터에서 달성 가능한 최선의 벤치마크를 최적 고정 규칙 효율의 볼록 껍질 V^c로 특성화한다. Proposition 1에 따르면 V^c(Q)=α+(1-α)Q(C≥c*)이고, c*는 그 위에서 오류가 없는 최소 임계값이다. 이 벤치마크를 달성하는 primal-dual 알고리즘은 적대적 스트림과 i.i.d. 스트림 모두에서 로그 인자를 제외하고 T^{-1/3} 속도로 접근한다.

전제와 한계

실험은 안전 검증, 질적 데이터 주석, 데이터 라벨링에서 이뤄졌다. 베이스라인은 각 결정을 1-α 확률로 무작위 감사하는 방법과 전체 스트림을 사후에 본 오라클 임계값이다. SORRY-Bench는 7,040개 지시-응답 쌍, 기본 오류율 0.3이고 StrongREJECT는 1,361개 삼중항, 기본 오류율 0.21이다. 약한 검증기로 GPT-5.4를 쓰고 K=8 자기일관성으로 신뢰도를 만들었으며, 평균 신뢰도는 SORRY-Bench에서 안전 0.83 대 불안전 0.05, StrongREJECT에서 0.74 대 0.05였다. 결과적으로 최적 효율 방법과 보정 결합 방법이 additive thresholding보다 감사를 더 줄였고, SORRY-Bench에서는 모두 α 근처였으며 StrongREJECT에서는 보정 결합과 최적 효율 방법이 α를 약간 웃돌았다.

질적 주석에서는 UCSB 인터뷰 코퍼스의 8개 전사본을 문장 단위로 처리했고, GPT-5.2를 감사자, Qwen2.5-14B와 GPT-4o-mini를 주석자로 썼다. 품질 점수 G_t≤0.8이면 오류로 정의했고, 초기 코딩 뒤 재검토 단계를 추가해 전사본당 2N 라운드를 만들었다. 두 주석자와 모든 α에서 오류율은 목표 근처였고, Qwen에서는 세 방법의 감사 절감이 비슷했지만 GPT에서는 최적 효율 방법이 오라클에 가까운 가장 큰 절감을 보였고 보정 결합, additive thresholding 순이었다. 데이터 라벨링은 정치 성향 분류, 기후 변화 입장 분류, ImageNet, ImageNet-V2 네 과제에서 평가했고, 텍스트는 GPT-4o의 언어화 확률, 이미지는 최대 softmax 확률을 신뢰도로 사용했다. 오류율은 대체로 α를 따랐고 최적 효율 방법이 ImageNet에서 다소 반보수적이었지만, 감사 절감은 최적 효율 방법이 가장 좋아 오라클에 자주 근접했고 보정 결합, additive thresholding 순이었다. 감사 절감률의 구체적 퍼센트는 본문 텍스트에 숫자로 제시되지 않고 그림 2와 3에 제시된다.

개발자에게 이 논문은 제안 모델과 검증 모델을 분리한 파이프라인에서 α를 오류 노출 예산으로 두고, 온라인 임계값과 표본 감사로 사람 검토를 배분하는 패턴을 제공한다. 신뢰도 점수가 보정되지 않아도 오류 상한을 보장하므로 초기 verifier 점수를 그대로 쓸 수 있지만, 실제 운영에서는 감사자 정확도와 비용, 오류가 희소한 구간, 배치 감사 시 b_max에 따른 보장 완화, 분포 변화와 적대적 입력을 확인해야 한다. 저자들이 밝힌 한계는 감사자가 항상 정확하고 모든 감사 비용이 같다고 가정한 점이다. 잡음 있는 감사자, 비용과 정확도가 다른 여러 감사자, 스칼라 신뢰도 이상의 정보를 쓰는 규칙은 향후 과제로 남겨져 있다. 또한 강한 O(1/T) 보장은 오류 수가 선형으로 늘어나는 경우를 전제로 하고, 오류가 드문 영역에서는 5.1절의 대안 오류 지표가 필요하다. FNR 제어도 감사가 미래 오류를 늘리지 않는다는 단조성 가정에서만 한쪽으로 보장된다.