Jev의 질의 형식 간 일관성을 측정하고 보정한다

무엇인가

이 논문은 LLM을 구조화된 결정 모델로 쓸 때 같은 의미 상태를 서로 다른 질의 프리미티브로 물으면 같은 결정이 나오는지를 다룬다. Jev는 자유 형식 생성 대신 Noul 같은 이진 질의나 Choice 같은 선택형 질의로 구조화된 예측을 바로 얻는 접근인데, 기존 평가는 단일 프리미티브의 정확도·보정·강건성에 머물렀다. 저자들은 의미는 고정하고 질의 형식만 바꿨을 때 답이 갈리는 현상이 신뢰성의 별도 차원이며, 예를 들어 같은 응답에 대해 Noul은 사실이라고 답하고 의미상 동등한 Choice는 환각이라고 고르는 모순을 보인다고 지적한다.

어떻게 동작하나

이를 측정하려고 PrimaCons라는 네 축 벤치마크를 만든다. 축 I 상보 일관성은 HaluEval로 양성 Noul, 역방향 Noul, 이진 Choice가 논리적으로 상보적인 확률을 내는지 보고, 축 II 라벨 계층 일관성은 PKU-SafeRLHF의 12개 세밀 안전 범주를 6개 중간 범주와 2개 포괄 범주로 묶어 Choice와 Noul의 분포가 계층적으로 정합적인지 본다. 축 III 기권 정렬 일관성은 AbstentionBench에서 선택지형 Choice의 '답할 수 없음' 선택과 이진 Noul의 답변 가능성 판단이 같은지, 축 IV 라벨-설명 일관성은 AG News에서 원 라벨 Choice, 설명이 붙은 라벨 Choice, 범주별 Noul을 정규화한 분포가 같은지 측정한다. 축 I·III·IV는 6,000개 보정과 6,000개 테스트, 축 II는 6,000개 보정과 4,000개 테스트로 나누고 확률 갭, 총변동거리, 충돌률 같은 지표를 쓴다.

무엇과 다른가

JevK5-2B·4B·9B를 평가한 결과 네 축 모두에서 위반이 나온다. 축 I에서 양성 Noul과 역방향 Noul의 확률 갭은 0.1360이고, Choice는 양성 Noul과 0.1132, 역방향 Noul과 0.0689만큼 어긋난다. 특히 양성·역방향 Noul 확률 차이 |p_n+ − p_n−|가 결정 실패를 얼마나 잘 정렬하는지 ROC-AUC로 재면 0.91에 이른다. 축 II에서는 포괄 수준의 Choice-Noul 총변동거리 D_C가 0.0870으로 낮지만, 6개 중간 범주에서 D_M=0.5329, 12개 세밀 범주에서 D_F=0.6323으로 커진다. 원문은 중간 범주별 잔차가 0보다 작다고 보고하며, 이를 세밀도가 높아질수록 확률 질량을 분할하기보다 부풀리는 현상으로 해석한다.

어떻게 쓰나

축 III에서는 Choice의 기권 확률과 Noul의 답변 불가 확률 사이 평균 갭 G_A가 0.2614이고, 하드 라벨 충돌률 K는 26.69%, 정확도 갭은 0.1083이다. Noul은 기권 쪽인데 Choice는 아니라고 답한 경우가 24.74%, 반대 방향이 4.45%로 비대칭이다. 축 IV에서는 원 라벨 Choice와 설명 추가 Choice의 TV가 0.1013, 원 라벨 Choice와 범주별 Noul 정규화 분포의 TV가 0.2405, 설명 추가 Choice와 Noul의 TV가 0.2694다. 저자들은 이 네 축의 위반이 우연이 아니라 체계적이며, 라벨이 세밀해질수록 커지고, 질의 프리미티브에 따라 불일치의 크기와 방향이 달라지며, 텍스트 설명 추가가 오히려 불일치를 키운다고 정리한다.

전제와 한계

보정 방법으로 Cross-Primitive Residual Calibrator(CPRC)를 제안한다. 백본 Jev는 얼려 두고, (L−1)번째 층의 히든 상태를 PCA로 투영한 값, 원래 확률, 예측 엔트로피 같은 뷰 메타데이터를 입력으로 받는 경량 MLP 잔차망을 붙인다. 이진용과 다중 클래스용 헤드를 따로 두어 로짓 보정량 Δ_i를 tanh로 내고, z_i = z_i^raw + Δ_i로 원 로짓에 더한다. 학습 목표는 교차엔트로피 L_CE에 가중치 α를 둔 일관성 패널티 L_cons를 더한 형태다. 일관성 패널티는 축 I의 쌍별 확률 갭, 축 II의 세 계층에서 Choice-Noul TV, 축 III의 기권 확률 갭, 축 IV의 범주별 Choice-Noul TV를 직접 겨냥한다.

실험은 보정 전후를 비교한다. In-domain에서 JevK5-2B의 축 I은 G_n+,n−가 0.183에서 0.087로 52.56% 줄고 Choice 정확도는 65.03%에서 79.00%로 13.97%포인트 올랐다. JevK5-4B의 축 II는 D_F가 0.633에서 0.355로 43.95% 줄고 정확도가 95.20%에서 99.65%로 4.45%포인트 올랐다. JevK5-2B의 축 II는 D_M이 0.481에서 0.130으로 73.03% 줄고 정확도가 77.67%에서 98.48%로 20.81%포인트 올랐다. LODO 프로토콜에서는 세 축의 보정 세트로 학습하고 축 IV를 홀드아웃해, JevK5-2B의 TV(p^r,p^n)가 0.439에서 0.182로 58.57% 줄며 원 라벨 정확도가 84.90%에서 87.42%로 2.97%포인트 올랐다. 같은 모델에서 TV(p^d,p^n)는 0.474에서 0.237로 49.98% 줄고 설명 추가 정확도는 86.80%에서 87.90%로 1.27%포인트 올랐다. JevK5-9B도 TV(p^r,p^n)가 0.225에서 0.094로 58.42% 줄고 원 라벨 정확도가 88.02%에서 89.75%로 1.96%포인트 올랐다. 6,000개 테스트 인스턴스 평균으로 추가 지연은 0.75% 수준이라고 보고한다.

개발자에게 이 논문은 Jev류 구조화 결정을 단일 질의 형식의 정확도로만 평가하면 놓치는 실패 모드를 보여준다. 같은 의미를 이진 질의, 역방향 질의, 선택형, 기권 선택지, 설명 붙은 라벨로 바꿔 보며 확률 갭과 하드 라벨 충돌을 모니터링하면, 질의 인터페이스 변화에 대한 취약성을 조기에 잡을 수 있다. 특히 임상 평가나 안전 모더레이션처럼 고위험 결정에 쓸 때, 라벨 세밀도가 높아질수록 불일치가 커지고 설명 추가가 분포를 흔든다는 점을 전제로 벤치마크와 보정 단계를 운영해야 한다. CPRC는 백본 재학습 없이 붙일 수 있지만, 보정용 분할과 (L−1)층 히든 상태·로짓 접근이 필요하다.

논문은 별도의 한계 절을 길게 두지 않지만, 적용 범위는 JevK5-2B·4B·9B와 HaluEval·PKU-SafeRLHF·AbstentionBench·AG News 네 데이터셋에 한정된다. LODO도 축 IV만 홀드아웃 대상으로 삼아 세 축의 보정 세트에서 학습하고 한 축만 일반화로 평가했으며, PCA 차원과 하이퍼파라미터는 보정 분할에서만 고른다. 따라서 다른 모델 계열이나 다른 축을 홀드아웃했을 때의 일반화, 실제 서비스의 전체 지연·비용, 장기 분포 변화까지 검증한 결과는 아니다. 저자들은 이 일관성 렌즈가 고위험 배포 전 신뢰성 감사에 도움이 되기를 기대한다고 결론낸다.