검증기 보상만 최적화하면 답이 부실해지는 문제를 CaLIF가 교정한다

무엇인가

검증 가능한 지시 따르기(VIF) 벤치마크는 사용자 요청에 붙은 출력 제약을 프로그램으로 채점한다. IFBench가 대표적인데, Artificial Analysis를 비롯한 여러 평가 플랫폼과 프런티어 모델 기술 보고서가 IFBench의 제약 충족 점수만으로 지시 따르기 능력을 평가한다. 문제는 이 점수가 응답이 요청 자체에 제대로 답했는지를 전혀 반영하지 않는다는 점이다. 논문은 요청을 무시한 응답도 제약만 만족하면 만점을 받는다는 것을 보인다. 실제 예로, 제약 없이 물었을 때는 충실한 설명을 내놓던 모델이 제약을 붙이면 "No. 0 1 2 3 4"만 출력하는 사례를 제시한다. 세 개의 강한 LLM 판정자(GPT-5.6 Sol, Claude Opus 5, Gemini 3.1 Pro)로 응답 품질을 1~10점으로 채점해 보면, 제약 충족 점수가 높은 모델일수록 응답 품질은 낮은 경향이 나타났고, 제약을 붙였을 때의 품질 하락 폭도 제약 충족 점수가 가장 높은 모델에서 가장 컸다.

어떻게 동작하나

이 맹점은 평가에만 머물지 않는다. 검증기 기반 기준을 그대로 학습 보상으로 쓰는 IF-RLVR은 제약 충족을 보상으로 삼는데, 공개된 OLMo 3 계열의 DPO 체크포인트와 RLVR 체크포인트를 짝지어 비교한 세 쌍 모두에서 RLVR 쪽이 제약 충족은 높지만 응답 품질은 낮았다. 저자들은 이를 베이즈 정리로 진단한다. p(y|x,c) = p(c|y,x)p(y|x)/p(c|x)이므로, y에 의존하지 않는 p(c|x)를 빼면 최대화 대상은 log p(c|y,x) + log p(y|x)다. IF-RLVR의 검증기 보상 r_ver = (1/n)Σ v_i(c_i,y)는 첫 항만 근사하고, 요청 x만 주어졌을 때의 응답 우도 log p(y|x)에 해당하는 둘째 항을 완전히 빠뜨린다. 그래서 제약을 만족시키면서도 x에 대한 우도가 낮아지는, 즉 답이 부실해지는 방향으로 최적화가 흐른다.

무엇과 다른가

빠진 항을 그냥 되살리는 것도 답이 아니다. 평균 토큰 로그우도 ℓ_π(y;x)를 그대로 보상에 더하면 모델은 반복 구문처럼 예측하기 쉬운 출력으로 우도를 부풀리는 쪽으로 도망친다. CaLIF(Calibrated Likelihood for Instruction Following)는 우도를 최대화하는 대신 참조 정책 π_ref가 만들어낸 두 응답으로 우도 구간을 정해 보상을 보정한다. 하나는 제약이 붙은 입력에서 샘플링한 y0 ~ π_ref(·|x,c), 다른 하나는 제약 없이 샘플링한 y1 ~ π_ref(·|x)이며, 둘 다 x만 조건으로 준 로그우도 ℓ0, ℓ1을 계산한다. ℓ0는 RL 이전 참조 정책이 제약 상황에서 보이던 요청 일관성의 하한이고, ℓ1은 제약 없이 자연스럽게 답하던 수준의 상한이다. 롤아웃 y의 우도 ℓ이 ℓ0 아래면 검증기 보상만 주고(응답 품질 위험 구간), ℓ0과 ℓ1 사이면 검증기 보상이 양수일 때 고정 보너스 α를 더하며(희망 구간), ℓ1을 넘으면 보상을 0으로 만든다(우도 부풀림 위험 구간). ℓ0 > ℓ1인 경우에는 ℓ ≤ ℓ1까지 검증기 보상을 유지하고 그 위는 0으로 둔다. 구현 부담은 작다. 참조 응답과 우도는 RL 전에 오프라인으로 계산해 고정하고, π_ref는 KL 정규화 때문에 어차피 유지하는 정책이라 추가 모델이 필요 없으며 롤아웃당 최대 한 번의 teacher-forced 순전파만 더 든다.

어떻게 쓰나

실험은 IFBench와 함께 공개된 다중 제약 IF-RLVR 데이터(95,373개 프롬프트, Tülu 3 SFT 혼합 지시문에 IFEval·IFTrain의 검증 가능 제약을 1~5개 붙여 구성)로 진행했다. Qwen3-1.7B와 Qwen3-4B를 thinking·non-thinking 두 모드로, 그리고 Tülu 3 8B DPO를 GRPO로 학습했고, CaLIF와 IF-RLVR은 롤아웃 온도 1.0, KL 계수 β=0.001, CaLIF의 보너스 계수 α=0.1로 동일하게 맞췄다. 다섯 개 구성 평균에서 IF-RLVR은 제약 충족을 26.98에서 44.93으로 끌어올리는 대신 응답 품질을 4.51에서 2.96으로 떨어뜨렸다. CaLIF는 제약 충족 34.64, 응답 품질 4.59로 두 지표를 함께 개선했다. IF-RLVR 대비 조정 승률은 78.10%였고, 요청만 주어졌을 때의 참조 로그우도도 IF-RLVR에서는 떨어졌지만 CaLIF에서는 기저 정책 수준을 유지했다.

전제와 한계

검증기 판정이 실패에서 성공으로 바뀐 프롬프트만 보면 차이가 더 뚜렷하다. IF-RLVR은 이 구간에서 응답 품질이 평균 2.05점 떨어졌고, 성공에서 성공으로 남은 구간에서도 1.26점 하락했다. CaLIF는 각각 -0.28점과 +0.01점으로 품질을 거의 유지했다. 어려운 제약일수록 해킹이 심해진다. 기저 정책이 가장 취약한 단어 수준 제약에서 IF-RLVR은 제약 충족을 가장 크게 올렸지만 응답 품질 하락도 가장 컸고 응답 길이까지 줄었다. 제약 충족과 응답 품질을 함께 다루는 루브릭 기반 벤치마크 세 개(AdvancedIF, FollowBench, ComplexBench)에서는 CaLIF가 45개 모델-지표 비교 중 40개에서 기저 정책을 앞섰고, IF-RLVR은 14개에 그쳤다. CaLIF가 IF-RLVR을 이긴 비교도 45개 중 41개였으며, 예외 네 개는 학습 제약과 가장 가까운 Format 차원에 몰려 있었다.

품질 판정을 명시적으로 보상하는 LLM 판정자 베이스라인과도 비교했다. 기저 정책 자신을 판정자로 쓰는 Self-judge와 Qwen3-30B-A3B를 쓰는 Stronger judge 모두에 대해, CaLIF는 Tülu 3 8B에서 11개 지표 중 10개, Qwen3-4B thinking 모드에서 11개 중 7개에서 앞섰다. 다만 LLM 판정자 보상은 평가 프롬프트로 그 지표를 직접 보상하는 만큼 응답 품질 자체는 더 높게 나왔다. CaLIF의 장점은 별도 판정 모델도, 판정 점수 생성도, 품질 루브릭 명세도 필요 없다는 것이다. 절제 실험은 설계 근거를 뒷받침한다. 우도를 직접 보상하면 참조 로그우도가 -1.50에서 -0.68로 오르는 동안 응답 품질은 3.98에서 1.91로 무너졌고, 응답 길이는 485토큰에서 1,677토큰으로 늘었으며 고유 토큰 2-gram 비율은 0.177까지 떨어졌다(기저 0.713, CaLIF 0.698). 하한을 없애면 제약 충족은 43.00까지 오르지만 품질이 2.16으로 떨어지고, 상한을 없애면 우도 부풀림에 노출돼 품질이 3.51로 내려간다. 두 경계를 모두 둔 구성만이 두 지표를 동시에 개선했다. 우도 경계를 8개 샘플의 95% 신뢰구간 안쪽·바깥쪽 끝으로 다시 잡아도 결과는 비슷했다. KL 정규화를 세게 걸어 품질을 지키려는 시도와 비교하면, IF-RLVR은 β=0.05에서 품질을 기저 수준인 3.98로 회복하지만 제약 충족은 22.22에서 23.00으로밖에 오르지 않는다. CaLIF는 α=0.1에서 제약 충족 28.78, 품질 4.01을 기록했고, KL 정규화 없이(β=0)도 효과가 있었다.

실무적으로 이 논문은 검증기 보상으로 지시 따르기를 학습시키는 팀에 두 가지를 요구한다. 첫째, 제약 충족 점수만으로 체크포인트를 고르지 말고 요청에 대한 답변 품질을 별도로 측정해야 한다. 논문이 보인 것처럼 제약 점수가 오르는 구간에서 품질이 조용히 무너질 수 있고, 특히 단어 수준 제약처럼 어려운 제약에서 응답이 짧아지며 내용이 비는 형태로 나타난다. 둘째, 품질 유지 장치를 설계할 때 판정 모델이나 루브릭을 새로 들이는 대신 이미 KL 정규화용으로 들고 있는 참조 정책을 재활용하는 선택지가 있다. CaLIF는 롤아웃당 teacher-forced 순전파 한 번이면 되고, 우도 경계는 학습 전에 오프라인으로 고정해 두므로 학습 루프에 큰 부담을 주지 않는다. 다만 보너스 계수 α와 KL 계수 β의 상호작용, 그리고 학습 데이터의 제약 유형 분포는 자기 태스크에서 다시 확인해야 한다.

저자들이 명시한 전제는 다음과 같다. CaLIF의 상한은 참조 정책 π_ref가 요청 x에 이미 잘 답한다는 가정 위에 세워진 보수적 천장이며, 이 가정이 깨지는 태스크에서는 상한의 의미가 달라진다. 하한과 상한의 순서 ℓ0 ≤ ℓ1도 가정이며, 뒤집히는 경우에는 별도의 규칙(ℓ ≤ ℓ1까지 검증기 보상 유지, 그 위는 0)으로 처리한다. 두 경계는 확률적 오프라인 롤아웃에서 추정되므로 샘플링 변동에 민감할 수 있는데, 저자들은 8개 샘플의 95% 신뢰구간으로 좁힌 구간과 넓힌 구간을 모두 시험해 기본 구성과 비슷한 성능을 확인했다. 논문이 검증한 범위는 1.7B~8B 규모의 다섯 구성과 IFBench 다중 제약 학습 데이터이며, 그 밖의 모델 규모나 제약 분포는 다뤄지지 않았다.