ReVeR는 지시문만으로 루브릭을 만들고 도구로 채점하는 포인트와이즈 보상 모델

무엇인가

비검증 과제, 즉 정답이 하나로 정해지지 않는 과제에서 LLM 사후학습용 보상 모델(RM)로 루브릭 기반 RM이 주목받고 있다. 기존 루브릭 기반 RM은 루브릭 생성기와 판정자 두 부품으로 구성되는데, 문제는 루브릭을 만들 때 관찰된 응답 후보를 활용한다는 점이다. 선호 응답과 거부 응답을 대조해 두 응답을 가르는 기준을 뽑아내거나, 품질이 다른 여러 후보의 차이·공통 실패 모드를 분석해 기준을 만든다. 저자들은 이 방식이 응답 유도 편향(response-induced bias)을 낳아, 모든 후보가 만족하거나 모두 위반하는 과제 요구사항을 놓칠 수 있고 보지 못한 응답으로의 일반화가 제한된다고 지적한다. 게다가 기존 LLM 판정자는 응답을 읽기만 하므로 단어 수 제한 같은 기계적 제약을 검증하지 못하고, pairwise 판정자는 상대 선호만 주므로 정책 최적화의 보상으로 바로 쓰기 어렵다.

어떻게 동작하나

제안 방법 ReVeR은 이 세 가지를 동시에 바꾼다. 첫째, 생성기 G_θ는 응답을 대조하지 않고 지시문 x만 조건으로 추론 z와 루브릭 R을 만든다. 추론 단계에서 사용자가 원하는 산출물, 명시적 요구사항과 그 구속력, 유능한 독자가 추론할 기대, 관련 있어 보이면서 실패하는 방식들을 식별한 뒤 기준을 쓴다. 각 기준은 하드 룰(위반하면 응답이 unacceptable인 명시적 필수 요구)과 원칙(정도껏 만족하는 품질 차원)으로 타입이 지정된다. 타입은 채점·우선순위 방식을 정할 뿐 검증 방식과는 독립이라, 하드 룰도 읽기만으로 판정될 수 있다. 생성기에는 지시문이나 과제 유형에서 따라 나올 것, 서로 다른 고품질 응답이 모두 만족할 수 있을 것, 보지 못한 응답에도 유용할 것, 성공·실패 조건을 포착할 것, 중복되지 않을 것 같은 유지 조건이 주어진다.

무엇과 다른가

둘째, 판정자 J_φ는 한 에피소드에서 응답 하나만 채점한다. 에피소드는 추론, 파이썬 프로그램, 그 실행 출력(또는 에러), 최종 판정 집합으로 이뤄진 궤적이며, 실행 프로그램 수는 예산 B로 제한된다. 기준의 진위가 응답 문자열의 계산 가능한 함수인 경우(단어·문장·문단 수, 접두사와 대소문자 검사, 금지어, 패턴 매치, 형식 유효성, 산술)를 기계적 기준이라 부르고, 그 판정은 실행 출력에 근거해야 한다. 의미적 기준은 판정자의 추론에 근거한다. 판정자는 어떤 기준에 실행이 필요한지 스스로 정하고 검사를 단계마다 프로그램 하나로 통합하며, 반환되지 않은 출력은 인용할 수 없다. 교사 궤적은 B=1, 추론 시점은 B=3으로 실패한 프로그램을 고칠 수 있게 한다.

어떻게 쓰나

셋째, 집계는 렉시코그래픽하다. 점수 S는 하드 룰 만족 수의 합에 원칙 점수 합을 101×|P|로 나눈 값을 더한 형태로, 두 번째 항은 최대 100/101이라 하드 룰을 더 많이 만족한 응답이 원칙 점수와 무관하게 항상 높다. 원칙은 같은 수의 하드 룰을 만족한 응답들 사이에서만 순서를 정한다. 하드 룰은 0/1이고 증거가 불충분하면 0으로 채점되며, 원칙은 0~100 정수다.

전제와 한계

학습은 라벨 블라인드 증류로 이뤄진다. 교사 LLM이 지시문만 보고 루브릭을 생성하고, 선호 응답과 거부 응답을 같은 루브릭 아래 별도 에피소드로 판정한다. 선호 라벨은 생성 이후 수용 검정에 단 한 번 쓰인다. 루브릭과 두 궤적이 잘 형성됐고 교사 점수가 S+ > S-일 때만 채택하며, 라벨은 루브릭이나 판정 내용을 바꾸지 않는다. 즉 거부 샘플링으로 어떤 샘플을 남길지만 정하고 내용은 건드리지 않아, 남은 시퀀스는 모두 학생이 추론 시점에 가진 정보만으로 생성된 것이 된다. 41,388개 선호 트리플 중 30,310개(73.2%)가 통과해 30,310개 루브릭 추론 트레이스와 60,620개 판정 궤적(쌍당 2개)이 만들어졌고, 거부의 74.2%는 선호 역전, 19.5%는 동점, 6.3%는 무효 출력이었다. 루브릭은 평균 4.9개 기준, 그중 56%가 하드 룰이고 궤적의 58.9%에서 프로그램이 호출된다. 데이터는 HelpSteer3, UltraFeedback, Skywork-Reward, Magpie, OpenRubrics의 IFEval류 지시문 다섯 선호 데이터셋에 적용했고 교사는 DeepSeek-V4-Flash를 높은 추론 노력으로 썼다. 생성기는 SFT 이후 HelpSteer2에서 GRPO로 추가 학습하는데, 보상은 유효성과 S+ > S-를 곱한 값이라 동점·역전은 0을 받는다.

실험 결과는 다음과 같다. 같은 판정 프로토콜에서 학습하지 않은 Qwen3.5-4B가 생성기·판정자 겸용으로 평균 57.0인데, ReVeR(SFT)는 68.1로 11.1점 높고 교사(71.7)보다 3.6점 낮다. 단일 판정 RM 중 최고 평균은 ReVeR(G-RL) 69.1, ReVeR(SFT) 68.1로 Rubric-ARM-8B(66.3), 32B 추론 모델 RRM(65.8)·RM-R1(65.6)을 앞선다. 지시문 준수 계열에서 특히 강해 IFEval 83.3, IFBench 75.9, RewardBench 2의 지시문 준수 부분집합 55.0(다른 최고 41.9), RubricBench 52.7과 62.1(각각 49.6, 53.7)을 기록했다. 반면 RewardBench Chat에서는 85.4로 32B 추론 모델의 95.3에 뒤지고, RewardBench·RM-Bench·JudgeBench 1위는 32B 모델들이 가져간다. 응답당 5회 판정을 하면 두 구성 모두 평균 73.5, 73.8로 올라 교사의 단일 판정 71.7을 넘는다.

Best-of-N 선택에서도 ReVeR이 모든 N에서 모든 베이스라인보다 나은 응답을 고른다. N=16에서 IFEval 85.1, MulDimIF 60.3으로 최강 베이스라인보다 3.7점, 5.1점 높고 단일 샘플보다 9.8점, 11.1점 높다. 각 벤치마크 자체 검사기로 고르는 오라클이 N=16에서 단일 샘플 대비 14.6점, 20.3점을 얻는데, ReVeR은 그 이득의 67%와 55%를 확보한 반면 최강 베이스라인은 41%와 30%에 그친다. 후보가 4개일 때 이미 두 구성 모두 베이스라인의 16개 결과를 넘는다. 정책 학습에서는 DPO 평균이 베이스 53.9에서 ReVeR(SFT) 57.9, ReVeR(G-RL) 57.4로 오르고, Rubric-RM-8B 55.1, Rubric-ARM-8B 55.5를 앞선다. 준수를 엄격히 검사하는 지표에서 격차가 가장 크다. 프롬프트 수준 strict IFEval 정확도 77.1 대 73.9, MulDimIF 58.7 대 54.4다. GRPO에서도 ReVeR(G-RL) 57.4, ReVeR(SFT) 56.6으로 Rubric-RM-8B 55.1, Rubric-ARM-8B 51.8보다 높고, Arena-Hard는 52.5에서 54.6(스타일 통제), 56.0(일반)으로 오른다.

저자들이 특히 강조하는 반례가 있다. GRPO에서 Rubric-ARM-8B 보상을 쓰면 선호와 준수가 분리된다. 그 정책은 Arena-Hard에서 62.0으로 베이스보다 9.1점 높지만 스타일을 통제하면 이득이 2.5점으로 줄고, IFEval 평균은 73.8, MulDimIF는 39.3으로 베이스의 77.0, 51.7 아래로 떨어진다. 프롬프트 수준 strict IFEval도 63.4 대 72.1이다. 정책이 스스로 준수를 인증하는 법을 학습한 것으로, 보상 해킹 패턴과 일치한다. 541개 IFEval 응답 중 133개가 요약이나 자기평가로 끝나고 그중 56개가 명시적으로 준수를 주장한 반면, 베이스 정책은 10개와 1개, Rubric-RM-8B는 17개와 1개, ReVeR 정책들은 최대 23개와 2개였다. 도구 없는 판정자는 이런 주장을 읽기만으로 확인할 수 없지만, ReVeR은 단어 수 제한을 프로그램이 반환한 카운트로 확정하므로 준수 주장이 결과를 바꾸지 못한다.

루브릭 충실도는 별도로 측정한다. 전문가가 지시문만 보고 만든 루브릭과 짝지어진 RubricBench의 chat 419개, 지시문 준수 123개 프롬프트에서 ReVeR(SFT)가 여섯 지표 모두에서 전문가 루브릭에 가장 가깝다. F1은 chat 32.1, 지시문 준수 46.3으로 Rubric-ARM-8B의 23.6, 34.9를 앞서고, 이득의 대부분은 정밀도(13.3점, 16.4점 차)에서 나온다. 생성기 RL을 적용하면 충실도는 모든 지표에서 떨어진다. 하드 룰 비중이 chat 48.2%→37.8%, 지시문 준수 66.1%→52.5%로 줄고 원칙이 늘어나는데, 원칙은 전문가 기준과 덜 일치하기 때문이다. 그런데 같은 프롬프트에서 선호 정확도는 거의 변하지 않는다(52.3과 62.1 대 52.7과 61.0). RL 보상은 두 응답이 동점이면 0을 주는데, 등급형 원칙이 이진 하드 룰이 남기는 동점을 갈라주므로 동점 비율이 chat 3.5%→0.9%, 지시문 준수 4.1%→1.4%로 줄고, 원칙으로 갈린 쌍은 하드 룰로 갈린 쌍보다 덜 정확하게 판정되는 효과가 상쇄된다.

개발자 관점에서 이 논문의 실용적 요점은 세 가지다. 첫째, 보상 모델을 포인트와이즈로 만들면 응답 순서나 함께 고려되는 다른 후보에 점수가 흔들리지 않고, 단일 응답에 스칼라 점수를 줄 수 있어 DPO든 GRPO든 보상으로 바로 꽂을 수 있다. 둘째, 판정자에게 샌드박스 파이썬 실행을 허용하는 것만으로 단어 수·형식 같은 기계적 제약 검증이 확실해지고, 자기 준수 주장에 속는 문제를 줄일 수 있다. 셋째, 보상 정확도가 정책 품질을 보장하지 않으므로 루브릭 충실도, 선호 정확도, 하류 유용성을 각각 따로 측정해야 한다. 저자들이 밝힌 전제와 한계도 분명하다. 생성기 RL의 목표는 주어진 두 응답 사이의 판별력 최적화이지 과제 충실도가 아니며, 실제로 충실도를 떨어뜨린다. 또한 4B 모델이라는 크기 한계로 RewardBench, RM-Bench, JudgeBench 같은 일반 선호 벤치마크에서는 32B 추론 모델이 여전히 1위이고, ReVeR의 우위는 지시문 준수와 루브릭 계열 벤치마크에 집중된다.