MetaRubric이 근거 없는 루브릭 점수를 정책 학습에서 제거한다

무엇인가

루브릭 기반 강화학습은 정답이 하나로 정해지지 않는 개방형 과제에서 응답의 개별 요구사항마다 부분 점수를 주는 방식이다. 문제는 심사 모델이 응답에 요구 정보나 행동이 아예 없는데도 해당 기준을 충족했다고 높은 점수를 주는 경우다. 논문은 이를 Vacuous Credit, 즉 공허한 점수라고 부른다. 예를 들어 환자가 스텐트 시술 후 검진 주기와 지역별 차이를 묻는 상황에서 루브릭은 모델이 환자의 위치를 되물을 것을 요구하는데, 모델은 지역마다 지침이 다르다는 말만 하고 검진 주기도 제시하지 않았다. 그런데도 심사 모델은 위치 확인 기준을 충족으로 표시했다. 저자들은 이를 기준 서술이 모호해 어떤 관찰 가능한 증거가 필요한지 정의되지 않는 문제와, 응답에 없는 내용에 점수를 주는 지원되지 않는 판정 문제로 나눈다.

어떻게 동작하나

이 실패가 실제 학습을 망친다는 근거는 세 갈래다. 첫째, Qwen3-8B를 HealthBench에서 GPT-4o-mini 또는 GPT-5.4-mini를 보상 심사로 삼아 학습시킨 결과 학습 보상은 올라가는데, GPT-5.5와 Gemini 3.5 Flash, DeepSeek-V4-Pro 세 심사가 만장일치로 인정한 기준만 세는 평가 점수는 오히려 하락했다. 둘째, 학습 중 정답 판정을 받은 롤아웃 1,000개에 GPT-5.5로 필수 내용 삭제 편집을 가한 뒤 다시 채점했더니, GPT-4o-mini는 대상 기준 점수의 82.0%를, GPT-5.4-mini는 69.8%를 삭제 후에도 그대로 부여했다. 셋째, GRPO는 롤아웃 그룹 안에서 상대적 이점을 계산하므로 잘못된 점수 하나를 바로잡는 것만으로 어떤 응답의 이점 부호가 뒤집힐 수 있다. 필수 행동을 생략한 응답이 그것을 수행한 응답과 같은 보상을 받고 더 큰 이점을 얻어 강화될 수 있다는 뜻이다.

무엇과 다른가

MetaRubric은 안쪽 루프의 증거 인식 정책 최적화와 바깥쪽 루프의 루브릭 적응을 번갈아 수행한다. 먼저 각 프롬프트를 과제 관련 사실 하나만 바꾼 반사실 프롬프트와 짝지어, 어떤 요구사항이 어떤 사실에 의존하는지 드러낸다. 각 기준에는 두 프롬프트 사이에서 불변인지, 목표나 가중치, 적용 여부가 달라지는지를 기록하는 대응 레이블을 붙인다. 심사 모델은 기준마다 세 점수를 낸다. 요구사항이 충족됐는지 보는 충족도, 응답이 요구 정보나 행동을 담고 있는지 보는 포함도, 그 충족이 응답과 과제가 허용한 근거로 뒷받침되는지 보는 지원도다. 기준 점수는 이 셋의 최솟값으로 정해지므로 필수 내용을 빼면 충족 판정과 무관하게 점수가 떨어진다. 여기에 응답 전체의 주장이 뒷받침되는지를 보는 상한과 관련성·일관성·간결성의 최솟값인 품질 계수를 곱해 루브릭 보상을 만든다. 별도로 Qwen3-1.7B 리더 모델이 응답만 보고 루브릭 기준의 참조 답에서 생성된 4지선다 문제를 푸는 보조 QA 보상을 더하는데, 질문과 선택지만으로는 답할 수 없는 문항만 남겨 응답에 실제 정보가 있어야만 맞힐 수 있게 했다. 두 보상의 가중합을 GRPO로 최대화한다.

어떻게 쓰나

각 학습 단계가 끝나면 바깥 루프가 루브릭을 두 단계로 고친다. 먼저 오류 기반 가중치 적응이다. 기준을 심각도 등급과 대응 레이블 조합으로 묶고, 그룹별 로그 가중치를 평균 오류 대비 초과 오류에 비례해 조정한다. 이때 심각도 순서를 뒤집지 못하게 하고, 조정 폭을 인접 등급 간 최소 로그 간격으로 제한하며, 평균 조정을 0으로 맞춰 전체 보상 규모가 아니라 상대적 강조만 바꾼다. 다음으로 의미 고정 루브릭 수정이다. 원래 프롬프트의 초기 루브릭을 의미 기준점으로 삼아 모호하거나 어긋난 기준 서술 하나를 다시 쓰고, 필요하면 대응 레이블도 갱신한다. 수정안은 홀드아웃 검증 응답에서 참조 패널과의 일치도가 일정 폭 이상 개선되고, 별도 의미 검토에서 원래 요구사항을 보존한다고 확인될 때만 채택된다.

전제와 한계

실험은 텍스트 의료 QA인 PubMedQA와 HealthBench-Hard, 멀티모달 진단·시각 QA인 MMOral-X와 MMOral-OPG에서 이뤄졌다. 베이스라인은 정적 심사를 쓰는 GRPO와 DAPO, Dr. GRPO, GSPO이고, 백본은 Qwen3-4B와 Qwen3-8B, 그 비전 버전, Gemma-e2b다. 정적 심사 GRPO 대비 21개 모델군·지표 비교 전부에서 개선됐고, 19개에서는 학습 기법 중 최고 점수였다. PubMedQA 정확도는 Qwen3-4B가 6.00, Qwen3-8B가 6.80, Gemma-e2b가 20.40퍼센트포인트 올랐다. 개방형 벤치마크 이득은 1.29~3.82점으로, HealthBench-Hard가 2.46~3.19, MMOral-X가 1.29~2.13, MMOral-OPG가 3.09~3.82다. 보조 QA 정확도도 GRPO 대비 3.23~5.68퍼센트포인트 올라, 리더가 응답에서 과제 관련 정보를 더 많이 복원할 수 있게 됐음을 보였다.

절제 실험에서 기준 서술과 가중치를 모두 고정하면 성능 하락이 가장 컸다. HealthBench-Hard에서 3.17점, MMOral-OPG에서 4.40점 떨어졌다. 서술 수정은 HealthBench-Hard에서, 가중치 적응은 MMOral-OPG에서 더 큰 영향을 줬다. 증거 확인을 빼면 보조 QA와 반사실 짝짓기를 유지하고도 1.22점과 2.59점이 떨어졌다. 학습 중 기준 수정 비율은 HealthBench 45.2%, PubMedQA 29.8%, MMOral-RL 60.6%였고, 기준 서술 길이는 각각 5.5단어와 3.9단어, 5.6단어, 비율로는 13.5%와 27.3%, 33.1% 늘었다. 최종 루브릭만으로 처음부터 다시 학습시키면 HealthBench-Hard는 8.83에서 9.04로, MMOral-OPG는 20.59에서 21.78로 오르는 데 그쳐, MetaRubric의 13.02와 26.35 대비 각각 이득의 5.0%와 20.7%만 회복했다. 저자들은 이를 루브릭을 정책의 변화하는 오류에 맞춰가는 순서 자체가 학습 절차의 가치 있는 일부라는 근거로 해석한다.

실무에서 루브릭이나 LLM 심사로 보상을 만들고 GRPO 계열로 파인튜닝한다면, 보상이 오르는 것을 성능 향상으로 읽으면 안 된다는 경고로 읽을 수 있다. 특히 의료나 법률처럼 빠뜨리면 안 되는 질문이나 행동이 있는 과제에서는 심사 모델이 그 내용이 없어도 점수를 주는지 삭제 테스트로 확인해야 한다. MetaRubric의 구성 요소는 그대로 쓸 수 있는 체크리스트이기도 하다. 기준마다 충족·포함·근거를 분리해 최솟값을 쓰고, 응답 전체의 근거 상한과 품질 계수를 곱하고, 심사와 독립적인 독해 기반 QA 보상을 섞고, 프롬프트 사실 하나를 바꾼 반사실 짝으로 사실 의존성을 검증하는 식이다. 루브릭 자체를 학습 중에 고치는 경우에는 홀드아웃 검증과 의미 보존 검토를 통과한 수정만 받아들이는 절차가 필요하다.

논문이 명시한 전제와 한계도 분명하다. 최종 루브릭만으로 재학습하면 성능의 일부만 회복되므로, 이 방법의 효과는 적응 절차 전체에 걸쳐 있고 루브릭만 배포해서는 재현되지 않는다. 기준 점수는 여전히 심사 모델의 해석에 의존하며, 이를 보완하는 보조 QA 보상도 학습 전에 고정된 문항 은행을 전제로 한다. 루브릭 수정은 참조 패널과의 일치도 개선과 의미 검토를 통과해야 채택되므로 홀드아웃 검증 세트와 별도 심사 체계를 갖춰야 한다. 가중치 적응은 심각도 순서와 조정 폭, 평균 0 제약 아래에서만 이뤄지고, 수정 비율도 과제에 따라 29.8%에서 60.6%까지 크게 달라진다. 실험은 의료 도메인 네 개 벤치마크에 한정돼 있다.