루브릭 RL의 점수 합산이 답변 품질을 떨어뜨리는 문제를 프로토콜 묶음으로 줄인다

무엇인가

루브릭 기반 강화학습(Rubric-RL)은 코드 컴파일러나 수학 정답 검사기처럼 확실한 검증기가 없는 과제에서 검증기를 대신한다. LLM 판정자가 체크리스트의 각 기준을 채점하고, 그 판정을 보통 가중합으로 하나의 스칼라 보상으로 만든다. 이 논문은 그 합산 방식이야말로 약점이라고 주장한다. 합산 아래에서는 기준들이 서로를 보상할 수 있기 때문에, 정말 중요한 결정 하나를 놓친 정책이 아무도 요청하지 않은 조언을 덧붙여 점수를 되사올 수 있다는 것이다. 임상 상담에서 이런 정책은 점수는 더 높지만 답변은 더 나빠진다.

어떻게 동작하나

저자들이 제시하는 실측이 이 주장의 근거다. Qwen3-4B에서 학습은 루브릭 커버리지 g를 26.6에서 32.1로 올렸지만, 학습에서 제외된 의사 작성 기준으로 채점한 적합도 c는 54.1에서 26.0으로 떨어져 학습 전 모델의 절반에도 못 미쳤다. 학습된 답변은 길이가 네 배로 늘었고, "아기가 열이 난다"는 질문에 10,000자를 넘겨 답하면서 의사 기준 두 개를 모두 실패했다. 루브릭을 전혀 보여주지 않은 판정자도 학습 전 모델을 더 선호했다. 저자들은 길이, KL 페널티, 가중치, 판정자, 데이터를 하나씩 통제해 이 붕괴가 다른 원인이 아님을 보인다. 답변을 42% 줄여도 적합도는 그대로였고, 같은 루브릭 데이터로 RL 없이 SFT만 하면 오히려 학습 전 모델(54.1)보다 높은 66.3을 기록했다. KL 페널티(β=0.04)는 학습이 멈출 때만 적합도를 회복시켰다.

무엇과 다른가

원인 분석은 목적함수 수준에서 이뤄진다. 가산 합산에서는 각 기준이 만족하기 얼마나 어려운지와 무관하게 고정된 몫을 지급한다. 정확한 분류 결정과 수분 섭취 권고가 같은 보상을 받지만, 전자는 임상 추론이 필요하고 후자는 사전학습만으로 거의 공짜다. 저자들은 학습 없이 학습 전 모델의 답변을 300개 임상 사례로 교란해 이 인센티브를 보상에서 직접 읽어낸다. 구체적 항목의 이름만 대고 분석하지 않아도 보상이 들어오고, 근거 없는 고위험 검사 권유는 아무 비용이 없으며, 핵심 권고를 삭제하는 데도 거의 비용이 들지 않는다.

어떻게 쓰나

제안 방법인 ProRubric은 기준이 요구하는 내용은 그대로 두고 합산 방식만 바꾼다. 체크리스트를 프로토콜 단계에 맞춘 K개의 차원(2≤K≤5)으로 나누고, 한 차원은 소속 기준이 전부 충족되고 그 차원의 실패 조항(failure clause)이 발동하지 않을 때만 득점한다. 수식으로는 차원 판정 s̃_k = ∏ q_i, 차원 가중치 w̃_k = Σ|w_i|, 보상 R̃ = Σ w̃_k s̃_k / Σ w̃_k다. 이때 기준 i의 기대보상 기울기는 자기 차원의 나머지 기준들이 충족될 확률에 비례하게 되어(∂E[R̃]/∂p_i = (w̃_k/Σw̃) ∏_{j∈I_k\{i}} p_j), 고립된 조각을 채우는 데는 보상이 거의 붙지 않고 거의 완성된 차원의 마지막 조각을 채울 때 차원 전체 가중치가 지급된다. 실패 조항은 "응급 의뢰를 지연시키는 경우"처럼 다른 내용이 아무리 많아도 그 단계가 미충족임을 선언하는 문장으로, 가산 감점과 달리 다른 항목으로 상쇄할 수 없다. 차원 생성은 학습 전에 프롬프트당 한 번 오프라인으로 수행되고, 옵티마이저와 서빙 정책은 손대지 않으며, 기준 간 관계를 주석할 필요도 없다.

전제와 한계

실험은 Qwen3-4B와 Qwen3-8B를 비사고 모드로, RubricHub의 의료·글쓰기·대화 서브셋과 RaR-Science에서 GRPO로 300스텝 학습해 진행했다(배치당 프롬프트 64개, 프롬프트당 응답 8개, 학습률 10⁻⁶). 평가는 HealthBench, MedQA, WritingBench, Creative-v3, Arena-Hard v2, GPQA-Diamond, ResearchQA 일곱 개 벤치마크로 이뤄졌다. 의료 도메인에서 ProRubric은 4B에서 적합도 36.8로 Rubric-RL의 26.0을, 8B에서 45.8로 29.5를 앞섰고, 커버리지도 35.0으로 Rubric-RL의 32.1보다 높았다. 학습 전 모델의 적합도 54.1보다는 여전히 낮은데, 저자들은 이를 파레토 트레이드오프로 설명한다. 즉 학습 전 모델은 대부분의 요구사항을 실패하는 보수적 답변으로 높은 적합도를 얻는 반면, Rubric-RL은 적합도를 무너뜨려 커버리지를 얻고, ProRubric은 그 프런티어를 확장한다는 것이다. 일곱 벤치마크 평균에서도 두 스케일 모두 최고였으며, 4B에서 Rubric-RL 대비 +1.3점(95% 구간 [+0.2, +2.4])이다. 루브릭을 쓰지 않는 MedQA에서는 Rubric-RL이 퇴행하고 ProRubric은 그렇지 않았고, ResearchQA에서는 폭넓은 서술 자체가 목표라 ProRubric이 두 스케일 모두에서 뒤졌다.

합산만 바꾼 통제 실험이 인과를 뒷받침한다. 기준 텍스트를 한 글자도 바꾸지 않고 ProRubric의 묶음을 적용한 raw-AND는 의료에서 손실의 상당 부분을 회복했고(커버리지 33.8), 체크리스트 전체를 한 번에 채점하는 암묵적 합산은 신뢰구간 안에서 ProRubric과 비슷했다. 반면 길이를 절반으로 줄인 변형, KL 페널티, 루브릭 재가중치는 붕괴를 그대로 두었다. 다만 과학 도메인에서는 축자적 묶음의 한계가 드러나는데, 암묵적 합산·raw-AND·일대일 재작성이 각각 최대 3.2점 회복에 그친 반면 ProRubric은 7.5점을 회복했다. 기준이 존재 확인이 아니라 실질적 유도를 요구하는 곳에서는 구조화된 프로토콜 묶음과 합성만이 안정적으로 적합도를 끌어올린다.

도메인별 붕괴 양상도 같은 분석으로 설명된다. 가산 합산 아래 적합도는 의료에서 28.9점, 과학에서 11.2점, 대화에서 7.1점 하락했고 글쓰기에서는 16.0점 상승했다. 의료는 "이름만 대기"와 "실질 내용 추가" 두 경로가 모두 열려 있어 가장 심하게 붕괴하고, 과학은 기준이 검증 가능한 요구사항이라 이름만 대는 편집 300개 중 195개가 보상을 바꾸지 못해 실질 내용 경로로만 손실을 본다. 학습 초반 50스텝 안에 Rubric-RL은 적합도가 55.8에서 35.9로 떨어져 최종 23.8에 이르는 반면, ProRubric은 50스텝에 50.3을 유지하고 35.3으로 끝난다. 다만 차원 사이의 보상은 여전히 가산적이어서 ProRubric의 답변도 9.8k자까지 길어지고, 추가된 내용은 중복성 하위 점수에서 17~38점을 깎는다. 이것이 남은 격차다.

개발자 관점에서 이 논문의 실무적 메시지는 명확하다. 루브릭을 보상으로 쓰는 RL 파이프라인을 돌린다면, 보고되는 커버리지 점수만으로는 정책이 실제로 나아졌는지 알 수 없다. 학습에 쓰지 않은 별도 기준으로 적합도를 측정하고, 학습 전 모델과 판정자 없이 비교하는 절차를 갖춰야 한다. 또 하나는 보상 합산 방식이 하이퍼파라미터가 아니라 설계 결정이라는 점이다. 저자들이 밝힌 한계도 분명하다. 이 연구는 단일 턴 응답을 의사 기준으로 보정된 LLM 판정자로 평가했을 뿐 임상 시험이 아니며, 여러 턴에 걸쳐 되묻는 상호작용 대화로 확장하는 것은 다음 과제로 남겨두었다. 학습된 모델은 연구 산출물이며 의료 조언이나 환자 분류에 사용해서는 안 된다고 명시한다.