LatentGRM이 보상모델 평가를 잠재 공간으로 압축해 판정 비용을 7배 줄인다

무엇인가

생성형 보상 모델(GRM)은 응답 평가를 언어 생성으로 다루기 때문에, 정확성·지시 준수·명료성 같은 여러 기준을 토큰 단위로 하나하나 서술하다 보면 평가 궤적이 길어지고 자기회귀 디코딩 비용이 커진다. 루브릭 기반 보상 모델링은 판단을 명시적 기준으로 분해해 품질을 높이지만, 테스트 시점에 기준을 전부 텍스트로 생성해야 해서 비용 문제가 더 심해진다. 이 논문이 던지는 질문은 이것이다. 다기준 평가에 필요한 정보를 유지하면서 중간 계산을 더 압축된 형태로 수행할 수 있는가.

어떻게 동작하나

제안하는 LatentGRM은 루브릭 구조를 압축 경계의 안내자로 쓰는 잠재 평가 프레임워크다. 평가 입력은 (요청, 루브릭, 응답 A, 응답 B)이고, 학습 데이터에는 교사 평가 궤적과 선호 레이블이 함께 있다. 기존 명시적 판정자는 [입력, thinking, 평가 텍스트,, 선호]를 생성하지만, LatentGRM은 평가 텍스트를 소수의 연속 상태 z1…zN으로 대체한다. 구조는 Latent-SFT의 어휘 공간 증류 2단계 틀을 따르되, 고정 비율 분할을 의미 기반 분할로 바꾼 것이 핵심 차이다.

무엇과 다른가

1단계는 인코더-디코더 목표로 잠재 압축을 학습한다. 평가 궤적을 N개 구간으로 나누는데, 루브릭이 자연스럽게 만들어내는 준수 점검·기준별 분석·최종 종합이라는 구조를 이용해 각 루브릭 블록에 잠재 예산을 정확히 할당하고, 그 안의 경계는 문장·절·의존 관계 단서로 다듬는다. 경계 위치에서 인코더가 만든 은닉 상태를 디코더의 고정 어휘 출력 투영에 통과시켜 전체 어휘 분포를 얻고, 상위 K개 항목만 남겨 재정규화한 뒤 디코더의 입력 임베딩 테이블로 가중 혼합해 연속 상태 z_i를 만든다. 이 z_i는 토큰 임베딩의 연속 혼합이므로 디코더 입력열에 그대로 삽입할 수 있고, 디코더는 남은 평가 텍스트와 최종 선호를 복원하도록 학습된다. 학습 후 인코더는 (상위 K 인덱스, 재정규화 가중치) 쌍을 2단계의 희소 타깃으로 내보낸다.

어떻게 쓰나

2단계는 판정자가 이 분포를 자기회귀적으로 예측하고 마지막에 선호를 출력하도록 훈련한다. 타깃 확률에 Gumbel 노이즈를 더해 재정규화한 섭동 타깃을 쓰는데, 이 확률적 교란은 결정적 교사 타깃에 과적합되는 것을 막고 추론 시 다양한 잠재 궤적을 만들어 투표에 활용하게 한다. 손실은 각 섭동 잠재 타깃에 대한 KL 항과 완성된 궤적에서 종료 표시·선호 레이블·EOS를 예측하는 교차엔트로피 항의 합이다. 추론 시 판정자는 자기 예측을 다시 입력으로 되먹이며,가 나오면 잠재 생성을 멈추고 선호를 그리디로 디코딩한다. 저자들은 이 소프트 임베딩 피드백을 지원하도록 vLLM을 확장해 연속 배칭·KV 캐싱·텐서 병렬화를 유지했다. 별도로 Latent Trace Interpreter(LTI)가 저장된 궤적에서 평가 텍스트를 복원하는데, 이는 온라인 판정 경로 밖에서 오프라인으로만 동작한다.

전제와 한계

실험은 OpenRubrics 학습 레코드 35,612건으로 훈련하고, RewardBench Chat·Chat Hard, PPE-IFEval, IFBench, RM-Bench Chat, RewardBench 2 Precise IF·Focus, HelpSteer3 등 8개 도메인(Avg.-8)에서 평가했다. 주 비교 대상은 같은 데이터와 Qwen3-4B/8B 백본으로 SFT한 명시적 Rubric-RM이다. vote@5에서 LatentGRM은 Avg.-8 기준 4B 67.8, 8B 69.0으로, 명시적 Rubric-RM의 67.0, 68.1과 비슷하거나 약간 앞선다. 가장 큰 격차는 Focus로 +6.0, +6.4점이다. 나머지 7개 도메인에서는 Chat Hard와 IFBench가 양 스케일 모두 LatentGRM에 유리하고, RewardBench Chat은 Rubric-RM이 앞서며, Precise IF는 4B와 8B에서 방향이 바뀐다. PPE·RM-Bench Chat·HelpSteer3는 0.4점 이내 차이다. 투표를 쓰면 Avg.-8이 4B에서 65.6→67.8, 8B에서 66.7→69.0으로 오른다. 의미 기반 분할을 고정 비율 분할과 비교한 절제 실험에서는 vote@5 기준 Chat Hard +2.2, Precise IF +3.9, Focus +1.7점을 얻고 Chat은 0.7점 떨어져 4개 도메인 평균이 1.8점 올랐다.

루브릭 개입 실험은 압축된 궤적이 기준 의존적 선호 정보를 실제로 나르는지 확인한다. RewardBench 398쌍(198 Chat, 200 Chat Hard)에 대해 기준 하나만 바꾼 루브릭을 만들어, 궤적의 0~100% 지점마다 두 응답 레이블의 로그 오즈 차이를 측정했다. 기준 개입은 궤적 끝에서 평균 로그 오즈 변화 4.58을 보였고, 표현만 바꾼 통제 조건보다 후반부에서 훨씬 컸다. 평가 프롬프트를 고정하고 잠재 임베딩만 교체한 실험에서도 기준 개입 소스의 영향이 끝점에서 2.75까지 커져, 프롬프트가 같아도 기준 정보가 잠재열을 통해 전달됨을 보였다. 효율은 vote@5에서 생성 위치 수를 8.87~9.23배 줄여, 일반 Transformers 기준 8.17~8.82배, vLLM 기준 6.11~6.95배 속도를 냈다. vote@9에서는 6.9~7.8배다. 두 판정자의 생성 길이를 정확히 50으로 맞춘 통제 실험에서는 런타임 차이가 1.017배에 그쳐, 잠재 추론이 스텝당 추가 비용을 만들지는 않는다는 것을 보였다.

LTI 복원 실험은 607개 레코드, 9,992개 기준(그중 9,768개가 명시적 상태 보유)에서 수행됐다. 기준 상태 Macro-F1은 프롬프트만 줄 때 40.20, 은닉 상태 재생 69.42에서 LTI가 98.93으로 끌어올렸고, Vector Exact는 18.61과 33.03에서 93.98로 올랐다. 프롬프트만 쓰는 조건이 ROUGE-L 63.36을 기록하면서도 상태 Macro-F1은 40.20에 그친 것은, 어휘 겹침만 보면 기준 상태 오류를 놓친다는 뜻이다. 복원된 평가의 하류 유용성도 확인했다. 동결된 Qwen3-8B Base 수정자에게 240개 RewardBench Rubric 예시를 주는 실험에서 프롬프트만 주면 Full이 34.17%였는데, 명시적 Rubric-RM 피드백은 56.67%로 올렸고, 잠재 피드백만 넣어도(수정자 적응 없이) Repair +9.25점, Full +7.50점을 얻었다. LTI 복원 피드백은 Repair 80.49%, Regression 1.86%, Full 57.50%, 기준 충족률 90.12%로 모든 지표에서 가장 좋았고, 명시적 피드백의 Regression 4.65%보다 낮았다.

실무 관점에서 이 논문은 판정자 추론 비용이 병목인 파이프라인, 예를 들어 대규모 응답 선별이나 정책 최적화용 보상 신호 생성에 직접 적용할 만한 방법과 수치를 준다. 다만 도입 전에 확인할 점이 있다. 첫째, 정확도 이득은 도메인별로 갈린다. Focus와 Chat Hard에서는 이기지만 Chat은 명시적 판정자보다 낮고 Precise IF는 투표 예산에 따라 방향이 바뀐다. 둘째, 보고된 6~7배 속도 향상은 vLLM을 소프트 임베딩 피드백 지원으로 확장한 구현에 의존하므로, 자체 서빙 스택에서 같은 이득이 나오는지는 별도 검증이 필요하다. 셋째, LTI 복원 품질 수치는 교사가 만든 궤적에서 측정된 것이고, 저자들도 회고적 해석을 온라인 판정 경로에서 제외했다고 명시했다. 논문은 별도의 한계 절을 두지 않았고, 명시적 SFT 판정자와 학습 데이터·백본을 맞춘 조건에서의 비교라는 전제 위에서 결론을 내린다.