ReMaRk가 여러 응답자를 하나로 묶어 GRPO 추천 학습 비용을 줄인다
Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders
무엇인가
Reddit에 "Arrival 같은 머리 아픈 SF, 액션 위주는 싫어요"라고 추천을 요청하면 여러 사람이 각기 다른 작품을 답한다. LLM 추천기를 이런 스레드로 강화학습(RL)할 때, 생성된 리스트는 어느 답변에 대해 보상받아야 하는가. 기존 최고 레시피인 Rank-GRPO는 학습 예시마다 응답자 한 명을 골라 그 사람이 언급한 제목에만 보상을 준다. 그런데 응답자들은 거의 일치하지 않고 대부분의 제목은 한 사람만 언급하므로, 좋은 리스트도 어떤 응답자가 뽑혔는지에 따라 점수가 오르내린다. 논문은 이 불일치가 주석 오류가 아니라 정당한 변이인데도 추정량이 그것을 노이즈로 바꾼다고 본다. 실제로 응답자 추출이 advantage 분산의 85%를 차지하고, 8개 리스트를 비교할 때 절반 이상의 경우 모든 리스트가 같은 점수를 받아 아무것도 배우지 못한다.
어떻게 동작하나
저자들의 첫 번째 논거는 응답자를 적분해 없애는 것이다. 요청 x의 응답자 r을 균일분포로 두면 위치 k의 기대 보상은 e_k(L;x)·p̂_{L_k}(x)가 된다. 여기서 p̂_i는 항목 i를 언급한 응답자 수를 전체 응답자 수 n_x로 나눈 값이다. 즉 요청마다 n_x개였던 학습 행이 하나의 예시로 합쳐지고, 보상이 어떤 응답자가 뽑혔는지에 더 이상 의존하지 않는다. Proposition 1은 advantage 스케일이 고정되어 있을 때 이 치환이 기대 업데이트를 바꾸지 않으면서 분산 항 하나를 제거한다는 것, 즉 Rao–Blackwellization임을 보인다.
무엇과 다른가
문제는 GRPO의 per-group scaling이다. Proposition 2에 따르면 G=8일 때 0/1 보상은 위치마다 그룹 표준편차로 나눠도 상수 대비 1.51배 이내로 묶이지만, 1/n_x 간격 격자 위의 소수(fractional) 보상은 한 응답자의 표를 n_x배까지 증폭할 수 있다. 응답자 40명 중 한 명만 언급한 항목을 맞힌 그룹은 표준편차가 아주 작아서, 그 한 표가 40명 전원이 언급한 항목을 맞힌 것과 같은 advantage를 받는다. 논문은 길이 제어 없이 Llama-3.2-3B에서 평균 보상과 per-group scaling을 결합했을 때 KL이 0.6에서 47로 치솟으며 발산했다고 보고한다(약 850스텝). 그래서 ReMaRk는 0/1 보상을 유지하는 쪽을 택한다.
어떻게 쓰나
ReMaRk(Responder-Marginalized Rank-level RL)의 실제 설계는 이렇다. 요청의 응답자 중 누구든 언급한 제목이면 보상을 주되, 여러 명이 언급해도 min(c_i,1)로 잘라 합집합을 만든다. Rank-GRPO의 0/1 보상과 per-group scaling은 그대로 두고, 보상에서 응답자 추출만 제거하며, 요청을 응답자당 한 번이 아니라 균일하게 샘플링한다. 학습 요청 전체에서 합집합 항목의 89%는 응답자별 hit을 단순 합한 값과 일치한다. 저자들은 이 합집합이 Proposition 1의 marginal이 아니라고 명시한다. 한 명이 언급한 항목과 모두가 언급한 항목을 똑같이 채점하므로 목표 자체가 바뀌고, per-group scaling 아래에서는 불편성과 분산 한계가 그대로 이어지지 않는다. 이론적 정당성 대신 실용적 설계로 제안하고 이득은 실험으로 입증한다. 나머지 학습 설정은 동일하다(G=8, 스텝당 48개 요청, 2000스텝, TRL과 vLLM 롤아웃, 320토큰 캡·Reddit-Books 384의 길이 제어).
전제와 한계
실험은 7개 백본(Qwen3.5 2B·4B·9B·35B-A3B MoE, 포스트트레이닝된 Qwen3.5-27B, Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct)과 3개 데이터셋(Reddit-v2, Reddit-Books, Reddit-Music)에서 이뤄졌다. 10개 백본·데이터셋 조합 전부에서 ReMaRk는 Rank-GRPO의 2000스텝 검증 R@20에 25~53%의 스텝으로 도달했고, 2000스텝 시점에서 0.8~1.6 포인트 앞섰다. 양쪽 모두 더 이상 개선되지 않을 때까지 학습한 7쌍에서는 테스트 성능이 유의하게 뒤진 적이 없고, 4쌍은 Rank-GRPO 최고치를 18~63%의 GPU-hours로 달성했다. 반대로 9B와 Reddit-Books에서는 Rank-GRPO의 검증 피크가 0.08~0.36 포인트 더 높았는데 이는 유의하지 않다. Llama-3.2-3B에서 ReMaRk 2000스텝은 15.8k 스텝 학습된 공개 Rank-GRPO 체크포인트에 0.09 포인트 차이로 따라붙었다(23.56 대 23.65).
분해 실험은 이득의 출처를 좁힌다. Rank-GRPO 자체 업데이트를 정확히 Rao–Blackwellize하면 +0.93 [+0.83, +1.04]가 오르고, 평균 보상에 per-group scaling을 적용한 변형은 ReMaRk와 사실상 동등하다(−0.08 [−0.45, +0.29]). 즉 이득은 집계 방식이 아니라 응답자를 pooling한 데서 나온다. 배치 수준 스케일링에서는 ReMaRk가 +0.80~+1.47 포인트 앞서고, 길이 제어의 유효 가중치를 Rank-GRPO에 맞춰도 +1.18 [+0.73, +1.61]이 남는다. 리스트를 2배로 늘리거나 스텝당 요청을 2배로 늘리거나 DAPO식 무신호 그룹 필터링을 적용해도 격차는 좁혀지지 않는다. 같은 원리는 ProtoQA(질문당 약 100명이 응답)에서도 통했는데, 250스텝에 응답자별 recall@10이 +3.67 [+2.64, +4.69] 올랐고 합집합은 그 기준선의 최고 검증 recall에 42% 스텝으로 도달했다. 테스트 합집합 항목의 92~95%는 한 명만 언급한 항목이며 ReMaRk는 모든 설정에서 그 항목을 더 많이 회수했다(2B~9B 2.1~2.4 포인트, Reddit-Books 0.8, Reddit-Music 1.3). 응답자를 보지 않는 두 LLM 계열의 블라인드 판정자도 9B ReMaRk 리스트를 선호했고, 정밀도 지표에서도 손해가 없었다. 전체 학습·평가에 최소 4,423 B200 GPU-hours가 쓰였다.
개발자 관점에서 이 논문의 실무적 매력은 변경 범위가 좁다는 점이다. 학습 행을 만드는 방식과 채점 방식만 바뀌므로, 주석자·응답자당 한 행을 쓰는 GRPO 데이터라면 모델 구조나 학습 루프를 건드리지 않고 적용할 수 있다. 다만 적용 전에 확인할 것이 있다. 요청당 응답자가 1명인 데이터셋(ReDial, INSPIRED)에서는 ReMaRk가 Rank-GRPO로 축소되어 이득이 없다. 소수 보상과 per-group scaling의 조합은 발산 위험이 있으니 0/1 합집합 보상을 유지해야 한다. ReMaRk는 일찍 피크를 찍고 하락할 수 있어 검증 기반 체크포인트 선택이 전제이며, 하이퍼파라미터는 Rank-GRPO에서 그대로 옮겨왔을 뿐 ReMaRk용으로 튜닝하지 않았다.
저자들이 밝힌 한계는 다음과 같다. 범위 측면에서 모든 집계 방식은 응답자가 1명인 요청에서 응답자별 보상과 같아지므로, 추천자가 하나뿐인 데이터셋에서는 가치가 사라지고 여러 응답자가 있는 요청의 비중이 클수록 이득이 커진다. 데이터는 세 개 모두 Reddit에서 왔고 Reddit-Books와 Reddit-Music은 LLM 추출과 카탈로그 그라운딩에 의존한다. 지표와 보상이 같은 목표를 공유한다는 점도 인정한다. 보상이 적분하는 바로 그 응답자 집합에 대해 recall을 재기 때문에, 응답자가 언급하지 않은 수용 가능한 항목은 모든 방법에서 과소 계산된다. 예산과 선택에서는 비교가 2000스텝에서 멈추지만 공개 Rank-GRPO 체크포인트는 15.8k 스텝 학습된 것이고, Reddit-Books와 9B에서는 ReMaRk가 Rank-GRPO의 검증 피크에 도달하지 못한다. 장기 학습에서 두 방법 모두 불안정해 속도 이득은 검증으로 체크포인트를 고르는 데 의존하며, 여러 백본은 시드가 하나뿐이다. 이론적으로는 Proposition 1과 3이 ReMaRk가 실제로 쓰는 per-group scaling 아래에서는 적용되지 않고, 모든 명제가 고정 정책에서의 한 번의 업데이트를 기술할 뿐 학습 동역학을 설명하지 않는다. 윤리 항목에서는 합집합 보상이 꼬리 항목보다 인기 항목의 recall을 더 많이 올려 인기 편향을 키울 수 있다고 덧붙인다.