DecisionRank가 생성형 교사의 순위 지식을 단일 토큰 점수로 증류한다

무엇인가

이 논문은 생성형 LLM 기반 listwise 재정렬기의 추론 지연을 줄이면서 순위 품질을 유지하는 문제를 다룬다. RankGPT 같은 방식은 후보 문서 식별자를 자기회귀적으로 생성하므로 후보가 많을수록 디코딩 비용이 커진다. 반면 Decision 모델이나 FIRST 같은 단일 토큰 재정렬기는 문서 ID의 첫 토큰 로짓을 정렬해 한 번의 포워드 패스로 순위를 낸다. 문제는 생성형 교사의 순위 지식을 이런 단일 토큰 학생으로 옮기기 어렵다는 점이다. 교사는 문서 ID의 순위 시퀀스로 선호를 표현하지만 학생은 첫 토큰 위치의 점수 벡터로 전체 순위를 표현한다. 오프라인 고정 순위만 쓰는 증류는 학생의 현재 예측에 교사가 피드백하지 못하고, 표준 토큰 수준 온폴리시 증류는 자기회귀 롤아웃을 전제로 해 단일 패스 점수화와 구조가 맞지 않는다.

어떻게 동작하나

DecisionRank의 핵심은 항목 공간 온폴리시 증류다. 학생은 질의와 최대 100개 후보를 함께 읽고, 각 후보에 학생 어휘의 단일 토큰 문서 ID 100개 중 하나를 배정한다. 첫 출력 위치에서 해당 문서 ID의 로짓 s_i를 순위 점수로 사용하고 내림차순 정렬해 순위를 만든다. 교사는 숫자 문서 ID를 쓰고 학생은 단일 토큰 ID를 쓰더라도 둘은 같은 후보 항목을 가리키므로, 어휘나 모델 구조가 달라도 후보 항목별 선택 확률을 정렬해 비교할 수 있다.

무엇과 다른가

온폴리시 조건부 피드백은 학생의 현재 상위 K개 후보와 그 순서로 만든다. 각 단계 t에서 이전 선택 h_t와 남은 후보 R_t가 주어지면, 학생의 첫 토큰 점수는 남은 후보 위의 Plackett-Luce 선택 분포를 정의한다. 교사에게는 질의와 선택된 문서들을 주고, 학생의 순위를 교사의 숫자 ID로 표현한 답안 시퀀스를 teacher-forced 입력으로 넣는다. 그러면 교사는 한 번의 teacher-forced 포워드 패스로 각 단계의 남은 후보에 대한 조건부 선택 점수를 내고, 이를 같은 R_t 위에서 정규화한다. 학생 분포와 교사 분포를 항목 공간에서 reverse KL로 맞춘다. 공동 학습에서는 2단계부터 K-1단계까지 감독한다. 첫 단계는 이전 학생 선택에 조건화된 피드백이 아니고, 마지막 단계는 후보가 하나만 남아 KL이 0이므로 제외한다. 학생 점수가 갱신되면 순위를 다시 계산해 교사 피드백도 학생의 현재 선택에 맞춰 이동한다.

어떻게 쓰나

여기에 오프라인 순위 감독을 결합한다. 고정된 교사가 슬라이딩 윈도 크기 W와 스트라이드 s로 전체 후보 순위를 미리 생성하고, DecisionRank는 그 순위를 RankNet으로 학습한다. 교사가 문서 i를 j보다 위에 둔 쌍마다 가중치를 주고, 순위 효용 1/log2(1+r)의 차이로 가중한다. 최종 목적함수는 RankNet 손실과 온폴리시 reverse KL 손실의 합이다. 추론 때는 질의와 전체 후보를 한 번의 포워드 패스로 처리하고 첫 토큰 문서 ID 로짓만 정렬하므로 자기회귀 생성이 없다.

전제와 한계

실험은 Rank-DistiLLM의 MS MARCO 질의 1만 개와 ReasonEmbed의 합성 질의 6천 개로 학습했다. 학생은 Qwen3 1.7B, 4B, 8B이고 주 교사는 Qwen3.8-27B다. 일반 검색은 TREC DL19-23과 BEIR 7개 데이터셋, 추론 집약 검색은 BRIGHT 12개 과제와 R2MED 8개 데이터셋에서 nDCG@10으로 평가했다. 논문은 세 학생 모두 TREC DL과 BEIR에서 비교 베이스라인을 앞선다고 보고한다. 8B 학생은 가장 강한 베이스라인인 listwise DirectRank보다 TREC DL에서 1.42점, BEIR에서 2.20점 높다. 1.7B 학생도 두 벤치마크 평균에서 32B까지 포함한 비교 베이스라인을 앞선다. BRIGHT에서는 8B가 36.86으로 listwise DirectRank보다 0.99점 높다. 다만 R2MED에서는 8B가 43.55로 listwise DirectRank의 44.50보다 낮다. 효율은 8B가 listwise DirectRank보다 TREC DL에서 24.5배, BRIGHT에서 16.7배 빠르다. 점수 보정도 별도 목적 없이 TREC DL과 BRIGHT에서 교사보다 낮은 ECE를 보인다.

학습 목적 비교에서 항목 공간 OPD는 RankNet 위에 추가했을 때 네 벤치마크 모두에서 일관되게 개선한 유일한 방법으로 보고된다. Offline KL은 BRIGHT를 올리지만 일반 검색과 R2MED를 떨어뜨렸고, 자기회귀 SFT와 자기회귀 OPD는 추론 집약 검색을 올리면서 일반 검색을 해쳤다. Listwise GRPO는 순위 수준 스칼라 보상만 주고 개별 선택에 대한 명시적 피드백이 없다. RankNet만 쓰기, 항목 공간 OPD만 쓰기, 둘을 결합하기를 비교한 절제 실험에서는 결합이 네 벤치마크 모두에서 가장 높았다. 이 이득은 학습 시드가 같은 4B와 8B 비교에서도 유지됐고, Gemma-4-31B와 ReasonRank-32B 같은 다른 교사, 1.7B부터 8B까지의 학생 크기에서도 네 벤치마크 모두 zero-shot 학생보다 개선됐다.

실무에서는 후보 집합이 100개 이하이고 단일 토큰 문서 ID 매핑을 만들 수 있으며, 생성형 교사의 오프라인 순위와 조건부 피드백을 모두 확보할 수 있을 때 쓸 만하다. 확인할 점은 후보 수 상한, 문서 ID 토큰 풀, 교사 순위 생성 비용, 그리고 R2MED처럼 교사 지식 전이가 항상 최고 성능으로 이어지지 않는 도메인이다. 원문은 별도의 한계 절을 두지 않았지만 방법은 N이 100 이하라는 전제와 100개 단일 토큰 ID 풀, 고정된 교사, 슬라이딩 윈도로 만든 오프라인 순위에 의존한다. 학습 데이터도 1만 6천 질의 규모이므로 더 큰 후보 집합이나 다른 검색 도메인으로의 일반화는 별도 검증이 필요하다.