REGER는 아이템 간 관계를 SID 생성 과정에 직접 반영한다

무엇인가

이 논문은 생성형 추천(GR)이 아이템을 이산 SID 토큰열로 자동회귀 생성하는 패러다임에서, 아이템 수준의 의미·협업 관계가 토큰 수준 학습에 묻히는 문제를 다룬다. 기존 GR은 SID 토큰 임베딩을 무작위로 초기화하고 처음부터 학습하므로 연속 아이템 표현이 담은 의미적 이웃 관계를 직접 물려받지 못하며, 협업 관계도 다음 토큰 예측과 어텐션에 암묵적으로 맡겨진다. 저자는 이를 세 가지 병목으로 나눈다. 공유 접두사만으로는 의미 유사성이 충분히 전달되지 않고, 히스토리 인코딩은 인접 아이템 간 방향성 전이를 명시적으로 제약하지 않으며, 생성 단계의 교차엔트로피는 정답 SID 하나만 감독해 경쟁 후보들 사이의 선호 관계를 드러내지 못한다.

어떻게 동작하나

첫 번째 구성요소인 GSR은 사용자 상호작용 없이 아이템 텍스트 임베딩의 코사인 유사도로 top-k 의미 이웃을 찾고, 소스 아이템의 SID를 인코더에 넣어 이웃 아이템의 SID를 디코더가 생성하도록 사전학습한다. 모든 소스-이웃 쌍에 교차엔트로피를 걸어 SID 토큰 임베딩과 인코더-디코더 백본을 함께 갱신하고, 이 파라미터를 이후 추천 학습의 초기값으로 쓴다. 사전학습 체크포인트는 검증 세트의 추천 성능으로 선택하며, 기본 이웃 수는 실험에서 K=10으로 잡는다. 이 과정은 아이템 콘텐츠가 이미 담고 있는 의미적 이웃 관계를 생성 모델이 SID 생성 능력으로 상속하게 하고, 상호작용이 희소한 아이템에도 의미 감독을 제공하려는 설계다.

무엇과 다른가

ITSA는 히스토리 인코더의 각 레이어에서 토큰-글로벌 헤드와 아이템-로컬 헤드를 정해진 비율로 섞는다. 글로벌 헤드는 전체 상호작용 히스토리에 표준 양방향 self-attention을 적용해 넓은 문맥과 비인접 아이템 간 의존성을 잡는다. 로컬 헤드는 SID 경계에 맞춘 마스크로 현재 아이템과 바로 앞 아이템의 완전한 SID 토큰에만 어텐션하게 한다. 각 SID 내부는 양방향으로 유지해 아이템 내부 의미 통합을 보존하고, 첫 아이템은 자기 SID만 본다. 이 마스크는 이전 아이템에서 현재 아이템으로 향하는 단거리 전이 경로를 명시적으로 만들며, 기존 헤드의 마스크만 바꾸므로 파라미터 수는 늘지 않는다. 같은 ITSA 인코더가 GSR과 추천 학습 두 단계에 모두 쓰인다.

어떻게 쓰나

HCPD는 SID를 접두사 트리로 조직하고, 아이템 선호 분포가 각 접두사에서의 조건부 다음 토큰 분포로 정확히 분해된다는 정리와, 아이템 수준 KL 발산이 접두사 확률 질량으로 가중된 조건부 KL들의 합으로 분해된다는 정리를 기반으로 한다. 교사는 동결된 판별형 추천기 DuoRec이며, 사용자 히스토리에 대한 아이템 점수를 softmax해 아이템 분포를 만들고 각 접두사에서 합법적인 다음 토큰들에 대한 조건부 분포를 계산한다. 학생 생성기도 정답 SID 경로의 각 접두사에서 합법 토큰들로 재정규화한 조건부 분포를 만들고, 교사와 학생의 조건부 분포 사이 KL을 모든 접두사에 평균해 HCPD 손실로 쓴다. 최종 목적함수는 교차엔트로피와 HCPD의 가중합이다. 이때 그래디언트는 학생 확률에서 교사 확률을 뺀 값에 비례해, 교사 대비 과소평가된 비정답 분기를 직접 교정하는 신호를 준다. 추론은 교사 없이 전체 어휘 확률로 빔 서치를 한다.

전제와 한계

실험은 Amazon Reviews 2014의 Beauty, Sports, Toys에서 5-core 필터링과 최근 20개 히스토리, Recall@5/10과 NDCG@5/10, 세 개 시드 반복으로 평가한다. 비교 대상은 SASRec, FDSA, BERT4Rec, S3-Rec, DuoRec 같은 판별형 추천, TIGER, LETTER, EAGER, UNGER, ReSID, ETEGRec, DIGER, ActionPiece, TIGER-SST 같은 생성형 추천, LIGER와 MemGen-GR 같은 하이브리드 추천, 그리고 TCA, TCA-Aux, APAO-pointwise, GFlowGR-DB/TB 같은 대안 학습 목표다. 본문 서술에 따르면 REGER는 세 데이터셋과 모든 지표에서 모든 생성형·하이브리드 베이스라인을 앞서고, DuoRec도 대부분의 설정에서 앞선다. Toys에서는 Recall이 DuoRec보다 낮지만 NDCG는 비슷하거나 약간 높다. HCPD를 TIGER에 직접 얹은 비교에서도 TCA, TCA-Aux, APAO-pointwise, GFlowGR 변형들보다 모든 데이터셋과 지표에서 가장 좋다. 제거 실험에서는 GSR, ITSA, HCPD를 각각 빼면 모두 성능이 떨어지고, HCPD 제거의 하락이 가장 커 Recall@5가 10.9%에서 18.0% 감소한다. 효율 실험은 Beauty에서 단일 NVIDIA L40, FP32, KV 캐싱 비활성, 동일 TIGER 백본으로 수행됐고, HCPD는 modest한 학습 오버헤드와 추론 속도 변화 없음을 보인다고 서술한다. 다만 발췌된 본문에는 표 1의 개별 셀 수치와 메모리·시간의 구체 숫자가 제시되지 않았다.

하이퍼파라미터 분석에서 GSR의 이웃 수 K는 5, 10, 20, 50을 비교했고 K=10에서 Recall@10이 세 데이터셋 모두 최고였으며 더 늘리면 이득이 줄었다. HCPD 가중치 λ는 0.1부터 1.0까지 비교해 Beauty와 Sports는 0.8, Toys는 1.0에서 NDCG@10이 최고였다. ITSA 헤드 비율은 Beauty 2:4, Sports 5:1, Toys 3:3을 선택했고, 이 구성들이 전부 로컬이거나 전부 글로벌인 경우보다 나았다. 분석에서는 GSR 후 생성기의 SID 토큰 시퀀스 표현이 콘텐츠 기반 아이템 관계와 더 잘 맞고, 어텐션 시각화에서 글로벌 헤드는 최근 아이템에 상대적으로 높은 가중치를 주며 히스토리 전반을 보는 반면, 로컬 헤드는 현재 아이템과 바로 앞 아이템을 함께 보는 대각선 아래 패턴을 보인다고 설명한다.

개발자에게 이 논문은 RQ-VAE 계열 SID를 쓰는 생성형 추천기에서 토크나이저만 개선하는 접근의 한계를 보여준다. 이미 학습된 판별형 추천기를 교사로 재사용해 생성기의 조건부 토큰 분포를 접두사 단위로 맞추는 방식은, 생성형 모델을 밑바닥부터 학습하면서 기존 랭킹 모델의 협업 신호를 버리지 않는 실무 패턴으로 읽을 수 있다. 적용할 때는 교사의 점수 분포가 얼마나 잘 보정됐는지, 합법 토큰 재정규화가 실제 추론의 전체 어휘 빔 서치와 어떻게 어긋날 수 있는지, λ와 헤드 비율이 데이터셋마다 달라진다는 점, 의미 이웃 수를 너무 키우면 사전학습 이득이 줄어든다는 점을 확인해야 한다.

저자들이 명시한 전제도 분명하다. HCPD는 정답 SID 경로를 따라 조건부 KL을 평가하는 다루기 쉬운 대리 목표라서, 전체 접두사 트리의 스케일된 KL을 일반적으로 재현하지는 않는다. 교사는 동결된 DuoRec으로 두고 그 선택 효과를 부록에서 분석하며, 추론은 재정규화된 Q_theta가 아니라 전체 어휘 확률 p_theta를 쓴다. K, λ, 헤드 비율 같은 핵심 설정은 데이터셋별로 선택됐고, 주 평가는 Amazon 2014의 세 도메인에 집중되어 있으며 2023 데이터셋 결과는 부록에 있다.