사용자별 메모리 저장 판단을 지연된 편측 피드백으로 학습한다

무엇인가

LLM 에이전트의 장기 메모리는 대화에서 추출한 사실을 저장해 다음 상호작용을 개인화하지만, 메모리 뱅크 용량과 컨텍스트 예산은 유한하다. 그래서 시스템은 어떤 사실을 남길지 계속 판단해야 한다. 기존 시스템은 '안정적 선호, 프로필 속성, 진행 중인 목표' 같은 사용자 공통 휴리스틱이나 긴 문맥 학습 데이터로 얻은 정책을 쓴다. 저자들은 이런 보편적 기준이 사용자 간 이질성을 놓친다고 지적한다. 선행 연구(In et al., 2026)가 세션 수준에서 이 문제를 정식화하고 PerMem-Bench를 내놓았을 때, 완벽한 개인화 게이팅과 기존 인과적 베이스라인 사이에는 상당한 격차가 남아 있었다. 이 논문은 게이팅 단위를 세션이 아니라 개별 사실로 내린다.

어떻게 동작하나

첫 번째 기여는 학습 신호를 만드는 검색 기반 라벨링 파이프라인이다. 사용자-LLM 상호작용 로그를 시간순으로 mem0에 넣어 원자적 사실 후보를 추출하고, 예산이 무한하다고 가정한 메모리 뱅크 상태를 재구성한다. 그다음 각 사실에 대해 이후의 사용자 턴들을 훑으며, LLM이 그 턴에 메모리 조회가 필요한지 먼저 판정하고 필요하면 자연어 쿼리를 만들어 검색기를 호출한다. 사실이 top-k 히트에 들면 '요구됨' 후보가 된다. 검색 히트만으로는 잡음이 많아서(주제는 겹치지만 시간이 어긋나는 경우 등) LLM 심판이 해당 사실이 답변에 실제로 필요하거나 품질을 크게 개선하는지 다시 검증한다. 검색 점수가 모두 임계값 아래인 턴에 대해서는 top 검색 결과의 부분집합이 함께 도움이 되는지 LLM이 별도로 검사해 히트 집합에 합친다. 최종 효용 라벨은 '미래 어느 턴에서든 유효 히트가 있었는가'의 이진값이다.

무엇과 다른가

두 번째 기여는 이 문제를 문맥적 애플 테이스팅(contextual apple tasting)에 지연된 편측 피드백을 얹은 형태로 정식화한 것이다. 매 라운드 t에 사실과 주변 세션 문맥의 특징 벡터 x_t를 관측하고 add 또는 skip을 고른다. skip하면 미래에 아무 피드백도 오지 않는다. add하면 환경이 지연 D_t를 뽑고, 이후 시점마다 z = y_t · 1{D_t ≤ t'-t} 형태의 절단된 지시자를 관측한다. 즉 라벨은 저장한 항목에 대해서만, 그것도 언젠가 검색되어 답변에 반영된 뒤에야 1로 뒤집힌다. 보상은 저장 후 사용되면 +b, 저장 후 사용되지 않으면 -c_store, 건너뛰었는데 필요했으면 -c_miss, 둘 다 아니면 0으로 비대칭이다. 기대 보상 기준으로는 효용 η(x)가 임계값 τ = c_store 이상일 때만 add가 이득이므로, 오라클은 임계값 정책 π*(x) = 1{<θ*, x> ≥ τ}가 되고 학습 목표는 이에 대한 pseudo-regret 최소화다.

어떻게 쓰나

제안 알고리즘 Warm-Start UCB는 두 단계다. 먼저 다른 사용자들의 라벨링된 사실로 선형 회귀를 돌려 사전 중심 μ0와 공분산 Σ0를 얻고, 현재 사용자의 참 파라미터가 높은 확률로 ‖θ* - μ0‖_Σ0 ≤ ε 안에 있다고 가정한다. 그다음 온라인 단계에서 UCB로 사용자 고유 성분을 조정한다. 핵심 난점은 관측의 모호성이다. 어떤 저장 항목이 아직 0인 것이 '쓸모없어서'인지 '지연이 아직 안 끝나서'인지 구분되지 않는다. 저자들은 Vernade et al. (2020)을 따라 관측을 길이 m의 창으로 절단해, m 라운드 안에 뒤집히면 1, 아니면 0으로 확정한다. 이렇게 하면 절단 관측의 기댓값이 κ_m·η(x)가 되어 회귀 타깃이 κ_m θ*가 되고, 임계값과 비교할 때 κ_m의 역수를 곱해 스케일을 보정한다. 신뢰 반경에는 최근 m 라운드의 미확정 관측(pending) 항이 추가로 더해진다. 추정 효용의 낙관적 인덱스가 κ_m τ를 넘을 때만 add한다.

전제와 한계

이론적 결과는 Theorem 4.7이다. Assumption 4.2(지연 분포와 κ_m = P[D ≤ m] 인지), 4.3(특징 노름 상한), 4.5(사전 중심의 정확도) 아래에서, 지연 창이 m일 때 확률 1 - δ0 - δ 이상으로 Regret(T) ≤ Õ(min{Tε, (d√T + md)/κ_m})을 얻는다. 사전 추정이 정확하면 초기에는 스텝당 ε 수준의 손실만 내고, T가 커지면 d√T의 준선형 후회로 전환되어 사용자 고유 파라미터를 실제로 학습한다는 뜻이다. Remark 4.6은 Vernade et al. (2020)과의 차이를 짚는다. 원 논문은 동시대 팔끼리 비교해 공통 곱셈 인자에 불변하지만, 여기서는 고정된 외생 임계값 τ와 비교하므로 κ_m을 알거나 충분히 정확히 추정해야 한다.

실험은 PerMemBench-S와 더 긴 상호작용을 담은 PerMemBench-L에서 이뤄졌다. 베이스라인은 정답 라벨로 필요한 사실만 저장하는 Oracle, 추출된 사실을 전부 저장하는 Universal, gpt-5-mini 기반 LLM-Greedy와 LLM-Context-Aware, 그리고 절제용 선형 방법인 Cold-Start UCB와 Pre-trained Scorer다. 지표는 유효 검색 히트 중 예산 하에서 실제로 뱅크에 남아 있던 비율인 RHR(마이크로/매크로)과 F1이다. PerMemBench-S에서 Warm-Start UCB는 모든 예산 구간에서 Universal과 LLM 기반 방법을 앞섰다. B=60에서는 최고 LLM 방법과 비슷한 수준이면서 Universal 대비 마이크로 6.66, 매크로 7.06 퍼센트포인트 개선했고, B=250에서 1.80/1.08, B=500에서 3.88/2.03 포인트를 더했다. PerMemBench-L에서는 10개 평가 열 중 8개에서 오라클을 제외한 최고 성능, 나머지 2개에서 2위였으며(B=250에서 Pre-trained Scorer에 근소하게 뒤짐), Universal 대비 마이크로 2.49~5.37, 매크로 1.81~5.37 포인트를 개선했다. 저자들은 LLM 기반 방법이 예산이 커질수록 Universal보다 오히려 나빠지고, 뱅크 잔여 용량을 반영한 더 세밀한 프롬프트도 이를 완화할 뿐 해결하지는 못한다고 밝힌다.

절제 실험은 두 구성 요소의 역할을 분리한다. TF-IDF와 로지스틱 회귀로 효용 라벨을 예측해 보면, 다른 19명 사용자로만 학습한 leave-one-user-out 모델도 AUC 0.622와 0.665로 무작위(0.5)보다 훨씬 높아 사용자 간 공유 성분이 존재한다. 동시에 자기 데이터만 쓰는 Self 설정의 AUC가 더 높아, 단일 전역 분류기로는 전이되지 않는 사용자 고유 성분이 상당하다. 학습 곡선에서 Cold-Start UCB는 초반에 Universal 대비 개선이 없거나 음수였다가 후반 구간에서 좋아지고, Pre-trained Scorer는 즉시 상승하지만 이후 정체된다. Warm-Start UCB는 사전학습 지식으로 출발해 사용자 피드백이 쌓이면서 고정 정책과 벌어진다. 사전학습 풀 크기를 1, 2, 5, 10, 15로 늘리면 모든 예산과 평균 방식에서 성능이 단조 증가했고, 15에서도 포화되지 않았다.

저자들이 명시한 한계는 분명하다. 현재 모델은 사용자별 파라미터가 상호작용 내내 안정적이라고 가정하며, 효용 패턴 자체가 진화하는 경우는 향후 과제로 남긴다. 또한 검색·검증된 사실들 사이에도 효용 강도 차이가 있고, 필요 없는 사실을 저장하는 비용 c_store는 뱅크가 거의 찼을 때 커지고 여유가 있을 때 작아지는데 이 변동은 모델에 반영되지 않았다. 지연 분포와 κ_m을 알고 있다는 가정, 효용이 특징의 선형 함수라는 가정도 전제로 깔려 있다. 실무에서 이 방법을 쓰려면 먼저 자체 로그로 '저장한 항목이 나중에 실제로 검색·채택됐는가'를 라벨링할 파이프라인을 갖추고, 지연 창 m과 그 안에 피드백이 도착할 확률 κ_m을 측정해야 한다. 그 값이 임계값 보정에 직접 들어가므로, 지연 분포가 사용자나 도메인마다 크게 다르면 재측정이 필요하다.