TokenWorth는 자원이 묶인 평생 학습 에이전트에서 다시 쓸 가치가 있는 기억을 학습한다

무엇인가

이 논문이 다루는 문제는 평생 학습(lifelong) 에이전트가 실제로는 무한한 자원 위에서 돌지 않는다는 점이다. 과제 스트림 q1…qT를 순차 처리하면서 외부 메모리 뱅크 Bt에서 경험을 꺼내 쓰지만, 생성 토큰 예산 O_max, 상호작용 라운드 J_max, 저장 용량 B_max, 회수 개수 K_max, 주입 길이 L_max가 동시에 묶인다. 저자들은 이 다섯 개를 하나의 예산 C로 정식화하고, 고정 예산 아래에서 온라인 메모리 정책의 평균 과제 성공률을 최대화하는 문제로 정의한다. 핵심 관찰은 자원이 빠듯할수록 기억 결정 하나하나의 대가가 커진다는 것이다. 질의와 의미적으로 유사하지만 실제로는 도움이 안 되는 기억이 희소한 컨텍스트를 잡아먹고, 반대로 버려진 유용한 기억은 컨텍스트를 더 넣거나 라운드를 늘려서 복구할 수 없다. 그래서 문제는 '관련 있는 기억 찾기'가 아니라 '보관하고 재사용할 가치가 있는 기억 판별'이 된다.

어떻게 동작하나

TokenWorth의 절차는 먼저 후보 회수에서 시작한다. 경량 텍스트 유사도 함수로 Kc개의 후보 집합을 뽑되, 이 Kc는 실제로 에이전트에 주입되는 기억 수와 독립이다. 각 후보에 대해 유사도, 과거 유틸리티, 신뢰도, 최근성을 담은 4차원 특징 φ를 만들고, 선형 베이스 스코어러 w^T φ로 전역적 유용성 패턴을 잡는다. 이 가중치 w는 처음부터 학습하는 대신 정보성 사전 w0에서 출발해, 로지스틱 손실에 λ_w‖w−w0‖² 정규화를 더한 목적함수로 온라인 갱신한다. 증거가 적을 때는 사전이 닻을 내려주고, 과제 스트림이 진행되며 지속적인 패턴을 서서히 흡수하는 구조다.

무엇과 다른가

선형 스코어러가 담지 못하는 비선형·질의 특화 상호작용은 RFM(Recursive Feature Machine) 기반 잔차 보정이 맡는다. 해시 기반 텍스트 유사도, 임베딩 차이와 코사인, 이력 통계를 합친 표현 z를 입력으로 받아 최종 점수를 s_base + η·f(z)로 계산하고, 이 점수가 가장 높은 기억 하나를 실행에 쓴다. 학습 신호는 과제 보상 r을 y=2r−1로 바꾼 값이며, 잔차 목표는 δ = y − ŷ_base다. 여기서 두 개의 시간 스케일이 나뉜다. 잔차 적합은 짧은 피드백 버퍼로 커널 릿지 회귀를 자주 다시 풀어 빠르게 움직이고, 특징 기하를 정의하는 대각 메트릭 M은 더 긴 윈도우에서 계산한 AGOP(평균 그래디언트 외적)로 M ← NormClip((1−β)M + βG̃)처럼 느리게 갱신한 뒤 회귀를 재적합한다.

어떻게 쓰나

기억 저장소 관리에도 같은 가치 개념을 확장한다. 외부 검증까지 통과한 성공 상호작용만 새 기억 후보가 되고, 최근 탐침 질의 집합 P에 대한 평균 가치 V(m)으로 '나중에도 쓸 만한가'를 추정한다. 용량이 남아 있으면 커버리지를 위해 수용하고, 뱅크가 차면 참신성이 충분하거나 탐침 평균 가치가 기존 최고를 넘고 양성 점수 비율 조건을 만족할 때만 들인다. 수용된 뒤에는 확대된 뱅크에서 V가 가장 낮은 기억을 축출한다. 즉 질의별 가치는 '지금 쓸 기억'을, 탐침 평균 가치는 '남길 기억'을 결정한다. 이 모든 적응은 경량 메모리 컨트롤러 안에서 끝나며 백본 업데이트, 과제 재실행, 반사실적 실행, 추가 LLM 호출이 없다.

전제와 한계

실험은 LifelongAgentBench의 DB·OS·KG 세 환경에서 로컬 Qwen2.5-14B-Instruct와 API 기반 DeepSeek-V4-Flash 두 배포로 수행했다. 예산은 메모리 용량 64, 과제당 회수 기억 최대 1개, 출력 토큰 128/512/128, 상호작용 3/5/15라운드로 매우 빡빡하다. 비교 대상은 무기억 Standard, RAG, MemRL, Mem0, MemP, MemSkill, Reflexion, EvoSC, EvoSkill이다. 로컬에서 TokenWorth는 DB 65.0%로 최강 베이스라인 RAG의 33.0%를 32.0%포인트 앞섰고, OS는 4.8%포인트, KG는 6.0%포인트 개선했다. API 배포에서도 DB 30.0%포인트, OS 3.0%포인트, KG 4.7%포인트로 최고 성공률을 기록했다. 반면 여러 정교한 메모리 기법은 무기억 에이전트 대비 이득이 미미하거나 KG에서는 크게 뒤졌다.

토큰 효율도 함께 개선됐다. 무기억 Standard 대비 출력 토큰 변화율은 로컬에서 DB −9.3%, OS −51.5%, KG −18.7%, API에서 DB −31.6%, OS −58.3%, KG −21.3%로 여섯 설정 모두 최저치다. 성공률이 가장 높으면서 생성은 가장 적었다는 뜻이므로, 이득이 긴 추론에서 나온 것이 아님을 보여준다. DB·Qwen 조건의 소거 실험에서는 베이스 스코어러 단독이 64.2%, 고정 메트릭 RFM을 더하면 63.0%로 오히려 떨어졌고, AGOP 기반 기하 적응을 붙인 전체 프레임워크가 65.0%로 회복했다. 잔차 학습만으로는 부족하고 특징 기하를 함께 적응시켜야 희소 피드백에서 보정이 유효해진다는 해석이다. 추가로 BigCodeBench와 ALFWorld의 온라인 평생 학습 변형 결과가 부록 C에 보고됐다.

개발자 관점에서 이 논문의 실용적 메시지는 메모리 시스템의 평가 지표를 바꾸라는 것이다. 검색 유사도나 회수 정확도가 아니라, 제한된 컨텍스트와 토큰 안에서 실제 과제 성공으로 이어졌는지를 가치 신호로 삼아야 한다. 구현 부담도 크지 않다. 백본을 건드리지 않고, 추가 LLM 호출 없이, 4개 특징의 선형 모델과 소규모 커널 릿지 회귀, 그리고 저장소 수용·축출 규칙만으로 구성되기 때문에 기존 RAG 파이프라인의 재정렬 단계나 메모리 매니저에 끼워 넣는 형태로 이식할 수 있다. 다만 도입 전에 자신의 워크로드가 정말 '결합 예산' 상황인지 확인해야 한다. 예산이 넉넉하면 정교한 메모리 기법과의 차이가 줄어들 수 있기 때문이다.

저자들이 명시한 한계는 두 가지다. 첫째, 피드백은 실제로 선택된 기억에 대해서만 관측되므로 그 기억의 인과적 기여는 식별되지 않는다. 같은 과제를 다른 기억으로 재실행하지 않기 때문에, 실패가 선택된 기억 때문인지 다른 요인 때문인지 구분할 수 없다. 저자들은 예산 효율적인 크레딧 할당을 향후 과제로 남긴다. 둘째, 실험은 하나의 고정된 빡빡한 예산 수준에서의 효과를 보여줄 뿐, 다양한 예산 수준에 걸친 견고성을 주장하지 않는다고 스스로 밝힌다.