복잡한 에이전트 메모리보다 원문 검색 RAG가 대부분 더 강했다

무엇인가

이 논문은 장기 대화에서 LLM이 과거 정보를 활용할 때, 추출·요약·변형·그래프 구축·군집화·학습형 검색 같은 복잡한 에이전트 메모리 시스템이 정말 필요한지 묻는다. 대화 이력은 컨텍스트 창을 쉽게 넘고, 기존 연구는 원문 이력에 대한 RAG가 동적 상태 변경(대체된 사실, 삭제, 의존적 상태 변화)을 다루기 어렵고 에이전트 메모리보다 뒤진다고 보고해 왔다. 저자들은 먼저 Mem0의 쓰기 결정을 감사해 LoCoMo의 33,902건 중 UPDATE와 DELETE가 4.39%, LongMemEval의 428,858건 중 2.46%에 불과하고, 실제 텍스트를 바꾸는 유효 변형은 각각 1.90%, 1.34%임을 보인다. 또한 UPDATE를 추가 전용 ADD로, DELETE를 NONE으로 바꾸면 LoCoMo 정확도가 67.36%에서 69.42%로 오르고 범주별 점수도 줄지 않았다고 보고한다.

어떻게 동작하나

제안 방법인 Raw-RAG는 원문 이력을 LLM 기반 추출·요약·그래프 구성·변형 없이 그대로 인덱싱하는 단순 기준선이다. 각 대화를 메시지 타임스탬프와 이미지 캡션을 포함해 직렬화하고, 256토큰 창에 32토큰 겹침을 두어 분할한 뒤 평면 인덱스에 임베딩한다. 질의 시 질문 임베딩과 코사인 유사도로 128개 창을 검색하고, cross-encoder가 질문-창 쌍을 함께 평가해 상위 15개를 고른다. 선택된 원문 근거와 질문을 reader LLM에 넣고, 시간 순서와 상태 변화 해석은 reader가 직접 하도록 남긴다. 즉 복잡한 메모리 관리가 아니라 원문 보존과 검색·재정렬만으로 장기 대화 이해가 가능한지 시험하는 진단용 베이스라인이다.

무엇과 다른가

실험은 LoCoMo, LongMemEval, MEME, MemoryAgentBench 네 벤치마크에서 진행됐고, EverMemOS, MemOS, Mem0, A-MEM, RecMem 등 12개 에이전트 메모리 시스템과 Full-context를 비교했다. Raw-RAG는 Full-context를 제외한 비교 메모리 시스템 가운데 7개 벤치마크-모델 설정 중 6개에서 1위였다. LoCoMo에서 0.65~0.95점, LongMemEval에서 0.13점, GPT-4o-mini MEME에서 2.24점, MemoryAgentBench에서 4.48~5.53점 앞섰다. 예외는 DeepSeek-V4-Flash MEME로, 메모리 시스템 중에서는 MemMachine이 Raw-RAG보다 1.52점 높았고 같은 설정에서 Full-context는 Raw-RAG보다 19.98점 높았다.

어떻게 쓰나

절제 실험은 설계 선택과 추가 메모리 관리의 효과를 분리한다. MemoryAgentBench에서 리랭킹을 제거하면 Total이 3.92점 하락했고(p_Holm=0.0012), 상위 1개만 반환하면 11.73점 하락했다. 최종 k를 5, 10, 30, 60으로 바꾸면 기준과 1.3점 이내였지만 top-120은 14.57점 떨어졌다. 청크 크기 128~1,024는 Total에 유의한 변화를 주지 않았다. 원자적 사실 추출, 요약 증강, 그래프 기반 검색 확장을 추가한 변형은 같은 14개 소스 MemoryAgentBench Total에서 Raw-RAG의 48.32%를 넘지 못했다. 원자적 사실 추출은 test-time learning을 47.68%에서 15.37%로 떨어뜨리고 Total을 19.62점 낮췄고, 요약 증강은 5.81점, 그래프 확장은 5.78점 낮췄다. 효율에서도 11개 비충돌 소스에서 세 추가 방식은 Add+Search에 21.6~109.3M LLM 토큰과 2.9~8.8시간이 걸린 반면 Raw-RAG는 12분이었다. MEME 10개 에피소드·110문항 슬라이스에서 Raw-RAG의 Add-to-ready+Search는 305.91초로 다음 시스템보다 5.1배, EverMemOS보다 30.4배 빨랐고, 약 100만 토큰 BEAM-1M에서 누적 Add 시간은 Raw-RAG 0.33시간, Memora 26.95시간, 다음으로 빠른 완료 실행 MemOS 3.25시간이었다.

전제와 한계

저자들은 성능 이유를 근거 접근성에서 찾는다. 충분한 근거가 검색된 질문 비율인 coverage와, 충분한 근거가 있을 때의 정답률인 utilization을 나누면 Raw-RAG는 MemoryAgentBench 45.29%, MEME 76.35%로 가장 높은 coverage를 보였다. MemoryAgentBench에서 coverage는 19.07~45.29%로 변했지만 utilization은 80.00~89.71%에 그쳤고, MEME도 coverage 변동 폭이 40.66점, utilization은 21.04점이었다. 즉 시스템 간 차이는 답을 잘 쓰는 능력보다 필요한 근거를 얼마나 자주 공급하느냐에서 크다. 또한 결과값을 포함한 질문 중 시간 순서나 의존 경로까지 보존한 비율 P(path|result)은 Raw-RAG가 62.34%로 가장 높았고 MemMachine 56.70%, MemU 9.62%였다. 완전한 저장소 접근 oracle에서도 Raw-RAG와 MemMachine은 57.54%, 57.46%로 원문 근거 통제 61.60%에 가장 가까웠고, 패킹 상한을 없애도 일곱 저장소 모두 원문 근거보다 7.58~29.38점 낮았다.

개발자에게 이 논문은 에이전트 메모리 구조를 먼저 도입하기보다 원문 보존과 리랭킹을 갖춘 단순 RAG를 강한 베이스라인으로 측정하라는 경고다. 특히 대화형 메모리에서 답 값만 검색하는지, 그 값을 현재 값으로 만드는 시간 순서와 의존 경로까지 검색되는지 확인해야 한다. 리랭킹과 적당한 검색 깊이는 성능에 민감했고, 원자적 사실 추출이나 요약은 이 평가에서는 오히려 정보 손실과 비용 증가를 낳았다. 다만 이는 공개 오프라인 대화 벤치마크의 결과이므로, 자체 도메인에서는 정확도뿐 아니라 수집·검색 지연, 토큰 비용, 삭제·프라이버시 요구를 함께 비교해야 한다.

저자들이 밝힌 한계는 분명하다. 증거는 공개 벤치마크의 오프라인 대화에 한정되며 상호작용형, 멀티모달, 더 넓은 운영 환경의 성능을 보장하지 않는다. 원문 이력 보존 방식은 저장 비용과 프라이버시 문제를 키울 수 있고, 상태 재구성은 reader LLM의 능력에 의존한다. 또한 완전 저장소 oracle과 원문 근거의 잔여 격차는 순수한 수집 시 정보 손실만이 아니라 근거 조립과 lost-in-the-middle 같은 위치 효과도 포함할 수 있다고 인정한다. 향후에는 더 약한 reader, 반복 질의에서의 명시적 상태 유지 이점, 구조화·압축 메모리가 원문 검색보다 유리해지는 조건을 정확도·지연·비용 trade-off와 함께 평가해야 한다고 제안한다.