TrawMem은 에이전트 메모리를 역할 기반 작업 공간으로 재구성한다

무엇인가

장기 대화형 에이전트에서 늘어나는 상호작용 이력은 제한된 컨텍스트 윈도우의 병목이 된다. 컨텍스트를 키우면 더 많은 이력을 담을 수 있지만 덜 두드러진 위치의 정보는 여전히 무시되기 쉽고, 질의마다 전체 이력을 다시 처리하는 추론 비용도 커진다. 그래서 등장한 것이 외부 메모리 시스템인데, 기존 방식은 대체로 현재 질의와의 직접적 관련성으로 메모리를 검색해 근거로 붙인다. 이 논문이 지적하는 핵심은 관련성만으로는 그 메모리가 과제 해결에 어떻게 기여하는지를 설명하지 못한다는 점이다. 같은 메모리 단위가 어떤 과제에서는 답을 직접 뒷받침하고, 다른 과제에서는 의미적 관련성은 약하지만 반드시 필요한 다른 메모리로 연결해 주는 역할을 한다.

어떻게 동작하나

저자들은 에이전트 메모리를 과제 지향 역할 적응형 작업 공간(Task-Oriented Role-Adaptive Workspaces)으로 재정의하고, 이를 구현한 TrawMem을 제안한다. 1단계는 원시 상호작용 이력을 로컬 스레드로 조직하는 것이다. 연속된 레코드 가운데 같은 사건에 속하는 구간을 하나의 스레드로 묶고, LLM이 그 구간의 요약을 생성해 스레드 헤드로 삼는다. 스레드는 요약과 원문 레코드 시퀀스를 함께 보존하므로 상세 내용, 맥락 순서, 출처, 시간 정보가 남는다. 요약은 스레드 벡터로 인코딩되어 검색 진입점이 되고, 개별 메모리 단위는 별도 벡터로 인코딩되어 매칭에 쓰인다. 여기에 원문 순서상 인접한 스레드와 의미적으로 가까운 스레드를 연결해 스레드 그래프를 만든다. 메모리 뱅크는 이 스레드 집합과 그래프의 쌍으로 표현된다.

무엇과 다른가

2단계는 질의가 들어왔을 때 작업 공간을 조립하는 과정이다. 먼저 질의를 인코딩해 각 스레드의 초기 점수를 매기고, 최고 점수 스레드에서 그래프를 따라 점수를 전파하며 hop 수와 이웃 크기 제한 안에서 과제 관련 이웃을 확정한다. 그 안의 메모리 단위들을 후보 집합으로 삼고 질의와의 코사인 유사도로 직접 매칭 점수를 계산한다. 다음은 역할 부여다. 질의의 관찰 가능한 특징(시간성, 관계성, 길이 등)으로 역할 수요 분포를 만들고, 스레드 이웃 안에서의 관계 특징과 결합해 각 단위가 어떤 역할에 얼마나 적합한지를 소프트 가중치로 산출한다. 마지막으로 스레드 헤드로부터의 최단 경로 비용, 질의 친화도, 역할 적합도를 가중 합산한 비용을 정의하고, 이를 바탕으로 단위별 우선순위를 정규화한다. 선택은 단순 상위 가중치 나열이 아니라 네 개 항(정보 커버리지, 역할 커버리지, 질의 친화도 합, 스레드 커버리지)으로 구성된 목적 함수에 대한 탐욕적 최대화로 이루어진다. 이 목적 함수는 단조 서브모듈러이므로 예산을 모두 소진하면 1−1/e 근사 보장을 얻는다. 선택된 단위는 원문 내용, 연관 스레드 헤드, 스레드 내 순서를 유지한 채 작업 공간으로 조립되어 답변 모델에 전달된다.

어떻게 쓰나

실험은 장기 대화 메모리 벤치마크인 LoCoMo와 MemGallery에서 진행됐고, Qwen3.5-9B, Qwen3.8-27B, DeepSeek-V4-Flash, GPT-5.6-Luna 네 백본을 쓴다. LoCoMo에서 Qwen3.5-9B 기준 TrawMem은 F1 39.14, BLEU-1 36.75, LLM-Judge 63.26을 기록해 2위 베이스라인을 각각 2.23, 3.71, 3.30포인트 앞섰다. GPT-5.6-Luna에서는 48.66/41.89/74.52로 3.06, 2.32, 6.34포인트 개선이다. 특히 시간 추론 유형에서 BLEU-1이 Qwen3.5-9B 52.78, Qwen3.8-27B 60.49로 2위 대비 4.40, 6.17포인트 높았는데, 흩어진 시간 정보를 더 잘 조직한다는 해석이다. 질문 유형이 9개로 더 다양한 MemGallery에서도 네 백본 모두 평균 F1, BLEU-1, LLM-Judge 1위를 차지했고, 2위 대비 격차는 F1 0.30~5.45, BLEU-1 1.36~2.96, LLM-Judge 0.52~4.82퍼센트포인트다. 초록 기준으로는 매크로 F1이 2.23~3.14포인트 오른다.

전제와 한계

절제 실험은 여섯 구성 요소를 하나씩 제거하며 기여를 확인한다. 모든 변형이 두 데이터셋, 네 백본에서 일관되게 성능이 떨어졌고, 그중 다중 스레드 선택을 없앤 변형의 하락이 가장 컸다(LoCoMo 1.86~2.62, MemGallery 1.91~3.13). 스레드 간 연결을 끊은 변형이 그 뒤를 이었는데, 두 요소의 효과가 서로 다르다는 점을 통해 스레드 간 연결이 후보 확장과 다중 스레드 정보의 공동 유지 양쪽에 작용한다고 설명한다. 역할 조건을 제거한 변형은 구조적 커버리지를 항등으로 바꾼 변형보다 더 큰 하락을 보여, 역할 모델링과 커버리지가 중복 대신 보완 정보를 고르는 데 함께 기여한다고 주장한다. 파라미터 민감도에서는 비용 가중치 최적점이 백본별로 (1.25, 0.50), (1.25, 0.50), (1.25, 1.0), (0.625, 0.50)으로 조금씩 달라 백본 의존성이 있음을 인정한다. 반면 메모리 단위 예산은 네 백본 모두 16에서 최고점이 나와 일관됐고, 너무 작으면 필요한 정보가 빠지고 너무 크면 덜 관련된 메모리가 섞여 성능이 떨어진다고 밝힌다. 별도로 356개 질의 쌍을 만들어 같은 메모리의 역할 가중치가 질의에 따라 실제로 바뀌는지도 확인했는데, 직접 답을 뒷받침하는 질의에서 다른 질의로 넘어가면 앵커 가중치는 내려가고 브리지 가중치는 올라가는 추세가 관찰됐다.

효율은 DeepSeek-V4-Flash 기준으로 보고된다. TrawMem(H=3)은 답변 컨텍스트에 질의당 약 2406 토큰을 써 SimpleMem의 약 2534 토큰보다 5.1% 적으면서 LLM-Judge는 68.56으로 64.25보다 4.31퍼센트포인트 높다. 메모리 구축 시간은 54.4초/루트로 SimpleMem의 65.2초/루트보다 짧지만, 검색 오버헤드 때문에 총 시간은 513.6초/루트로 SimpleMem의 441.3초/루트보다 16.4% 길고 LightMem의 515.2초/루트와는 거의 같다. LightMem과 비교하면 컨텍스트를 약 2.3배 쓰지만 LLM-Judge가 3.02퍼센트포인트 높고 총 시간은 0.3% 줄어든다. 그래프 순회 깊이 H를 3에서 2, 1로 낮추면 총 시간이 각각 13.0%, 23.2% 줄고 LLM-Judge는 65.02, 62.74로 떨어지는데, 컨텍스트 토큰 수는 세 설정 모두 동일하다. 즉 H는 검색 비용을 조절하는 손잡이이고 최종 컨텍스트 길이는 뒤단의 선택 과정이 결정한다는 것이 저자들의 설명이다.

개발자 입장에서 이 논문의 실무적 가치는 메모리 검색을 "유사도 상위 k개"에서 "과제별로 상호 보완적인 집합 선택"으로 바꾸는 구체적인 절차와 비용 모델을 준다는 데 있다. 특히 보조 정보가 의미적 유사도가 낮아 기존 검색에서 누락되는 유형의 질문(다중 hop, 시간 추론, 관계 추론)에서 이득이 크다는 점을 시사하며, 예산 B와 순회 깊이 H라는 두 개의 조절 가능한 손잡이로 품질과 지연을 맞바꿀 수 있다는 점은 운영 환경에서 참고할 만하다. 다만 임베딩 모델을 Qwen3-Embedding-0.6B로 고정했고 답변 백본마다 최적 가중치가 달라진다는 점은, 자체 스택에 옮길 때 재튜닝이 필요하다는 신호로 읽어야 한다.

저자들이 밝힌 한계는 분명하다. 첫째, 품질 향상이 공짜가 아니다. SimpleMem보다 짧은 컨텍스트로 더 높은 점수를 내지만 스레드 그래프 순회 때문에 총 시간은 오히려 길어지고, LightMem과 비교하면 컨텍스트를 2배 이상 더 쓴다. 둘째, 비용 가중치 최적점이 백본에 의존해 하이퍼파라미터 민감도가 완전히 해소되지는 않았다. 셋째, 사례 연구의 실패 사례는 대화에 "지난 8월"이라고만 적혀 있는데 정답 주석이 "2023년 8월"을 요구하는 상황으로, 검색 실패라기보다 데이터셋 주석의 시간 정밀도 문제라고 저자들은 해석한다. 넷째, 상호작용 이력을 저장·재사용하는 구조 자체가 민감한 개인정보를 담을 수 있고 편향이나 잘못된 정보를 증폭할 수 있으므로, 배포 시 익명화와 사용자 동의, 편향·오류 메모리 탐지 및 완화 장치가 필요하다고 윤리 성명에서 못박는다.