LLM 에이전트 메모리 선택은 개별 영향력이 아니라 상호작용을 봐야 한다

무엇인가

이 논문은 오래 실행되는 LLM 에이전트의 메모리 선택 문제를 다룬다. 기존 방식은 기록의 검색 순위나 개별 기록의 영향력을 기준으로 메모리를 고르는데, 저자들은 중복된 증거가 있거나 여러 기록이 동시에 필요한 경우 이런 순위만으로는 충분한 부분집합을 찾을 수 없다고 지적한다. 예를 들어 두 개의 독립 승인 채널 중 하나만 있으면 결정이 유지되는데, 각 채널을 하나씩 제거하면 둘 다 불필요해 보일 수 있다. 반대로 두 승인이 모두 필요한 규칙에서는 어느 기록도 단독으로는 유용하지 않다. 논문은 전체 메모리로 내린 결정 F(V)를 그대로 유지하는 부분집합 S를 행동적 충분성(behavioral sufficiency)이라 부르고, 그중 등록 비용이 가장 낮은 최소 비용 충분 집합을 찾는 문제를 세운다. 단일 기록 효과 Δ_i만으로는 이런 중복 상황을 놓칠 수 있다는 명제도 제시한다.

어떻게 동작하나

이를 통제적으로 평가하려고 JointCoreBench를 만든다. 벤치마크는 singleton, redundant OR, synergistic AND, XOR, threshold, multiple minimum sets, proxy-confounded, delayed-state, stale-policy conjunction의 아홉 상호작용 계열과 orders, access control, deployment, calendar, database, file debugging의 여섯 워크플로 도메인을 조합한다. 자연어 결정과 정확한 충분 집합 오라클을 제공하며, 평가는 두 단계다. 정확 단계는 n이 8, 16, 32, 64이고 두 지원 크기, 네 horizon 라벨, 네 seed 블록을 교차한 6,912개 조건에서 논리 오라클로 후보 부분집합을 판정한다. 모델 단계는 n=16으로 고정하고 아홉 계열, 여섯 도메인, 두 지원 크기, 네 seed/horizon 블록을 사용해 모델당 432개 과제를 만든다. 이렇게 해야 검색 오류와 모델 판단 오류를 분리할 수 있다고 본다.

무엇과 다른가

제안 방법 JointCore는 관련도와 비용 순서로 정렬한 기록을 블록 단위로 삭제하는 탐색이다. 전체 기록 집합 S=V와 전체 순서를 루트 그룹으로 FIFO 큐에 넣고, 그룹 G를 꺼내 S에서 G를 뺀 S∖G의 결정 F(S∖G)를 전체 메모리 기준 F(V)와 비교한다. 결정이 같으면 G를 통째로 삭제하고 그 하위 그룹은 건너뛴다. 결정이 달라지면 G가 둘 이상일 때 이분할해 큐에 넣고, 단일 기록이면 남긴다. 큐가 비거나 선택 예산이 소진되면 멈춘다. 정렬 규칙은 B=4로, 의미적 상위 B 밖의 기록을 낮은 관련도 접두부로 두고 상위 B 기록은 페이로드 비용 내림차순으로 배치한다. 결정적 평가기에서는 F(S)=F(V)가 불변식이라 예산이 소진돼도 반환 집합은 주 인터페이스에서 행동적으로 충분하다. 다만 논리적 충분성, 최소 비용, 다른 메모리 표현에 대한 견고성은 보장하지 않는다. 선택 평가 횟수는 최대 min(Q, 2n−1)이고, 정확 단계 예산 Q=256, 모델 단계 Q=64다.

어떻게 쓰나

정확 오라클 실험에서 비용 순서 JointCore는 6,912개 조건 모두에서 최소 비용 충분 집합을 100.0% 회수했고, 선택된 비용도 오라클과 일치했다. 부분집합 평가는 30.00회에서 11.13회로 62.9% 줄었고 활성 메모리 절감은 87.8%였다. 비교군인 비용 인식 단일 기록 삭제는 30.00회를 썼다. 레거시 순서 JointCore는 10.96회로 더 적게 평가했지만 최소 비용 집합을 6.7% 조건에서 놓쳤다. 의미적 상위 B 검색은 충분성 94.4%였으나 최소 비용 회수는 22.2%에 그쳤고, 무작위 B는 충분성 16.2%였다. 메모리 크기가 커질수록 차이가 커져 n=16에서 평균 10.12 대 16.00, n=64에서 14.14 대 64.00이었고, n=8에서는 8.11 대 8.00이었다.

전제와 한계

모델 단계에서는 Qwen2.5-14B, Gemma-4-12B-it, Mistral-Small-3.1-24B-Instruct, Llama-3.3-70B-Instruct를 사용하고 모델당 432개 과제를 평가한다. 주 인터페이스는 빠진 기록 값을 타입이 있는 UNKNOWN 토큰으로 바꾸고, 선택된 부분집합의 결정을 같은 모델의 전체 메모리 결정과 비교한다. 네 모델 비가중 평균으로 모델 질의는 16.00회에서 10.28회로 35.8% 줄었고, 최소 비용 회수율은 43.1%에서 50.6%로 올랐다. 네 모델의 질의 감소는 Holm 보정 후 p<.001이었다. 두 조건부 방법 모두 주 인터페이스에서는 전체 메모리 행동을 유지했다. 다만 정확 충분성은 세 모델에서 JointCore가 높고 Llama에서는 70.6% 대 71.3%로 낮아 일관된 논리적 충분성 향상을 보이지는 않았다. 계열별로는 multiple-minimum에서 최소 비용 회수가 18.2포인트, XOR에서 12.5포인트 높았고, 페이로드 절감 차이도 각각 7.33포인트와 5.01포인트였다. redundant OR에서는 최소 비용 회수가 91.7% 대 87.5%, 정확 충분성은 95.8% 대 98.4%였고, proxy-confounded에서는 정확 충분성이 54.2%로 같았다.

저자들은 108개 과제 하위집합에서 물리적 삭제, UNKNOWN 마스크, PENDING 센티널, 반사실 값, 대체 라벨을 시험한다. 이 하위집합은 모든 계열·도메인·지원 조합을 덮지만 seed 블록 0과 horizon 라벨 1만 쓴다. 결과는 인터페이스에 의존했다. 반사실 값에서는 Gemma가 단일 기록 삭제를 82.4% 대 86.1%로 선호했고, 물리적 삭제에서는 Llama가 70.4% 대 72.2%로 단일 기록을 선호했다. Mistral은 직접 행동 인터페이스에서 JointCore가 59.3% 대 56.5%로 앞섰지만 A/B 라벨에서는 단일 기록이 52.8% 대 54.6%로 앞섰다. Llama는 직접 행동에서 단일 기록이 71.3% 대 74.1%로 앞섰고 A/B 라벨에서는 81.5% 대 81.5%로 동률이었다. 등록된 대체 규칙에 따라 Mistral NF4와 Llama NF4는 전체 메모리 아카이브로 되돌아갔고, 행동 유지율 1.0, 페이로드 절감 0.0이었다. 따라서 이 스트레스 테스트는 인터페이스 불변 압축을 입증하지 못한다.

개발자 관점에서 이 논문은 에이전트 메모리를 검색 순위나 단일 기록 삭제로만 줄이면 중복·동시 필요 조건에서 조용히 틀릴 수 있음을 보여준다. JointCore는 전체 메모리 결정을 유지하는 후보를 찾는 베이스라인으로, JointCoreBench는 최소 비용 충분 집합과 선택 비용을 분리해 평가하는 도구로 쓸 수 있다. 특히 승인, 동의, 출처 기록처럼 함께 있어야 의미가 생기는 메모리를 다룰 때 블록 단위 삭제와 정확한 오라클 기반 평가가 유용하다. 다만 저자들은 이 방법이 배포 준비된 메모리 압축이 아니라고 명시한다. 실제 배포에는 신뢰할 수 있는 아카이브, 접근 제어, 사람 검토, 도메인별 보수 규칙이 필요하고, 선택 과정의 모델 질의 자체가 민감한 기록을 노출할 수 있다.

한계도 분명하다. 정확 오라클은 생성된 워크플로에 의존하고 여섯 도메인이 하나의 문법을 공유하며, horizon 라벨은 긴 자율 롤아웃을 대표하지 않아 자연스러운 에이전트 이력에서 상호작용 빈도를 추정할 수 없다. 108개 과제 스트레스 하위집합은 모든 계열·도메인·지원 조합을 덮지만 하나의 seed/horizon 블록만 포함한다. 행동적 충분성은 모델 오류를 보존할 수 있어 진실이나 인과적 중요성을 보장하지 않는다. 12B–70B 모델군은 사전 등록되지 않은 표시 기준이라 규모 주장을 뒷받침하지 못하고, Qwen과 Gemma는 BF16, Mistral과 Llama는 서로 다른 NF4 경로를 쓴다. 삭제, UNKNOWN, PENDING, 반사실 값, 결정 라벨은 서로 교환 가능하지 않으며 관찰된 순서 역전은 시험한 인터페이스 밖으로 일반화하기 어렵게 한다. 등록된 페이로드 가중치는 토큰 수나 지연 시간이 아니고, 권한·동의·출처 기록을 제거하면 해로운 행동을 가능하게 할 수 있다.