LLM 에이전트는 추상화를 저장하지 말고 필요할 때만 만들어야 한다

무엇인가

이 논문은 LLM 에이전트가 외부 메모리에 자신의 실행 경험을 쌓아 파라미터를 고치지 않고도 다음 과제를 개선하는 구조를 다룬다. 핵심 설계 질문은 메모리에 관찰된 궤적과 결과만 남길지, 아니면 그로부터 추론한 규칙·요약·스킬 같은 추상화까지 영구 저장할지다. 저자들은 저장된 추상화의 오류가 검색·재사용으로 직접 전파될 뿐 아니라, 그 추상화가 만든 실행 궤적이 다시 새 추상화의 재료가 되어 같은 오류를 낳는 순환을 error reproduction이라고 부른다. 추상화를 삭제해도 그 영향으로 생성된 궤적과 후속 추상화가 남을 수 있으므로, 메모리 유지보수만으로는 이 문제를 없앨 수 없다는 것이 출발점이다.

어떻게 동작하나

제안 방법 Anti-Persistence는 경험 축적과 추상화 영속화를 분리한다. 과제·실행 궤적·결과를 담는 trajectory memory M_k와 모드 선택 피드백을 담는 outcome log L_k는 유지하지만, 추상화 저장소 S_k는 비워 둔다. 새 과제가 오면 메모리에서 기록을 검색하고, 필요할 때만 현재 과제용 지침을 합성해 실행에 쓰고 실행 직후 버린다. 영구 저장 경로가 trajectory→abstraction→storage→reuse라면, 이 설계는 trajectory→storage→retrieval→on-demand abstraction이다. 다만 임시 지침이 실행 궤적에 영향을 주고 그 궤적이 나중 합성에 쓰일 수 있는 간접 피드백은 남는다.

무엇과 다른가

구체적으로 네 가지 사용 모드를 둔다. none은 검색된 기록을 합성 없이 직접 쓰고, imitation은 성공 궤적에서 재사용 가능한 행동 패턴과 조건을 뽑고, strategic은 성공 궤적으로 상위 하위목표와 계획을 조직하며, corrective는 실패 궤적을 분석해 회피 지침을 만들고 가능하면 성공 궤적을 대조로 쓴다. 모드 선택은 outcome log 위의 가벼운 contextual bandit으로 처리한다. 각 항목은 과제, 선택 모드, 원시 결과, 비용 조정 보상, 타임스탬프를 담고, 보상은 r_i = clip(y_i - λκ_i, -1, 1)로 계산한다. κ_i는 실제 추가 합성 호출 수이고 λ는 합성 비용 패널티다. 먼저 유사 과제의 로그를 검색해 모드를 고르고, 그다음 해당 모드에 맞는 궤적을 검색한다. 모드별 가중 평균 보상에 유사도·최근성 가중치와 탐색 보너스를 더해 선택하며, 이 규칙은 UCB에서 착안했지만 가중·비정상 관측에 대한 신뢰구간이나 후회 보장은 없다.

어떻게 쓰나

실험은 ALFWorld, WebShop, ScienceWorld 세 벤치마크와 Llama-4-Scout, Qwen3-Coder-Next, Gemma-4-31B-it 세 백본에서 K=10회 메모리 업데이트, 3개 시드로 진행됐다. 비교 대상은 trajectory memory, abstraction memory, joint memory, Anti-Persistence 네 메모리 구성과 ReAct, Reflexion, ExpeL, AutoRefine 네 에이전트 베이스라인이다. K=10에서 Anti-Persistence는 9개 벤치마크·백본 설정 중 7개에서 최고 성공률을 냈고, 설정별 동등 평균은 59.9%로 trajectory memory 53.5%, abstraction memory 49.0%, joint memory 49.3%, 가장 강한 에이전트 베이스라인인 Reflexion 52.9%를 앞섰다. abstraction memory와 joint memory는 9개 중 7개 설정에서 trajectory memory보다 낮았다. 또한 네 메모리 구성 중 평균 LLM 호출 비용이 가장 낮았다.

전제와 한계

업데이트 라운드별로는 Anti-Persistence가 Figure 2의 6개 설정 모두에서 최종 평균 성공률이 가장 높았지만 매 반복에서 앞선 것은 아니었다. AutoRefine과 비교하면 Anti-Persistence가 6개 설정 모두에서 평균 성공률이 높았고, AutoRefine은 abstraction memory보다 1개 설정에서 개선, 1개에서 동률, 4개에서 악화됐다. 합성 지침을 저장할지 버릴지 비교한 실험에서는 버리는 쪽이 4개 설정 모두에서 성공률을 높였고 Llama-4-Scout에서 이득이 더 컸다. Qwen3-Coder-Next의 민감도 실험에서 기본 γ=0.998은 ALFWorld 96.0%, WebShop 54.0%로 테스트한 값 중 가장 좋았고, γ=0.980은 90.0%와 48.7%, γ=0.990은 87.3%와 44.7%, γ=1은 88.7%와 48.7%였다. 모드 선택도 고정 전략·무작위보다 contextual bandit이 96.0%와 54.0%로 가장 높았고, 비용 가중치 λ=0.05가 같은 두 수치로 가장 좋았다. λ=0이면 합성 모드 사용은 늘었지만 성공률은 기본값보다 낮았고, λ=0.20과 0.50은 성공률과 사용률을 모두 낮췄다.

개발자 관점에서 이 논문은 에이전트 메모리에 회고·규칙·요약을 무조건 영구 저장하는 설계를 재검토하게 한다. 원시 궤적과 결과는 남기되, 추상화는 현재 과제 문맥에서 필요할 때 합성하고 실행 후 폐기하는 편이 오류의 직접 재사용을 줄일 수 있다. 또 과거 결과 로그로 none, imitation, strategic, corrective 중 무엇을 쓸지 고르고, 합성 호출 비용을 보상에 넣어 선택적으로 합성하는 패턴은 RAG·에이전트 메모리 운영에 바로 참고할 수 있다. 다만 궤적을 통한 간접 오염은 남으므로, 저장된 실행 기록 자체의 품질과 검색 예산, 평가 시 메모리 고정 여부를 함께 봐야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 백본 파라미터와 합성 절차는 고정되어 있고, 임시 지침을 버려도 그 지침이 만든 궤적을 통해 간접 피드백이 가능하다. 모드 선택 규칙은 UCB에서 착안했을 뿐 가중·비정상 관측에 대한 이론적 보장이 없고, 지원되지 않는 모드 평균은 정의되지 않아 초기화·폴백·탐색 오버라이드가 별도 분기를 쓴다. 결과는 설정에 따라 달라질 수 있고, AutoRefine 비교는 유지보수 효과만 분리하지 못한다. 모드 선택 빈도 평균은 정책 수렴을 보여주지 않으며, 짧은 롤아웃이 효율인지 조기 실패인지도 구분하지 못한다. 초기 추상화와 이후 추상화의 연관성은 오류 재생산과 일관된 경험적 증거로 제시되지만 인과관계를 확정하지는 않는다.