LLM 에이전트 탐색을 더 밀어붙이려면 쌓인 기록을 주기적으로 버려야 한다

무엇인가

LLM 에이전트를 이용한 자동화 연구는 여러 영역에서 유망한 결과를 내고 있다. 반복적인 개선과 점수화된 검증기를 붙이면 에이전트가 새로운 아이디어를 발견할 수 있다는 것이다. 이 논문이 다루는 문제는 그 다음 단계, 즉 발견을 어떻게 더 크게 확장할 것인가다. 저자들은 확장 방식으로 세 가지를 세운다. 하나의 에이전트를 더 오래 반복시키기, 여러 에이전트를 병렬로 돌리기, 그리고 병렬 에이전트들이 서로 소통하며 상대의 후보 위에 쌓아 올리기다.

어떻게 동작하나

문제는 이 세 전략이 모두 결국 정체한다는 점이다. 에이전트가 이력을 쌓을수록 자기 과거 시도에 고정되어, 편집의 횟수와 폭이 함께 줄어든다. 그 지점을 넘어서면 예산을 더 투입해도 추가적인 개선이 거의 나오지 않는다. 논문은 이 정체의 원인을 기억 자체로 지목한다.

무엇과 다른가

제안하는 해법은 망각이다. 주기적으로 탐색 상태를 버리는 것이다. 각 에이전트의 세션과 후보 이력을 모두 지우고, 지금까지 찾은 최선의 후보에서 다시 출발한다. 이렇게 하면 막혀 있던 탐색이 풀리고 같은 예산으로 더 멀리 갈 수 있다는 것이 저자들의 주장이다. 저자들은 소통 기능을 갖춘 에이전트 팀에 이 망각을 구현했다.

어떻게 쓰나

평가는 휴리스틱 프로그래밍, 커널 최적화, 모델 학습을 아우르는 네 개 과제에서 이뤄졌다. 결과는 병렬 에이전트 대비 최대 15%, 단일 에이전트 대비 최대 39%의 개선이다. 저자들은 이 결과를 근거로, 열린 탐색에서는 에이전트가 무엇을 기억하도록 허용하는지가 얼마나 많은 연산을 주는지 못지않게 중요하다고 말한다.

전제와 한계

개발자 입장에서 이 논문이 건드리는 지점은 장기 실행 에이전트 루프의 메모리 정책이다. 대화 세션과 시도 이력을 계속 누적시키는 구조라면, 어느 시점부터 편집이 소극적으로 변하고 성능이 평평해지는 현상을 겪게 된다. 이 논문이 제시하는 절차는 그럴 때 최선 후보만 남기고 상태를 초기화한 뒤 다시 탐색을 시작하는 것이다. 다만 망각의 주기를 얼마로 잡을지, 무엇을 남기고 무엇을 지울지는 과제마다 다를 수 있으므로 자신의 파이프라인에서 직접 확인해야 한다.

저자가 밝힌 전제는 이 발견이 열린 탐색 상황을 향한다는 것이다. 실험도 휴리스틱 프로그래밍, 커널 최적화, 모델 학습이라는 네 개 과제에 한정되어 있고, 보고된 수치는 병렬 에이전트와 단일 에이전트 대비 상대적 개선폭이다. 정답이 명확한 폐쇄형 문제나 검증기가 없는 설정에서 같은 효과가 나오는지는 이 초록만으로는 알 수 없다.