채팅 기록을 비우면 AI 연구 에이전트가 더 나은 해법에 도달한다

마이크로소프트 리서치가 장시간 돌아가는 AI 연구 에이전트의 성능이 컴퓨팅을 더 투입해도 일정 수준에서 멈춘다는 원인을 분석하고, 대화 기록을 지우는 것만으로 탐색 성능을 끌어올리는 방법을 제안했다. 같은 과제를 반복 수행하는 에이전트가 누적된 대화 맥락에 묶여 비슷한 해법만 다듬는 현상을 확인하고, 병렬 분기와 맥락 초기화를 결합한 'Fork-and-Flush'를 내놨다.

연구진이 다룬 대상은 스스로 해법을 제안하고 평가한 뒤 피드백으로 개선하는 이른바 '오토리서치 에이전트'다. 동일한 에이전트를 같은 과제에 8번 독립적으로 돌렸더니 최종 점수가 68.3점에서 100.0점까지 벌어졌다. 컴퓨팅 자원을 크게 늘려도 이 격차는 좁혀지지 않았다.

원인은 탐색 공간의 쏠림이었다. 연구진은 각 실행이 만들어낸 해법들을 유사도 기준으로 2차원에 배치해 비교했는데, 한 번의 실행에서 나온 해법들은 거의 항상 지도상의 좁은 구역 안에 머물렀다. 논문은 이 구역을 '아이디어 분지(idea basin)'라고 부른다. 에이전트는 남은 연산 예산의 상당 부분을 생산성이 낮은 분지 안에서 해법을 다듬는 데 쓰고, 다른 실행이 찾아낸 더 나은 접근으로 건너가지 못한다. 대화 기록을 주기적으로 압축해도 이 패턴은 그대로였다.

Fork-and-Flush는 두 단계로 구성된다. '포킹' 단계에서 에이전트는 K개의 병렬 분기로 갈라지고, 각 분기는 이전 작업 공간과 생성된 파일 전체를 물려받는다. '플러싱' 단계에서는 각 분기가 대화 맥락을 완전히 버리되 작업 공간은 유지한다. 즉 코드와 파일, 저장된 결과는 남고 대화만 새로 시작하는 셈이다. 부모의 대화 맥락을 유지한 분기는 이전 추론에 이끌려 같은 아이디어 분지로 되돌아가는 경향이 있는데, 맥락을 비우면 탐색의 다양성이 회복된다.

성과는 같은 연산 예산에서 측정됐다. 폴리오미노 패킹, 잡숍 스케줄링, 암호 해독, CIFAR 분류기 압축, VLIW 커널 최적화 등 13개 장기 과제에서 Fork-and-Flush는 min-max 정규화 평균 점수 0.78을 기록했다. 단일 실행은 0.47, 4개 중 최선 선택(best-of-4)은 0.54였다. 상대 개선폭은 각각 66.0%와 44.4%다. 13개 과제 중 12개에서 가장 높은 평균 점수를 냈고, 정규화 표준편차도 단일 실행의 0.26에서 0.16으로 낮아졌다. 분기 없이 대화 맥락만 비우는 것만으로도 22% 개선됐다.

실험에 쓰인 실행은 몇 시간에서 100시간을 넘기는 것까지 있었고, GPT-5.6-terra와 GPT-5.5를 GitHub Copilot CLI를 통해 사용했다.

모델이 더 똑똑해지면 아이디어 분지 문제가 사라질지도 확인했다. MAX-3-SAT 문제를 Qwen3.5-4B, 9B, 27B 세 크기로 풀렸을 때 실행 간 분산은 역U자 곡선을 그렸다. 분산이 가장 큰 지점은 모델 능력의 경계, 즉 무작위 추측 수준과 참조 솔버 성능의 중간쯤에 있는 과제였다. 아주 쉬운 과제는 거의 항상 성공하고 아주 어려운 과제는 거의 실패하는 패턴이 세 모델 크기 모두에서 나타났다.

연구진은 미해결 연구 문제가 정의상 모델 능력의 한계 지점에 놓인다고 본다. 모델이 발전하면 경계 자체가 더 어려운 문제 쪽으로 이동할 뿐, Fork-and-Flush가 활용하는 실행 간 변이는 계속 남을 것이라는 전망이다. 최전선 연구 에이전트에도 주기적 맥락 초기화가 유효할 수 있다는 뜻이다.

개발자 입장에서 이 결과가 시사하는 바는 명확하다. 에이전트를 오래 돌릴수록 대화 기록이 자산이 아니라 제약이 될 수 있다. 상태를 대화가 아닌 파일과 작업 공간에 두고, 주기적으로 맥락을 끊어 병렬 분기를 만들어 서로 다른 해법을 탐색하게 한 뒤 가장 좋은 분기만 남기는 운영 방식이 실무에서 고려할 만하다. 다만 이번 실험은 연구·최적화 과제에 한정됐고, 대화 맥락 자체가 중요한 대화형 코딩이나 디버깅 세션에 그대로 적용된다고 보기는 어렵다.