ReHarness가 되돌림 수정으로 에이전트 지속학습을 온라인에서 개선한다

무엇인가

LLM 에이전트는 이제 단발성 과제를 넘어 긴 상호작용 스트림 위에서 동작한다. 이런 환경에서는 분포 이동이 계속 일어나므로, 모델 파라미터를 건드리지 않고 런타임 상태(하네스)를 온라인으로 적응시켜야 한다. 기존 하네스는 메모리·리플렉션·프롬프트를 통해 경험을 축적하지만, 상태를 오직 전방 정보 흐름으로만 진화시킨다. 각 인스턴스가 끝나면 유용한 정보를 추출하거나 궤적을 반성해 상태에 쓰고, 다음 인스턴스에서 검색해 쓸 뿐이다. 한 번 쓰인 메모리와 리플렉션은 이후 인스턴스에서 얼마나 도움이 됐는지에 따라 갱신되지 않는다. add/delete 같은 큐레이션도 일관성 유지가 목적이지 하류 사용 피드백을 반영하지 않고, 일부 방법은 추가 학습·검증셋에 의존하는데 이는 엄격한 온라인 스트리밍에서는 쓸 수 없다. 그 결과 분포가 바뀌면 낡은 메모리나 과잉 일반화된 리플렉션이 상태에 남아 미래 결정을 반복적으로 오도한다. 논문은 정렬 예시로 이를 설명한다. 내림차순 정렬 뒤 "큰 수 먼저"라는 리플렉션이 저장되고, 다음 질의가 오름차순이면 이 리플렉션이 에이전트를 오답으로 이끈다. 새 리플렉션을 써도 옛것이 상태에 남아 숫자가 겹치는 다음 질의에서 다시 검색되어 같은 오류를 반복한다.

어떻게 동작하나

제안 방법 ReHarness는 이 전방 경로에 역방향 수정을 붙여 순환 고리를 닫는다. 절차는 세 단계다. 첫째 전방 읽기에서 현재 하네스 상태 h_t에 있는 리플렉션 중 질의 x_t와 가장 관련 있는 top-k를 검색해 결정 에이전트 π_D에 주고, 응답 y_t와 환경 보상 r_t를 받아 궤적 τ_t=(x_t, y_t, r_t)를 만든다. 둘째 역방향 수정에서 수정 에이전트 π_R이 방금 검색된 각 리플렉션 R_i를, 그 리플렉션의 출처 궤적 τ_i와 현재 인스턴스에서의 실제 효과 τ_t를 함께 보고 R'_i = π_R(R_i, τ_i; τ_t)로 고친다. 핵심 제약은 τ_t가 오직 피드백으로만 쓰인다는 점이다. R'_i에 새로 들어가는 내용은 반드시 원 출처 궤적 τ_i에 근거해야 하며, 그렇지 않으면 정보 누출로 간주된다. 수정은 τ_i에서 놓쳤던 증거를 반영하거나, 근거 없는 가설을 바로잡거나, 리플렉션이 적용될 조건을 좁히는 방식으로 일어난다. 검색된 것만 수정본으로 교체하고 나머지는 그대로 두어 중간 상태 h'_t를 얻는다. 셋째 전방 쓰기에서 메모리 에이전트 π_M이 τ_t를 반성해 새 리플렉션 R_t를 만들고, h_{t+1} = h'_t ⊕ R_t로 다음 상태를 완성한다. 이때 수정된 리플렉션들이 π_M의 시연 역할을 하며, 프롬프트는 R_t가 그 시연들이 다루지 않은 보완적 관점을 담도록 유도한다. 정렬 예시에서 수정은 "큰 수 먼저"를 "내림차순일 때만 큰 수 먼저"로 조건을 붙이는 식이다.

무엇과 다른가

실험은 엄격한 온라인 스트리밍 프로토콜 아래 세 벤치마크에서 이뤄졌다. CL-Bench는 코호트 연구, 코드베이스 적응, 데이터베이스 탐색, 매출 예측, 블라인드 스펙트럼 모니터링, 익스플로잇 가능한 포커 등 6개 과제로 각 12~120개 다회차 인스턴스를 담는다. MemoryBench는 HelloBench와 WritingBench의 영어 과제 5개(학술·창작·정치 글쓰기, 과제당 17~47개 단일 회차 인스턴스)를 GPT-5.6-Sol로 평가한다. MemoryArena는 여행 계획, 웹 쇼핑, 점진적 웹 검색, 수학·물리 형식 추론 등 5개 도메인에 과제당 2~16개 상호의존 인스턴스를 담는다. 백본은 Claude Opus 4.8, GPT-5.5, Gemini 3.7 Flash 세 가지이며 한 방법 안의 모든 에이전트가 같은 백본을 쓴다. 검색은 Qwen3-Embedding-8B로 top-5를 뽑는다. 베이스라인은 Mem0, RBank, DoT, ACE, GEPA-Online(검증 기반 탐색을 순차 갱신으로 바꾼 온라인판), Full Raw, Top-K Raw다. 지표는 무상태 백본 대비 정규화 이득 (r_method - r_stateless)/(r_max - r_stateless)이다.

어떻게 쓰나

결과에서 ReHarness는 전체 평균 정규화 이득 0.240으로 9개 벤치마크-백본 조합 중 8개에서 1위 또는 공동 1위를 기록했다. 원문에 따르면 Top-K Raw와 Full Raw 같은 원시 문맥 방법이 평균적으로 대부분의 구조화 메모리·리플렉션 방법보다 강했고, RBank·DoT·ACE는 일관성이 떨어져 일부 설정에서 음의 이득을 냈다. GEPA-Online은 Gemini에서 MemoryBench 성능이 크게 떨어졌다. 통계 검정은 시드별 과제 스트림을 하나의 관측으로 보는 양측 짝지은 Wilcoxon 부호순위 검정에 Bonferroni 보정을 적용했고, ReHarness는 Top-K Raw(p_adj=0.039)와 Full Raw(p_adj=0.043)를 포함한 모든 베이스라인을 유의하게 앞섰다. 토큰 효율도 보고된다. Claude로 CL-Bench 전체를 한 번 롤아웃할 때 ReHarness는 입력 약 37.19M, 출력 약 4.38M로 총 약 41.57M을 쓰는 반면, Top-K Raw는 약 52.66M(1.3배), Full Raw는 약 142.12M(3.4배)을 쓴다. 프롬프트 캐싱과 Claude API 가격 기준 비용은 Top-K Raw 약 85달러, ReHarness 약 254달러, Full Raw 약 314달러다. 즉 ReHarness는 Full Raw보다 싸면서 더 높은 이득(0.217 대 0.191)을, Top-K Raw보다 비싸지만 더 높은 이득(0.165 대비)을 낸다.

전제와 한계

분석에서는 먼저 수정의 근거 충실성을 검증한다. 수정된 리플렉션을 사실 주장으로 분해해 출처 궤적 τ_i가 함의하면 근거 있음, τ_i는 아니고 τ_t가 함의하면 누출, 둘 다 아니면 무근거로 분류했는데, 모든 백본에서 95% 이상이 근거 있는 주장으로 남았고 누출은 0.8~2.1%, 무근거는 0.5~2.6%였으며 수정 한 번당 근거 충실성 하락은 최대 0.3%에 그쳤다. 다음으로 수정 능력을 확인하기 위해, 수정된 상태 h'_t를 같은 인스턴스에 다시 적용하는 반사실적 리플레이를 돌렸다. 이는 온라인 프로토콜을 위반하지만, 모든 과제에서 ReHarness보다 큰 이득을 보여 수정이 실제로 유효한 정보를 복원한다는 증거가 된다. 수정 에이전트를 제거한 전방 전용 베이스라인보다는 ReHarness가 모든 과제에서 높았고, 특히 데이터베이스 탐색·매출 예측·스펙트럼 모니터링에서 격차가 컸다. 안정성과 가소성으로 분해하면, Mem0·RBank·DoT·ACE·GEPA-Online은 평균 안정성 이득이 음수였던 반면 ReHarness는 평균 안정성 이득이 가장 높고 모든 백본에서 가소성 이득도 가장 높았다. 정성 예시로는 스펙트럼 모니터링 초반의 과잉 일반화("조용한 구간을 그럴듯한 채널로 채워 보고하라")를 "확인된 피크를 우선 유지하라"로 고친 사례, 스키마 변경으로 prc_v2가 생긴 뒤 "등급 컬럼을 가정하지 말고 가격류 컬럼을 모두 열거하라"로 낡은 규칙을 바꾼 사례가 제시된다. 절제 실험에서는 검색·수정 개수 k를 1에서 5로 늘릴 때 이득이 급상승하고 k가 5, 10, 20일 때 안정적이며 그 이상에서는 오히려 하락했다. 또한 수정된 리플렉션을 π_M의 시연으로 쓰는 요소를 제거하면 Claude 기준 CL-Bench 이득이 0.217에서 0.191로 떨어진다.

개발자 관점에서 이 논문이 주는 실무적 시사점은 명확하다. 메모리나 리플렉션을 쌓아 올리는 에이전트를 운영한다면, 저장 시점의 판단을 영구 불변으로 두지 말고 그 경험이 실제로 쓰인 뒤의 결과를 되먹여 원본 기록에 근거한 범위 안에서 고쳐 쓰는 루프를 설계해야 한다는 것이다. 특히 스키마 변경, 정책 변경, 사용자 분포 변화처럼 과거 경험이 갑자기 해로워지는 상황에서 전방 전용 축적은 안정성 이득을 음수로 만들 수 있다. 또한 리플렉션을 압축해 저장하면 원시 궤적을 매번 문맥에 넣는 방식보다 총 토큰이 줄어들 수 있으니, 정확도뿐 아니라 입력 토큰과 캐싱 비용을 함께 측정할 필요가 있다. 도입 시에는 수정 에이전트가 원 출처 밖의 정보를 끌어오지 않는지(누출률), 그리고 보상 신호가 진단적인지 잡음인지를 먼저 확인해야 한다.

저자들이 밝힌 한계도 분명하다. ReHarness는 CL-Bench의 익스플로잇 가능한 포커에서 성능이 떨어지는데, 숨겨진 카드와 운 때문에 핸드 단위 보상이 전략 품질과 약하게만 연결되어 역방향 수정의 신호가 잡음이 되기 때문이다. 원시 문맥 베이스라인은 원래 궤적을 보존하고 해석을 결정 에이전트에 미루므로 이 신용 할당 문제에 덜 노출된다. 즉 ReHarness는 하류 피드백이 재사용 가능한 리플렉션을 고치는 데 진단적일 때 가장 이득이 크다. 또한 가장 강한 전체 이력 원시 문맥 베이스라인보다 토큰 효율은 좋지만, 향후 수정을 위해 원시 궤적을 계속 저장하므로 추가 저장 공간 오버헤드가 발생한다는 점을 저자들은 향후 과제로 남겼다.