HaMo는 외부 경험 기억과 모델 적응을 결합해 장기 에이전트의 망각을 줄인다

무엇인가

논문은 장기 실행(long-horizon) 에이전트가 관련 작업을 반복할수록 재사용 가능한 절차 지식을 축적해야 하지만, 기존 시스템은 외부 메모리에 경험을 저장하는 방식과 모델 파라미터를 업데이트하는 방식 중 하나에 치우쳐 즉시 재사용과 지속 학습을 맞바꾼다고 문제를 잡는다. 특히 웹 에이전트처럼 정보 탐색, 상품 검색, 거래 같은 다단계 워크플로를 반복하는 환경에서 이 한계가 크다고 본다. HaMo는 빠른 비파라메트릭 경험 축적과 느린 파라메트릭 적응을 결합하는 하네스-모델 협력 프레임워크로 제안된다.

어떻게 동작하나

하네스 수준에서는 각 전문가 궤적 τ_i에서 LLM으로 해결 개요 z_i를 추출하고, 작업 설명 g_i와 초기 관측 o_i^0를 붙여 경험 카드 c_i=(g_i,o_i^0,z_i)를 만든다. 카드는 단계 t의 메모리 M_t=M_{t-1}∪C_t로 누적되며 원본 궤적과 일대일로 대응한다. 즉 새 경험을 파라미터에 즉시 넣지 않고도 다음 작업에서 검색해 쓸 수 있게 하며, 논문은 학습 후 카드를 해제하는 선택적 피드백도 언급하지만 보고된 실험에서는 끄고 모든 카드를 남겨 둔다.

무엇과 다른가

모든 궤적을 학습에 쓰지 않는다. 경험 카드 텍스트를 임베딩해 자기 자신을 제외한 최근접 3개 이웃을 구하고, 카드 j가 다른 질의의 이웃으로 등장하는 역검색 집합 R_j와 빈도 n_hits(j)를 계산한다. 이어 선택 집합 S의 커버리지 F(S)=∪_{j∈S}R_j에 대해 새 카드의 추가 커버리지 Δ(j|S)=R_j∖∪_{s∈S}R_s가 큰 후보를 탐욕적으로 고른다. 추가 커버리지가 0이 될 때까지 선택한 뒤 커버리지 포화 곡선의 무릎점으로 단계별 학습 예산 N_t*를 정하고, 선택된 카드에 대응하는 원본 궤적만 앵커 집합 A_t로 삼는다. 선택되지 않은 카드도 메모리에는 남아 검색될 수 있다.

어떻게 쓰나

모델 수준에서는 검색된 경험을 현재 환경에 접지(grounding)해 행동으로 옮기는 능력을 학습한다. 단계 t의 학습 집합은 새 앵커 A_t와 과거 재생 B_t^old의 합집합 B_t=A_t∪B_t^old이며, 각 궤적마다 하네스가 매칭한 경험 E_i를 입력에 넣는다. 목적함수는 L_t(θ)=−1/|B_t| Σ_{τ_i∈B_t} Σ_k log π_θ(a_{i,k} | g_i, o_i^0, h_{i,k}, E_i)인 경험 조건부 행동 복제다. 이는 단순히 상황→행동을 외우는 대신, 검색된 전략을 다른 객체·관측·상태·상호작용 이력 아래에서 해석하고 실행하도록 훈련한다. 구현은 백본을 고정한 단일 LoRA 어댑터를 이전 단계에서 이어 초기화해 계속 업데이트하며, 어댑터를 병합하거나 작업별 어댑터를 늘리지 않아 학습 파라미터 예산을 일정하게 유지한다. 추론 때도 작업 설명과 초기 관측만으로 경험을 검색해 같은 형식으로 모델에 주입하며, 미래 관측이나 정답 개요는 쓰지 않는다.

전제와 한계

실험은 ScienceWorld, ALFWorld, WebShop의 텍스트 환경에서 이뤄졌다. ScienceWorld는 과학 실험, ALFWorld는 가사 조작, WebShop은 지시 기반 온라인 쇼핑을 평가한다. 베이스라인은 Qwen3-8B·14B의 Base, 외부 경험만 붙인 Base+Harness, AgentTuning, ETO, 그리고 하네스와 재생 없이 파라미터만 순차 적응시키는 Model only 등이다. 도메인 내 실험은 ScienceWorld 학습 집합을 샘플 단위로 겹치지 않게 네 개로 나누되 각 부분이 모든 작업 유형을 포함하도록 하고, 단계마다 전체 테스트셋으로 평가했다. HaMo는 Qwen3-8B에서 38.13→60.49, 네 단계 평균 52.22를, Qwen3-14B에서 38.61→61.15, 평균 53.09를 기록했다. 이 평균은 Base+Harness보다 각각 13.88점, 12.44점 높고, 최종 단계 점수는 적응 전 백본보다 8B에서 22.94점, 14B에서 21.20점 높다. 1단계에서는 Base+Harness보다 약간 낮지만 2단계부터 모든 비교 방법을 앞선다.

교차 도메인 S→A→W 스트림의 최종 단계에서 HaMo는 ScienceWorld 52.43, ALFWorld 66.79, WebShop 59.64로 모든 도메인에서 비교 가능한 베이스라인을 앞섰다. Base 대비 이득은 14.88, 22.26, 13.96점이다. 각 도메인의 최종 점수에서 가장 강한 non-HaMo 베이스라인 대비로는 13.02, 19.71, 5.16점 높다. 중간 평가를 보면 ScienceWorld는 첫 단계 52.43, ALFWorld 학습 후 54.19, WebShop 학습 후 다시 52.43으로 첫 단계 점수를 회복했고, ALFWorld는 70.08에서 66.79로 완만히 하락했다. 반면 AgentTuning의 ScienceWorld는 26.24→3.13, ETO는 20.16→3.20으로 무너졌다. Base+Harness는 이전 도메인 성능을 대체로 유지했지만 최종 WebShop 43.42로 Base 45.68보다 낮았다. 컴포넌트 비교에서 Model only는 ScienceWorld 53.98을 얻은 뒤 ALFWorld 학습 후 22.18, 최종 24.57로 29.41점 하락했고, HaMo는 52.43으로 Model only보다 27.86점 높았다. 다만 Model only가 최종 ALFWorld에서 69.34로 HaMo의 66.79보다 높고, HaMo가 WebShop에서 59.64로 58.74보다 약간 높아 HaMo가 모든 도메인에서 파라미터 전용 적응을 압도하는 것은 아니다.

학습 순서 민감도도 보고된다. 최종 세 도메인 점수 합은 S→A→W 178.86, A→W→S 188.41, W→S→A 181.94였고, A→W→S가 총합이 가장 높았으며 W→S→A는 최종 ALFWorld 74.09, WebShop 60.43으로 가장 높았다. 첫 학습 도메인 유지력은 순서에 따라 달라 W→S→A에서는 ScienceWorld가 55.19에서 47.42로 떨어졌다. Qwen3-1.7B, 4B, 8B에서도 HaMo가 S→A→W 스트림에서 효과를 보였고, 큰 모델일수록 새 작업 습득이 대체로 강했다. WebShop 사례에서 Base는 캐러멜 맛 조건을 확인하지 않고 헤이즐넛 상품을 사 25점을 받았고, HaMo는 'Triple Dark' 표기만으로 캐러멜 일치를 확정할 수 없다고 보고 옵션과 현재 60달러 예산을 확인해 100점을 받았다. 다만 클릭 행동이 관측 변화나 즉시 보상을 만들지 않았고, 이 사례만으로 검색 지침과 파라미터 적응의 기여를 분리할 수는 없다고 저자들은 밝힌다.

개발자 관점에서 HaMo는 장기 에이전트에서 빠른 경험 저장소와 느린 모델 적응을 분리하되, 검색된 전략을 입력 조건으로 넣어 모델이 그 전략을 현재 상태에 맞게 실행하도록 훈련하는 패턴을 보여준다. 반복 웹 워크플로, 도구 사용 절차, 고객 지원 시나리오처럼 절차 재사용이 잦고 환경 변동이 있는 에이전트에 참고할 만하다. 다만 저자들은 HaMo가 망각을 완전히 막지는 못하며 이후 적응이 이전 도메인 성능을 떨어뜨릴 수 있고 유지 정도가 도메인 순서에 의존한다고 한계를 명시한다. 또한 재생, 앵커 선택, 경험 조건화, 디코딩 온도를 개별적으로 분리하는 통제 실험이 부족하고, 텍스트 기반 벤치마크만 평가했으며, 검색된 경험이 부적합할 때 거부하거나 실행 중 갱신하는 적응적 사용은 향후 과제로 남는다.