Agent-Reflex가 도구 실패와 사용자 개입에서 반성 능력을 학습한다

무엇인가

이 논문은 장기 호라이즌 도구 사용 에이전트가 실제 배포에서 겪는 두 가지 빈틈을 다룬다. 실제 MCP 도구 서비스는 타임아웃이나 서비스 오류 같은 잡음 섞인 피드백을 자주 반환하고, 사용자는 에이전트가 의도에서 벗어날 때 개입해 추론과 행동을 교정한다. 그런데 기존 에이전트 훈련 패러다임은 환경이 안정적이고 잡음이 없으며 사용자 개입이 최소라고 가정한다. 저자들은 이 간극을 잡음 피드백 부재와 사용자 유도 교정 부재로 정리하고, 실패 감지와 복구를 위한 반성 학습 감독이 부족하다고 지적한다. 기존 반성 방법은 추론 시점 자기비평이나 개별 궤적 수준 복구에 머물러 환경 수준에서 재사용할 수 있는 진술을 축적하지 못한다는 것이 문제의식이다.

어떻게 동작하나

제안 방법 Agent-Reflex는 반성을 학습 가능한 메타 스킬로 모델링하는 3단계 훈련 프레임워크다. 1단계 환경 반성 스킬 발견(RSD)은 Smithery에서 고사용량 MCP 서버 명세 557개를 골라 데이터베이스 기반 실행 환경을 만들고 주제당 60개의 검증기 지원 과제를 생성한다. 도구 실패는 아홉 개 공개 에이전트 벤치마크를 재생해 수집한 177,700개 도구 반환 중 24,510개 오류 반환을 여덟 가지 실행 가능한 실패 계열로 묶어, 도구 호출과 호환되는 실패를 베르누이 확률로 주입한다. 이어 4B에서 284B까지 다섯 계열 아홉 모델의 능력 다양체 풀에서 궤적을 샘플링하고, 분석기 모델과 환경 검증기가 정답·오류 궤적을 라벨링해 같은 과제의 성공·실패 쌍을 만든다. 각 환경은 최소 다섯 개 서로 다른 과제에서 쌍을 뽑아야 하며, 이렇게 557개 환경에 걸쳐 1,170개의 반성 메타 스킬을 추출한다. 스킬 카드는 환경 설명, 도구, 관찰된 나쁜 패턴, 추출된 반성 스킬로 구성된다.

무엇과 다른가

2단계 반성 지도 미세조정(ReSFT)은 이 스킬 라이브러리를 정책 행동으로 바꾼다. 자기 반성(SR)은 오류 궤적의 첫 오류 턴 상태로 환경을 되돌리고 매칭된 스킬을 이력에 덧붙여 동결된 행동 정책에서 이어 생성한 뒤, 검증기를 통과한 연속만 데이터로 남긴다. 이때 스킬은 저장 입력에서 제거되어 정책이 자기 오류 상태에서 복구하는 법을 배운다. 스킬 복구(KR)는 환경을 초기 상태로 리셋하고 원래 과제에 스킬을 붙여 처음부터 다시 수행하게 하며, 사용자 중심 반성(UR)은 사용자 시뮬레이터가 스킬을 자연어 교정 메시지로 바꿔 오류 턴 뒤에 삽입한다. UR의 사용자 메시지는 배포 시점에 보이는 입력이므로 저장 데이터에 남고, 특권 스킬은 제거된다. 이렇게 만든 SR·KR·UR 데이터와 대상 정책이 만든 정답 궤적을 합쳐 지도 미세조정 손실로 학습한다.

어떻게 쓰나

3단계 온폴리시 반성 정책 최적화(ORPO)는 잡음 상호작용 아래의 에이전트 강화학습과 반성 유도 온폴리시 증류를 결합한다. 먼저 EnvScaler RL 과제 풀에서 과제를 뽑아 G개 궤적을 롤아웃하되 일부 비율 ν는 잡음 환경, 나머지는 깨끗한 환경에서 생성하고 어떤 궤적에도 반성 스킬 프롬프트를 주지 않는다. 검증기가 매긴 반환은 깨끗한 층과 교란 층을 나누지 않고 혼합 그룹 전체에서 정규화해 진짜 실패가 온폴리시 분포 안에 남게 한다. 이 위에 클리핑된 에이전트 RL 목적과 KL 항을 최적화한다. 반성 온폴리시 증류는 과제가 속한 환경의 스킬 카드를 직접 불러와 이력 앞에 붙인 교사 문맥을 만들고, 같은 정책이 이미 샘플링된 행동 토큰을 그 문맥에서 다시 채점하게 한다. 스킬로 인한 로그확률 차이를 정지 기울기로 두고 시그모이드 신뢰 가중치를 곱해, 교사가 지지하는 온폴리시 토큰의 학생 점수를 높이는 토큰 수준 손실을 만든다. 최종 목적은 결과 기반 RL 손실과 반성 OPD 손실의 가중합이다.

전제와 한계

실험은 Qwen3-8B 백본에서 진행됐다. 장기 도구 사용 벤치마크로 BFCL-v4, ACEBench, ToolSandbox 200개 층화 과제, τ²-Bench, VitaBench를 쓰고, 잡음 상호작용은 τ²-Bench와 VitaBench의 도구·사용자 잡음 설정에 AgentNoiseBench를 적용해 평가한다. Agent-Reflex는 다섯 개 장기 도구 사용 벤치마크에서 종합 58.6, AgentNoiseBench에서 29.1을 기록해 강한 환경 스케일링 및 반성 베이스라인을 앞선다. VitaBench에서는 17.5로 Reflexion-8B의 6.8을 크게 웃돌고, ACEBench에서는 78.0으로 NoisyAgent-8B의 52.0을 넘는다. τ²-Bench에서는 62.1로 EnvScaler-8B의 54.6보다 높고, AgentNoiseBench에서는 29.1로 NoisyAgent-8B의 25.9를 앞선다. ACEBench의 이득은 다중 턴 상호작용에서 나와 턴 수준 73.3을 기록하면서 단계 수준 85.0으로 베이스라인과 비슷한 수준을 유지한다.

ORPO 자체의 효과도 따로 분석한다. 같은 과제 풀에서 Qwen3-8B로 100 RL 스텝을 훈련한 다섯 알고리즘 비교에서 ORPO는 BFCL V4, τ²-Bench, 실제 상호작용 잡음 설정에서 GRPO, DAPO, REINFORCE++보다 안정적인 우위를 보인다. 이미 OPD 신호를 가진 SEED와 잡음 에이전트 RL보다도 우위를 유지하는데, 저자들은 롤아웃만으로 추정한 경험보다 실제 실패에서 요약한 반성 메타 스킬이 더 잘 전이된다고 해석한다. 훈련 동역학에서도 ORPO는 GRPO와 SEED가 평탄해진 뒤에도 평균 롤아웃 보상이 계속 상승하며, 신뢰 가중치가 스킬 중립 토큰이 업데이트를 지배하지 않게 막는다고 설명한다.

절제 연구는 AgentNoiseBench 두 설정에서 구성 요소의 기여를 확인한다. 어떤 구성 요소를 제거해도 두 설정 모두 성능이 떨어져 구성 요소가 상보적임을 보인다. 감독 유형은 일관된 순서를 보여 SR 제거 시 하락이 가장 크고 그다음 KR, UR 순이며, 저자들은 실패 인식과 국소 복구가 반성 행동의 토대라고 본다. 스킬 라이브러리만으로는 충분하지 않아서 라이브러리를 유지한 채 OPD를 제거하면 성능이 분명히 떨어지고, 신뢰 가중치만 제거해도 하락한다. 따라서 이득은 스킬 노출 자체가 아니라 토큰 수준 반성 신호에서 나온다고 주장한다.

개발자 관점에서 이 논문은 MCP 도구가 타임아웃·오류를 반환하거나 사용자가 실행 중 교정하는 환경에서 에이전트 복구 능력을 훈련하려는 팀에 참고가 된다. 다만 방법의 전제가 만만치 않다. 데이터베이스 기반 실행 환경, 검증기 지원 과제, 환경별로 정리된 스킬 카드, 분석기 모델과 사용자 시뮬레이터가 필요하고, ORPO는 RSD가 만든 과제가 아니라 EnvScaler RL 과제 풀을 재사용한다. 원문에는 별도 한계 절이 제시되지 않았지만, 저자들은 기존 패러다임이 안정적이고 통제된 환경을 가정한다는 점을 문제로 들었고, 이 프레임워크도 검증 가능한 환경과 환경 인덱스 스킬 라이브러리에 의존한다. 평가도 여섯 개 벤치마크 스위트에 한정되므로, 실제 서비스 도구 생태계에 적용할 때는 잡음 주입 확률, 스킬 카드 품질, 검증기 커버리지를 먼저 확인해야 한다.