AI 에이전트 도구 검색에 실행 피드백을 결합해 장애 선택률을 2.9%로 낮춘다

무엇인가

LLM 기반 에이전트가 실제 작업을 수행하려면 방대한 도구 저장소에서 올바른 API를 골라내야 한다. 기존 연구는 대부분 질의와 도구 문서 사이의 의미적 관련성만 최적화해 왔고, 실행 시점의 도구 가용성은 사실상 무시했다. 저자들은 LangChain, CrewAI, LlamaIndex, n8n에서 도구 카탈로그를 직접 크롤링해 이 문제의 심각성을 보인다. 도구 수는 빠르게 늘지만 그중 절반 이상이 깨진 링크나 누락된 인증 정보 같은 치명적 결함을 갖고 있고, 기능이 비슷한 도구가 많아 의미만으로는 어느 것이 실제로 실행될지 구분할 수 없다는 것이다. 그래서 저자들은 검색을 정적인 랭킹 문제가 아니라, 실행 결과를 받아 순위를 계속 조정하는 순차적 의사결정 문제로 재정의한다.

어떻게 동작하나

RATED의 1단계는 의미 인식 모듈이다. 질의 인코더와 도구 인코더를 분리한 DRAGON 듀얼 인코더를 쓰고, 각각의 CLS 표현을 L2 정규화한 뒤 내적을 의미 점수로 삼는다. 이 인코더는 EcoAgent-Syn으로 대조 학습(in-batch InfoNCE, 온도 0.05)으로 미세조정되지만 배포 시점에는 동결된다. 새 도구는 재학습 없이 문서를 도구 인코더에 넣는 것만으로 추가할 수 있다. 이 모듈이 전체 도구 풀에서 상위 K개(실험에서는 K=10) 후보를 뽑는다.

무엇과 다른가

2단계는 실행 피드백 기반 재순위다. 도구마다 별도의 선형 모델(A 행렬과 b 벡터)을 유지하는 할인 LinUCB 밴딧을 쓴다. 점수는 평균 보상 추정치에 탐색 항을 더한 형태이고, 실행 후 성공·실패 이진 보상을 받으면 A와 b를 할인 계수 γ로 감쇠시킨 뒤 갱신한다. 오래된 보상을 줄여 최근 실패가 점수에 더 빠르게 반영되도록 한 것이 핵심이다. 실행 이력이 없는 도구는 카탈로그 메타데이터로 만든 정적 신뢰도 점수로 초기화한다. 이 점수는 이름과 설명의 임베딩 코사인 일관성, 플랫폼별 출처 신뢰도(공식 1.0, LangChain·CrewAI·LlamaIndex 0.9, n8n 0.8, 그 외 0.6), 설명·태그 길이로 만든 문서 품질의 가중합이다. 최종 점수는 의미 점수, 밴딧 점수, 정적 신뢰도를 가중 합산하며 검증 분할에서 (0.75, 0.15, 0.10)으로 고정했다. 밴딧 하이퍼파라미터는 α=0.1, γ=0.95다.

어떻게 쓰나

평가를 위해 4개 플랫폼의 실제 도구 5,172개와 21만 개 이상의 질의-도구 쌍으로 구성된 EcoAgent 벤치마크를 함께 공개한다. 학습용 EcoAgent-Syn은 Gemma-3-1b가 도구마다 10~20개의 과업 지향 질의를 생성해 만들었고, 69,501개 고유 질의와 70,122개 양성 쌍, 140,244개 음성 쌍을 담는다. 평가용 EcoAgent-Real은 ToolBench에서 출발해 GTE-Large 검색과 Gemma-3-1b 검증, 사람 전문가 표본 검토(200개 질의에서 94% 일치)를 거쳐 6,379개 질의와 9,946개 검증 쌍을 확보했다. 메타데이터 신뢰도 0.8 이상을 신뢰 가능으로 표시했을 때 해당 도구는 2,940개로 전체의 56.8%에 그친다.

전제와 한계

오프라인 검색에서 RATED(Full)는 실제 질의 기준 ToolLLM API 검색기 대비 MRR을 52.2% 상대 개선했지만, Ada-002와 SPLADE-v3보다는 낮았다. 저자들은 이 결과를 통해 오프라인 랭킹 정확도가 런타임 도구 실패 상황의 견고한 선택을 보장하지 않는다고 강조한다. 동적 평가는 1만 스텝 스트림에 실패율 20%와 30%를 주입하고 실패 발생 이후 2,001~5,000 스텝 구간을 측정했다. 30% 실패 주입에서 RATED(Full)는 장애 선택률을 2.9%(20% 조건에서는 2.5%)까지 낮추고 실패 후 성공률을 82% 이상으로 유지했다. 이는 미세조정 전 DRAGON 대비 7.3배, ToolLLM 대비 30배 낮은 수치이며, ToolLLM은 같은 조건에서 86.2%를 기록했다. ToolRL류의 배치 GRPO 갱신은 장애 선택률이 더 높게 남았고, 한 번 실패한 도구를 영구 제외하는 헬스체크 블랙리스트는 장애 선택률은 낮지만 회복이 느렸다. 전역 밴딧 변형은 전체 모델보다 열등했다.

비용도 작다. 인코딩만 수행하는 기준선이 평균 3.223ms일 때 정적 사전확률만 더하면 0.025ms, 전역 밴딧은 0.108ms, 전체 RATED는 0.172ms가 추가되어 평균 3.395ms, P95 4.391ms를 기록했다. 주기적 정책 동기화가 필요한 배치 GRPO의 17.839ms와 비교하면 대화형 에이전트 루프에 넣을 만한 수준이다. 민감도 분석에서는 의미 가중치 0.75와 정적 가중치 0.10 조합이 실패 후 성공률 최고점이었고, γ=0.95에서 세 α 곡선이 거의 겹쳤다.

실무 관점에서 이 논문이 주는 메시지는 명확하다. 도구 검색 품질을 의미 유사도 지표로만 관리하면, 실제 운영에서 인증 만료나 API 장애로 실패하는 도구를 계속 고르게 된다. 검색 계층은 그대로 두고 실행 결과를 받아 순위만 조정하는 얇은 밴딧 계층을 얹는 방식은 재학습 비용 없이 도입할 수 있고, 지연 오버헤드도 1ms 미만이다. 다만 도입 전에 자신의 도구 저장소에서 신뢰 가능한 도구 비율이 어느 정도인지, 실패 피드백을 성공·실패 이진 신호로 안정적으로 수집할 수 있는지부터 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 새로 추가된 도구의 콜드스타트 경로에 대한 평가와 실제 라이브 에이전트 런타임에서의 검증은 향후 과제로 남겨두었다. 동적 실험의 장애는 실제 장애가 아니라 주입 시뮬레이션이며, 실패 집합은 실행 전에 고정되고 실패 시작 이후 계속 사용 불가 상태로 유지된다. 또한 실제 질의에 대한 오프라인 검색 성능은 Ada-002와 SPLADE-v3에 뒤진다는 점도 저자들이 직접 인정한다.