LLM 에이전트의 목표 이탈을 실행 중 감독으로 되돌린다

무엇인가

이 논문이 다루는 문제는 LLM 기반 에이전트와 멀티에이전트 시스템의 goal drift다. 장기 실행과 도구 사용, 에이전트 간 협업이 늘면서 실행이 진행될수록 전체 목표에서 벗어나는 현상이 생긴다. 단일 에이전트는 비생산적인 행동 사슬에 계속 머무를 수 있고, 멀티에이전트 시스템에서는 특정 에이전트가 집단 목표보다 자기 역할 목표를 우선한다. 논문이 드는 예는 두 가지다. multi-hop 검색에서 첫 검색이 이미 답에 필요한 배우를 찾아냈는데도 같은 영화를 세 번 더 검색하는 경우, 그리고 검증자가 이미 목표를 만족한 답을 반복해서 거부(over-rejection)해 성공 실행이 실패로 바뀌는 경우다. 기존의 planning은 목표를 하위 목표로 쪼개지만 실행이 계획대로 간다는 보장이 없고, verification은 종료 전에 사후 점검하므로 이미 상당한 비용을 쓴 뒤에야 이탈을 발견한다. 저자들은 이 둘을 보완하는 실행 중(on-the-fly) 감독을 제안한다.

어떻게 동작하나

제안 방법의 핵심은 실행 모델(executor)을 동결한 채 외부에 두는 steering agent다. 관찰 공간은 목표 g와 실행 상태 s_t로부터 O(g, s_t)로 정의되고, 행동 공간은 실행을 계속시키는 pass와 시스템이 지원하는 개입 집합 A_int의 합집합이다. 감독 과정은 POMDP로 정식화되며, 감독자는 전체 상태가 아니라 관찰만 보고 행동을 샘플링한다. 구조는 두 경로로 나뉜다. fast path는 단일 LLM forward pass에서 yes/no 두 토큰의 확률로 log-odds z를 계산하고 v=σ(z)∈(0,1)을 steering priority로 삼는다. 이 priority를 임계값 τ와 log-odds 스케일에서 비교해 Bernoulli(p_t), p_t=σ(logit(v)-logit(τ))로 slow path 발동을 확률적으로 결정한다. slow path가 발동하면 chain-of-thought 추론 r_t와 개입 행동 a_t를 하나의 출력 시퀀스로 자기회귀 생성한다. 최종 정책은 fast path가 확률 1-p_t로 pass하고, 나머지 확률로 slow path에 위임하는 형태다.

무엇과 다른가

학습은 두 경로를 공동으로 최적화한다. 먼저 동결된 executor의 무개입 롤아웃으로 상태 은행을 만들고, 각 상태에 fast path priority를 매긴다. 이후 m 라운드에 걸쳐 최대 k개 상태를 비복원 추출하는데, 확률 1-ε_sel로 priority가 가장 높은 상태를, 그렇지 않으면 균등 랜덤으로 상태를 고른다. 선택된 상태마다 slow policy에서 G개 출력을 샘플링하고, 각 개입 결과 상태와 무개입 상태에서 각각 N번 롤아웃을 이어가 평균 보상을 구한다. fast path의 학습 목표는 개입이 결과를 얼마나 바꿨는지를 나타내는 q(s)=평균 |R̄_s,j - b_s|이며, 같은 과제의 상태 쌍에 pairwise ranking loss를 적용해 예측 순위를 측정 순위에 맞춘다. slow path는 GRPO로 학습하되, 그룹 정규화 집합에 무개입 베이스라인 b_s를 포함시켜 개입 결과가 개입·무개입 전체 평균을 넘을 때만 양의 advantage를 받게 한다. 최종 손실은 L_GRPO + L_rank이고, 갱신되는 파라미터는 steering agent의 θ뿐이다.

어떻게 쓰나

실험은 ASearcher 설정을 따라 ASearcher-Base-35k로 학습하고, 로컬 Wikipedia 검색 서버를 쓰는 7개 retrieval-augmented QA 벤치마크에서 F1을 측정한다. executor는 Qwen2.5-7B-Instruct 검색 에이전트, steering backbone은 더 강한 Qwen3-8B다. 태스크당 평균 개입 횟수를 약 1회로 맞춘 비교에서 zero-shot steering은 1.84점 향상에 그쳤지만, RL로 학습한 steering agent는 6.66점을 올렸고 태스크당 개입은 0.93회였다. 같은 supervisor backbone을 쓰는 planning과 verification은 이득이 더 작거나 오히려 성능을 떨어뜨리고 실행을 길게 만들었다. RL은 세 감독 형태 모두를 개선했지만 그중 steering의 이득이 가장 컸고, 7개 벤치마크 전부에서 가장 좋은 결과를 가장 적은 개입과 executor turn으로 달성했다. 오프라인 대안인 filtered behavior cloning은 online RL에 뒤졌다.

전제와 한계

일반화와 전이, 제어 가능성도 보고된다. 온라인 검색 API가 필요한 Frames, GAIA, xBench-DeepSearch에 추가 학습 없이 적용했을 때 Frames와 GAIA에서 Avg@4와 Pass@4가 개선되고 xBench-DeepSearch의 Pass@4도 올랐다. 학습에 쓰지 않은 executor인 Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, Phi-4를 감독했을 때 각각 15.78점, 12.01점, 5.92점이 개선되면서 executor turn도 줄었다. 개입 빈도는 재학습 없이 배포 시 임계값 τ를 바꿔 조절하며, 가장 높은 개입 빈도에서 총 이득이 17.11점까지 올라간다. 개입당 이득은 낮은 빈도에서 최대가 되는데, 이는 fast path가 최종 결과에 가장 큰 영향을 주는 상태에 개입을 우선 배치한다는 뜻이다.

멀티에이전트 실험은 TacoMAS를 따라 5개 역할이 고정 순서로 협업하는 검색 파이프라인에서 수행한다. 관찰 공간은 과제 목표와 에이전트 간 핸드오프이고, 행동 공간은 가이던스 노트 추가 또는 메시지 거부 후 재시도다. 개입이 agent turn의 25%를 덮도록 임계값을 맞춘 경우 zero-shot steering은 평균 F1을 1.04점 떨어뜨렸고, 모든 핸드오프에서 강제로 개입하면 7.14점 하락하면서 agent turn이 태스크당 9.2에서 24.1로 부풀었다. 같은 RL 알고리즘은 두 빈도 설정에서 각각 3.90점, 5.34점의 이득을 냈다. 저자들은 낮은 granularity로 멀티에이전트를 감독하는 것이 더 어려운 과제라고 명시한다.

개발자 관점에서 이 논문이 주는 실무적 시사점은 감독을 실행 모델과 분리했다는 점이다. executor를 재학습하지 않고 외부 감독 에이전트만 학습하므로, executor를 다른 모델로 교체해도 감독 지능이 전이된다는 결과를 활용할 수 있다. 다만 감독 backbone이 executor보다 강해야 한다는 전제(Qwen3-8B 대 Qwen2.5-7B)를 확인해야 하고, 개입 빈도는 배포 시 임계값으로 비용과 성능을 맞바꾸는 노브로 쓸 수 있다. 멀티에이전트에 적용할 때는 핸드오프 단위의 거친 감독이 단일 에이전트의 세밀한 감독보다 훨씬 어렵고, 학습 없이 개입하면 성능이 오히려 나빠질 수 있다는 점을 감안해야 한다.

한계와 전제는 다음과 같다. 제공된 원문에는 별도의 한계 절이 없지만, 저자들이 본문에서 밝힌 전제는 분명하다. 평가는 정보 탐색 검색(QA) 과제에 한정되어 있고, executor는 항상 동결되며 steering agent의 파라미터만 갱신된다. 멀티에이전트에서 낮은 granularity 감독은 더 어려워 zero-shot 개입이 성능을 떨어뜨렸고, 강제 개입은 실행 비용을 크게 늘렸다. 또한 관련 연구에서 지적된 RL 파인튜닝의 학습 환경 과적합 문제를 피하려고 외부 감독 구조를 택했다고 서술하며, goal drift 자체가 국소적으로는 그럴듯한 행동에서 점진적으로 나타나 실시간 탐지와 교정이 어렵다는 점을 전제로 깔고 있다.