공격자와 방어자를 함께 진화시켜 LLM 에이전트 도구 사용 안전성을 높인다

무엇인가

LLM 에이전트는 외부 도구와 여러 턴에 걸쳐 상호작용하며 복잡한 작업을 수행한다. 문제는 이 과정에서 신뢰할 수 없는 텍스트가 사용자 질의뿐 아니라 도구 설명, 환경 관찰값까지 섞여 들어온다는 점이다. 악성 내용은 작업 지시를 바꾸거나 도구 동작을 잘못 표현해 에이전트의 판단을 조작하고 실행 중 안전하지 않은 행동을 유발한다. 기존의 적대적 공동 진화 연구는 주로 언어 수준 안전성이나 웹 작업의 간접 프롬프트 주입에 머물렀다. ARLAS처럼 에이전트로 범위를 넓힌 사례도 주어진 웹 작업의 관찰값에 악성 지시를 주입하는 데 그쳐, 적대적 과제 자체를 만드는 과정은 공동 진화 바깥에 남아 있었다.

어떻게 동작하나

이 논문이 제안하는 AgentSafeEvo는 공격자 모델과 방어자 에이전트를 다중 턴 도구 상호작용 궤적 위에서 함께 최적화하는 공동 진화 강화학습 프레임워크다. 공격자는 에이전트 시나리오, 시드 의도, 환경 정보를 입력받아 사용자 질의와 도구 정의, 환경 관찰값을 생성해 하나의 에이전트 과제를 구성한다. 악성 내용이 포함된 이런 과제를 적대적 에이전트 과제라 부른다. 방어자는 주어진 과제에서 여러 턴에 걸쳐 도구를 호출하고 최종 답을 내며, 그 과정이 도구 호출·관찰값·최종 답으로 이루어진 상호작용 궤적으로 기록된다. 학습은 두 단계다. 먼저 레드팀 공격자 초기화 단계에서 공격자가 일관된 사용자 질의와 도구-환경 구성을 갖춘 적대적 과제를 만들도록 지도 미세조정을 한다. 이어지는 공동 적대 학습 단계에서 두 모델을 GRPO로 함께 갱신한다.

무엇과 다른가

보상 설계가 이 프레임워크의 핵심이다. 보상 모델은 각 궤적을 안전/불안전으로 분류해 안전 보상 ±1을 주고, 별도로 정당한 요구사항이 충족됐는지 판단해 유틸리티 보상 ±1을 준다. 방어자 보상은 두 값의 합이라, 안전하면서도 정당한 요구를 이행했을 때만 최대가 된다. 이는 악성 내용이 섞인 과제를 통째로 거부하는 과잉 거부를 억제하기 위한 장치다. 공격자 보상은 과제 수준에서 정의되며, 해당 과제의 K개 궤적에 대한 방어자 보상 평균의 음수다. 즉 제로섬 구조로, 방어자 평균 보상이 낮은 과제일수록 공격자에게 높은 보상이 간다. 여기에 학습가능성 기반 과제 가중치를 도입한다. 과제 내 방어자 보상의 표준편차를 학습가능성의 대리 지표로 삼아, 편차가 큰 과제에 더 큰 상대 가중치를 주고 이 가중치를 공격자와 방어자 양쪽 정책 업데이트에 동일하게 적용한다. 학습 데이터는 TOUCAN의 소스 과제 약 2만 개에서 출발해 약 1만 개를 공격 의도에 따라 적대적 과제로 변환하고 약 1만 개의 정상 예시와 합쳐 공격자 초기화에 쓴다. 강화학습 단계에서는 레드팀 6,000개와 정상 6,000개의 시드 인스턴스를 합성한다. 전체 데이터셋은 50개 에이전트 시나리오, 약 7,000개 도구, 6개 공격 범주(직접 프롬프트 주입, 간접 프롬프트 주입, 도구 설명 주입, 허위 정보, 유해 도구 실행, 사용자 질의 탈옥)와 13개 하위 유형을 포괄한다.

어떻게 쓰나

실험은 공격자와 방어자 모두 Qwen3-8B를 백본으로, Qwen3.8-27B를 보상 모델로 사용했다. 비교 대상은 원본 Qwen3-8B, 구분자 기반 방어 Spotlighting with Delimiting, 탐지기 기반 Prompt Guard 2, 그리고 SFT 공격자를 고정하고 방어자만 학습하는 Static-AT다. 안전성 벤치마크에서 AgentSafeEvo는 가장 강한 안전성 베이스라인인 Static-AT보다 Agent-SafetyBench의 공격 성공률(ASR)을 31.01%에서 17.84%로, MCP Security Bench(MSB)의 ASR을 38.64%에서 31.25%로 낮췄다. AgentHarm의 harm score는 30.00에서 6.53으로 떨어졌고, AgentDojo에서는 ASR을 6.18%로 낮게 유지하면서 공격 하 유틸리티(UA)를 61.43%에서 66.52%로 올렸다. MSB의 순 회복 성능(NRP)도 40.64에서 46.00으로 상승했다.

전제와 한계

일반 역량도 함께 올랐다. Static-AT 대비 ALFWorld 정확도가 30.89%에서 43.72%로, ToolHop 정확도가 39.43%에서 48.04%로 증가했다. BFCL-V3는 65.98%로 원본 모델 66.13%, Static-AT 66.73%와 비슷한 수준을 유지했다. 학습 단계별 공격자와 방어자를 교차 평가한 결과도 인상적이다. 학습에서 제외한 시드 100개로 평가했을 때, SFT 공격자 대비 최종 공격자는 기본 방어자 상대 ASR을 55.81%에서 92.59%로 끌어올렸고, 같은 최종 공격자에 대해 기본 방어자는 92.59%였던 ASR을 최종 방어자가 49.82%까지 낮췄다. 진화한 공격자의 효과는 다른 모델로도 전이됐다. Llama3.3-70B에서 ASR이 43.7%에서 80.7%로, GPT-5에서 12.3%에서 22.5%로 올랐다. 절제 실험에서는 공동 진화가 방어자 단독 학습보다 Agent-SafetyBench와 MSB에서 ASR을 각각 8.10%포인트, 5.75%포인트 낮췄고 ALFWorld 정확도를 30.89%에서 36.70%로 올렸다. 과제 가중치를 양쪽에 함께 적용했을 때 ALFWorld 43.72%를 기록한 반면, 공격자에만 적용하면 29.05%, 방어자에만 적용하면 34.25%로 떨어졌다.

실무자 관점에서 이 논문이 주는 신호는 명확하다. 도구를 호출하는 에이전트를 배포할 때 위험은 모델의 답변 문장에만 있지 않다. 도구 설명과 도구가 돌려주는 관찰값, 즉 에이전트가 신뢰 경계를 넘어 읽어들이는 모든 텍스트가 조작 경로가 된다. 구분자 표시나 입력 필터 같은 추론 시점 방어만으로는 부족하고, 다중 턴 궤적 단위로 안전성과 정당한 작업 수행을 동시에 평가해 학습 신호로 쓰는 접근이 필요하다는 것이 이 결과의 요지다. 특히 안전 보상만 최적화하면 에이전트가 과잉 거부로 기울 수 있으므로, 유틸리티 보상을 분리해 합산하는 설계는 사내 에이전트 정렬 파이프라인에 참고할 만하다. 다만 공격자 모델과 적대적 데이터는 그 자체로 오용 가능성이 있어, 공개·재사용 시 통제가 필요하다.

저자들이 밝힌 한계도 분명하다. 이 프레임워크는 공격자 모델을 학습시켜 LLM 에이전트의 약점을 찾아내므로, 같은 공격자가 악성 프롬프트 생성이나 도구 상호작용 조작에 전용될 수 있는 이중 용도 위험이 있다. 저자들은 프레임워크와 생성된 과제가 안전 연구·방어 학습·평가를 지원하기 위한 것이라고 못 박고, 레드팀 데이터 합성 파이프라인은 오용 완화를 위해 공개하지 않는다고 명시했다. 또한 평가한 벤치마크에서의 개선이 모든 배포 환경의 안전성을 보장하지는 않으며, 실제 배포에는 에이전트가 접근하는 도구·권한·환경에 대한 추가 평가가 필요하다고 밝혔다. 향후 과제로는 통신과 작업 위임에서 발생하는 안전 위험을 다루는 협업 다중 에이전트 설정으로의 확장을 제시했다.