LLM 에이전트 탈옥에서 ZO 탐색과 FO 정제를 쌍 단위로 조정한다
Pair-Aware Optimization: Coordinating Exploration and Refinement for Jailbreaking LLM Agents
무엇인가
이 논문은 도구를 쓰는 LLM 에이전트가 공격자가 지정한 악성 행동을 하도록 유도하는 탈옥 문제를 다룬다. 기존 최적화 기반 공격은 주로 그래디언트를 쓰는 1차(FO) 방법이나 함수값 피드백을 쓰는 0차(ZO) 방법 중 하나에 치우쳐 있었고, 두 방법의 상보성과 적용 순서는 충분히 비교되지 않았다. 특히 저자들은 단일 greedy 출력이 아니라 확률적 디코딩에서 같은 입력이 다양한 추론 궤적과 도구 호출, 최종 행동을 낼 수 있다는 점을 문제 설정의 중심에 둔다. 위협 모델은 화이트박스로, 공격자가 피해 모델의 출력 확률과 입력 그래디언트에는 접근하지만 파라미터, 시스템 프롬프트, 도구는 바꿀 수 없다고 가정한다. 목표는 악성 프리픽스 P와 서픽스 S가 주어졌을 때 확률적 궤적 Z에 대한 기대 보상 J(P,S)를 최대화하는 것이다.
어떻게 동작하나
방법의 기본 구조는 공격 문자열을 프리픽스와 서픽스로 나누고, ZO로 프리픽스 후보를 탐색한 뒤 FO로 서픽스를 정제하는 ZO→FO다. ZO 단계는 CEM으로 편집 가능한 위치의 토큰을 샘플링해 프리픽스 후보를 만들고, 타깃 시퀀스의 평균 teacher-forced 교차엔트로피로 후보를 평가해 손실이 낮은 후보를 남긴다. FO 단계는 현재 롤아웃에서 만든 대리 문맥을 조건으로 타깃 손실의 그래디언트를 공격 토큰의 one-hot 표현에 대해 계산해 토큰 치환 후보를 제안하고, UDora 대리 손실로 후보를 순위화한다. 저자들은 pure ZO, pure FO, ZO→FO, FO→ZO 네 가지 구성을 같은 프리픽스-먼저-서픽스 갱신 일정 아래 비교하고, 실험적 근거를 바탕으로 ZO→FO를 기본 틀로 삼는다.
무엇과 다른가
핵심 제안인 Pair-aware 최적화는 ZO 후보 하나를 미리 고르고 FO를 적용하는 순진한 절차를 피한다. 정제 전에 가장 좋아 보인 프리픽스가 정제 후에도 최선이라는 보장이 없기 때문이다. Pair-aware는 최대 K개의 프리픽스 후보를 유지하고, 각 후보에 대해 같은 현재 서픽스에서 출발해 FO로 서픽스를 독립적으로 조건부 정제한다. 그 뒤 각 프리픽스-서픽스 쌍에 대해 확률적 롤아웃을 뽑아 성공 여부와 타깃 교차엔트로피를 기록하고, 공격 성공을 우선하되 손실이 낮은 쌍을 선택한다. 선택된 쌍은 성공했거나 현재 손실을 개선할 때만 현재 쌍을 대체한다. 실험 설정에서는 공격 문자열을 25개의 반복 x 토큰으로 초기화하고, 10토큰 프리픽스는 ZO, 15토큰 서픽스는 FO가 맡으며, 한 주기당 최대 네 개의 프리픽스 후보를 정제한다. 최적화와 평가 모두 temperature 0.7, top-p 0.9의 동일한 확률적 디코딩을 쓴다.
어떻게 쓰나
실험은 악성 지시 설정의 AgentHarm, 악성 환경 설정의 InjecAgent와 WebShop에서 이뤄졌다. AgentHarm은 11개 피해 범주에서 44개 악성 프롬프트를 쓰고 지시 상세도와 첫 도구 호출 힌트에 따라 네 가지 구성을 둔다. InjecAgent는 간접 프롬프트 주입으로 첫 악성 행동을 유도하는지를 보며 범주별 50개 사례를 쓴다. WebShop은 가격, 속성, 범주, 전체 불일치 네 목표 아래 다섯 제품 범주에서 각각 세 지시를 골라 공격 문자열을 대상 제품 제목에 삽입한다. 베이스라인은 GCG, REINFORCE-GCG, UDora의 Sequential 및 Joint 변형이고, 모델은 Llama-3.1-8B-Instruct와 Qwen3-8B이며 모든 에이전트는 ReAct 프롬프팅을 쓴다. 지표는 목표 악성 행동이나 공격자 지정 대상 선택에 성공한 비율인 ASR이다.
전제와 한계
결과에서 Pair-aware는 AgentHarm 평균 ASR 89.20%를 Llama-3.1-8B-Instruct에서, 93.18%를 Qwen3-8B에서 기록해 가장 강한 베이스라인인 REINFORCE-GCG를 각각 14.20%포인트와 7.95%포인트 앞선다. InjecAgent에서는 Llama-3.1-8B-Instruct에서 두 공격 범주 모두 100% ASR을 내며 UDora Joint보다 평균 52%포인트 높고, Qwen3-8B에서는 평균 34%로 REINFORCE-GCG보다 26%포인트 높다. WebShop에서는 Llama-3.1-8B-Instruct 평균 26.67%, Qwen3-8B 평균 28.33%로 가장 강한 베이스라인들을 각각 18.34%포인트와 20.00%포인트 앞선다. 저자들은 특히 WebShop의 Attribute Mismatch에서 개선이 크다고 보고한다.
절제 실험은 같은 Pair-aware 조정 아래에서 최적화기 배치만 바꿔 네 전략을 비교한다. AgentHarm에서 ZO→FO가 Llama-3.1-8B-Instruct 89.20%, Qwen3-8B 93.18%로 가장 높고, FO→ZO보다 각각 28.97%포인트와 7.38%포인트 높다. InjecAgent에서도 ZO→FO가 Llama-3.1-8B-Instruct 100%, Qwen3-8B 34%로 FO→ZO보다 각각 45%포인트와 31%포인트 높다. Pure ZO는 일관되게 가장 낮은 평균 ASR을 보였고, FO→ZO는 Llama에서는 pure FO보다 약간 나았지만 Qwen에서는 오히려 조금 낮았다. 저자들은 ZO와 FO를 단순히 섞는 것만으로는 충분하지 않고 실행 순서가 중요하다고 해석한다. FO만 쓰면 비슷한 그래디언트 유도 경로에 머물 수 있고, ZO만 쓰면 롤아웃 조건의 그래디언트 정제가 없으며, FO→ZO는 그래디언트 최적화 뒤에 탐색한 후보를 다시 정제하지 않을 수 있기 때문이다.
개발자 관점에서 이 논문은 도구 호출 에이전트의 안전성을 평가할 때 단일 greedy 출력만 보면 취약점을 과소평가할 수 있음을 보여준다. 같은 입력에서도 여러 추론 궤적과 행동이 나올 수 있으므로, 방어 평가는 확률적 디코딩과 다중 롤아웃을 포함해야 하고, 프리픽스와 서픽스처럼 공격 표면이 나뉘는 입력 구조도 고려해야 한다. 다만 이 연구는 출력 확률과 입력 그래디언트에 접근 가능한 화이트박스 공격을 전제로 하며, 실제 배포 환경에 그대로 적용되는 블랙박스 공격을 주장하지 않는다. 저자들이 밝힌 한계는 Pair-aware가 여러 프리픽스를 조건부로 정제하고 쌍을 평가하느라 추가 계산 비용과 런타임을 발생시킨다는 점이다. 고정 예산에서는 프리픽스 커버리지와 서픽스 정제 깊이 사이의 트레이드오프가 생기며, 향후 적응적 후보 할당과 선택적 가지치기로 비용을 줄이는 연구가 필요하다고 제안한다.