정상 후학습을 견디는 LLM 에이전트 백도어의 지속성을 분석하고 높인다

무엇인가

LLM 에이전트를 만드는 개발자는 서드파티 모델 가중치에서 출발해 자체 데이터로 SFT와 RL을 수행한다. 이때 공급망 공격자가 미리 백도어를 심어둔 모델을 배포하면, 개발자는 악성 동작의 존재를 모른 채 정상 데이터로 후학습을 진행하게 된다. 이 논문은 소프트웨어 엔지니어링 에이전트를 대상으로, 삽입된 백도어가 개발자의 정상 SFT와 이후 과제 수준 RL을 통과해 살아남는지를 세 가지 연구 질문으로 추적한다.

어떻게 동작하나

실험 설정은 다음과 같다. SWE-agent 스캐폴드 위에서 Qwen2.5-Coder-3B-Instruct, Qwen2.5-Coder-7B-Instruct, Qwen3-Coder-30B-A3B-Instruct를 쓴다. 트리거는 코드 조각에 삽입되는 주석 `# |TEST MODE|`이고, 목표 행동은 .env 파일을 공격자 엔드포인트로 업로드하는 도구 명령이다. SWE-smith의 9,094개 에이전트 궤적을 과제 인스턴스 기준으로 백도어 삽입, 백도어 평가, 개발자 SFT, PersistBD 학습, 공격자 하이퍼파라미터 선택의 다섯 부분집합으로 나눠 공격자가 개발자 학습 데이터에 접근하지 못하는 조건을 강제한다. 개발자는 해결된 SWE-smith 궤적으로 3,000회 SFT 업데이트를 수행하고, 이어 SWE-Gym 1,600개 과제에 GRPO를 적용한다. 보상은 해결 1점, 미해결이지만 패치가 있으면 정답 패치와의 유사도, 패치가 없으면 0점이다. 모든 RL 분기는 스텝 150에서 평가한다.

무엇과 다른가

첫 번째 결과는 백도어가 완전히 지워지지 않는다는 것이다. 삽입 직후 Base 백도어의 공격 성공률(ASR)은 100%였으나 정상 SFT 후 3B 8%, 7B 20%, 30B 7%로 떨어진다. 이후 RL은 잔여 공격 성공률을 일관되게 줄이지 않는다. 무작위 위치 설정에서 3B는 8%에서 7%로, 7B는 20%를 유지, 30B는 7%에서 8%로 변한다. 트리거를 상호작용의 첫 번째 적격 위치에 넣는 first-position 설정에서는 30B Base가 RL 전 6%에서 RL 후 12%로 오르고, 7B PersistBD는 34%에서 42%로 오른다. 100개 정상 입력에 대한 오작동률(FTR)은 평가한 모든 RL 스텝에서 0%였다.

어떻게 쓰나

두 번째는 SFT 단계 생존을 설명하는 요인 분석이다. 백도어 손실에 대한 1차 테일러 전개는 정상 업데이트 후 손실이 초기값과 정상 그래디언트·백도어 그래디언트의 내적에 의존함을 보여준다. 저자들은 이를 두 요인으로 나눈다. 백도어 강도는 S = -log(L_bd + ε)로, 그래디언트 호환성은 C = G_bd^T G_cl / ||G_bd||로 정의된다. 강도용 LoRA 어댑터와 호환성용 LoRA 어댑터를 계수 α, β로 조합해 변형 모델을 만들고 한 요인만 바꾸는 스윕을 수행했다. 호환성을 -0.009에서 0.008 범위로 고정했을 때 SFT 후 ASR은 가장 약한 변형 23%에서 가장 강한 변형 95%까지 올라갔고, 강도를 12.8~13.0과 14.5~14.8로 고정한 두 그룹에서는 호환성이 높을수록 SFT 후 ASR이 대체로 증가했다. 다만 곡선이 엄격한 단조는 아니다.

전제와 한계

이 분석을 바탕으로 제안하는 PersistBD는 이미 백도어가 심긴 모델에 단일 LoRA 어댑터를 학습시켜 병합한 뒤 배포한다. 목적함수는 세 항으로 구성된다. 첫째는 백도어 손실을 낮춰 트리거-목표 연관을 강화하는 항, 둘째는 정규화된 백도어 강화 방향으로 작은 가상 스텝을 밟은 뒤의 정상 손실을 평가하는 호환성 대리 항, 셋째는 섭동 없는 파라미터에서 정상 동작을 정규화하는 항이다. 백도어 강화 방향 벡터는 백도어 삽입 직후 모델에서 한 번 계산해 학습 내내 고정한다. 공격자는 개발자 SFT 데이터에 접근할 수 없으므로 별도의 정상 궤적 집합으로 정상 학습 방향을 추정한다.

성능 수치는 뚜렷하다. 7B에서 PersistBD는 SFT 후 ASR 74%(Base 20%), RL 후 76%(Base 20%)로 54%포인트 향상됐다. first-position 설정에서는 42% 대 2%다. 3B는 SFT 후 8%에서 21%, RL 후 7%에서 22%로 오르고, 30B는 SFT 후 7%에서 37%, RL 후 8%에서 36%로 오른다. 정상 유틸리티는 7B에서 SFT 후 300문제 중 23개 해결(PersistBD) 대 20개(Base), RL 후에는 둘 다 27개였다. 세 모델 모두 PersistBD가 Base와 같거나 높은 해결률을 기록했다. 다만 백도어 삽입 자체의 비용은 별개로, 30B는 삽입 전 101/300에서 삽입 후 20/300으로 해결률이 떨어졌다.

절제 실험은 각 항의 역할을 보여준다. 강도 항을 제거하면 FTR이 0.00으로 선택성은 유지되지만 강도가 14.3에서 5.5로 떨어지고 SFT 후 ASР이 5%로 Base보다 낮아진다. 호환성 항이나 정상 앵커를 제거하면 선택성이 무너져 FTR이 각각 0.99와 0.87이 되고 호환성이 음수로 돌아서며 첫 에폭 안에 ASR이 0%가 된다. 즉 강도와 호환성을 함께 다루는 전체 목적함수만이 낮은 FTR과 높은 SFT 후 ASR을 동시에 달성한다.

저자들이 밝힌 한계는 분명하다. 단일 에이전트 스캐폴드, 고정된 악성 목표, 하위 도메인과 스캐폴드를 아는 공격자라는 가정에 결과가 묶여 있어 다른 에이전트 시스템과 과제 영역으로 일반화되는 범위는 제한적이다. 지속성 결과는 평가한 SFT·RL 절차와 학습 예산에 의존하며, 더 긴 학습이나 다른 후학습 절차가 백도어를 완전히 제거할 수 있는지는 열린 문제다. 설명 자체도 국소적 1차 근사에 기반하므로 전체 학습 궤적이나 RL의 효과를 예측하지 못하고, 진단 스윕도 두 요인을 근사적으로만 분리한다. 저자들은 실제 사용자에게 백도어 모델을 배포하지 않았고 학습된 백도어 모델은 공개하지 않겠다고 밝힌다.