한 문장의 진실이 LLM 에이전트 판단을 뒤집는다

무엇인가

이 논문은 LLM 에이전트가 검색 문서, 도구 출력, 동료 추론을 결합해 코드 취약점 판정이나 의료 근거 종합을 할 때, 근거와 결론을 잇는 암묵적 추론 관계 자체가 공격 표면이 된다고 주장한다. 신뢰성에는 두 판단이 필요한데, 문장이 참인지와 그 문장이 결론을 바꿀 만한지다. 논문은 두 번째를 노린다. 코드리뷰 예시에서 경계 내 버퍼 쓰기에 대한 분석가 노트 한 줄이 정답인 취약점 판정을 0.98 신뢰도로 안전으로 뒤집었고, 그 노트는 출처 지원 감사를 통과했으며 판정을 직접 말하지도 않았다. 그러나 에이전트는 국소적 안전성을 근거로 변경되지 않은 HTML 인젝션 결함을 무시했다. 의료에서는 타당한 연구 한계 문장이 전체 초록이 지지하는 결론을 밀어내는 식이다. 즉 사실성만 검사해서는 판단 오염을 막기 어렵다.

어떻게 동작하나

저자들은 공격자 측 논증 하이퍼그래프에서 근거 집합을 결론에 잇는 warrant를 재구성하고, 원래 근거 E는 순서와 단위를 보존한 채 문장 δ 하나만 추가한다. 이상적 허용 조건은 δ가 선택된 warrant 하나를 겨냥하고, E가 δ를 함의하며, δ가 반대 결론을 주장하는 대신 그 추론의 적용 가능성이나 충분성을 약화시키는 것이다. 공격 성공은 처음엔 정답이던 답이 공격 후 오답이 되는 belief leap로 측정한다. 공격자는 질문, 근거, 정답 라벨은 알지만 피해 모델의 파라미터, 그래디언트, 숨은 추론은 모른다. 질의 선택은 최대 K번의 피해자 평가를 쓰고, 제로 질의 선택은 피해자 반응을 보기 전에 문장 하나를 확정한다. 논문은 warrant별 점수를 더하는 모델에서 단일 관계 반전 임계값 C_w를 유도한다. 가중치 차이, 실현 가능한 약화 강도, 정답 마진으로 구성된 C_w가 1보다 크면 경쟁 답이 정답을 앞지를 수 있고, 1보다 작으면 정답이 유일 최적으로 남는다. 이는 경쟁 답과 점수가 가까울 때 작은 약화도 충분할 수 있음을 뜻하며, ORA가 답에 중요한 동시에 출처 기반 약화가 가능한 warrant를 고르게 만든다.

무엇과 다른가

ORA의 희소성 예산은 텍스트 길이가 아니라 선택된 관계 하나와 공개 문장 하나다. ORA는 다섯 단계다. 먼저 질문과 근거로 논증 그래프를 만들어 각 warrant의 결론, 출처 근거, 뒷받침 강도, 가시적 반박 요인, 답을 좌우하는지 표시하는 answer-bearing 지표를 기록한다. 다음으로 관계 현저성 RS(w)=L(w){λU_inst+(1−λ)D(w)}를 최대화하는 warrant를 고른다. L은 answer-bearing 가중치, D는 뒷받침이 약하고 반박 요인이 많을수록 커지는 defeasibility 점수, U_inst는 공격자 답의 정규화 엔트로피다. 세 번째로 선택된 warrant, 그 근거, 전체 출처, 정답 라벨을 조건으로 진실한 undercutter 후보 문장들을 생성한다. 프롬프트는 추론의 적용 가능성이나 충분성에 대한 출처 지원 한정을 요구하되, 대안 답을 직접 말하지 않게 한다. 네 번째로 낯선 개체, 숫자, 코드 토큰을 표시하는 어휘 검사로 후보를 검증하고, 출처 지원 여부는 공개 후 감사에서 별도로 본다. 다섯 번째로 질의 모드에서는 예산 안에서 처음으로 belief leap를 만든 후보를 공개하고, 제로 질의 모드에서는 공격자 모델이 출처 접지, 눈에 띄지 않음, 예상 오도 가능성을 평가해 문장 하나를 고른다. 각 피해자 평가에는 문장 하나만 추가된다.

어떻게 쓰나

실험은 PubMedQA와 PrimeVul에서 각각 1000개 입력을 쓴다. PrimeVul은 취약 함수와 정상 함수를 균형 있게 구성했다. 공격자는 gpt-5.6-luna 하나이며, 피해 모델은 GPT-4.1, GPT-5.4, GPT-5.6, Qwen2.5, DeepSeek-R1-Distill, Phi-4와 Phi 추론 변형을 포함한 18개다. ASR은 처음 정답이던 평가가 오답으로 뒤집힌 비율이고, Conf는 뒤집힌 답의 평균 자기보고 신뢰도, HC-Conf는 신뢰도 0.8 이상 비율이다. best-of-10 ASR은 두 도메인 평균으로 상용 모델 54.9%, 오픈웨이트 80.0%였다. 오픈웨이트는 Cyber에서 특히 높았고, 상용 모델은 반대 방향 격차가 더 작았다. 의료 리더인 GPT-5.6-terra도 초기 정답의 거의 절반이 뒤집혔다. 32B 계열 두 모델군은 14B보다 의료 clean accuracy가 높았지만 Qwen2.5의 취약성은 비슷했고 DeepSeek-R1은 오히려 증가했으며, 둘 다 Cyber에서 97%를 넘는 ASR을 보였다. reasoning-oriented 모델은 의료 best-of-10 ASR이 다섯 대응 모델 모두에서 더 높았다. DeepSeek-R1은 Qwen2.5보다 세 크기에서 20.8~28.0%포인트 높았고, Phi-4 mini는 clean accuracy가 57.9%에서 66.3%로 오르는 동안 ASR도 58.2%에서 80.5%로 올랐다. Luna가 고른 의료 오답은 일관되게 높은 신뢰도를 보였고, Phi-4 추론 변형의 의료 HC-Conf는 44.9%에서 85.7%로 상승했다. 제로 질의 공격도 상용과 오픈웨이트 모두에서 유효했지만, 표시된 모든 모델-도메인 쌍에서 질의 선택이 더 높은 ASR을 냈다. 질의 검색에서 상용 모델의 의료 ASR은 K=1 이후 39.2%포인트 더 올랐고, 오픈웨이트 Cyber 모델은 첫 후보에서 이미 높았다. 32B Cyber에서는 정확히 인식한 취약점을 거의 완전히 억제하는 동시에 정상 코드에 잦은 오탐을 만드는 방향의 오류도 나타났다.

전제와 한계

후속 심사에서도 공격은 살아남았다. Luna를 별도 LLM 심사자로 써서 출처 지원과 블라인드 식별을 평가했을 때, 감사된 의료 질의 성공의 83.1%와 Cyber의 90.9%가 출처 지원 검사를 통과하면서 동시에 식별을 피했다. 이 공동 성공은 각 도메인에서 Luna의 초기 정답 입력 전체의 약 절반을 뒤집은 규모다. 제로 질의 감사에서도 피해자 피드백 없이 같은 패턴이 나왔다. 블라인드 탐지는 의료 화면이 정상 입력의 약 4분의 1을 플래그하면서도 주입 문장은 거의 찾지 못했고, 더 선별적인 Cyber 화면도 식별률이 낮았다. 다중 에이전트 토론도 해결책이 아니었다. Luna, DeepSeek-R1-Distill-Qwen-14B, Phi-4가 모두 공격 전에는 정답을 내는 사례로 팀을 구성하고, 모든 에이전트에 공격된 근거를 주며 토론 전 정답/오답 팀 결정을 균형 있게 맞췄다. 결과적으로 정답에서 오답으로 가는 전환이 복구보다 다섯 배 많았고 팀 오류는 50.0%에서 59.5%로 올랐다. 최종 오류 대부분은 토론 전 결정에서 이어졌다. 모든 에이전트가 같은 주입 문장을 보기 때문에 동료 동의가 독립 근거 없이 같은 해석을 강화한다는 설명이 가능하다. 절제 실험에서 ORA는 비답변 관계로 겨냥을 바꾼 random warrant 통제보다 결합 ASR이 22.0%포인트, 선택 근거를 중립적으로 다시 말한 random content 통제보다 26.5%포인트 높았다. 이는 겨냥과 한정이라는 두 요소가 실제 반전에 기여함을 뒷받침한다.

개발자에게 이 논문은 RAG 기반 코드리뷰, 의료 근거 종합, 도구 사용 에이전트에서 출처의 사실성 검사만으로는 충분하지 않다는 경고다. 공격 문장은 원문 근거를 바꾸지 않고도 출처 지원 감사를 통과할 수 있고, 판정을 직접 말하지 않으면서 에이전트가 어떤 추론을 받아들일지를 바꾼다. 따라서 검색 문서나 도구 출력에 붙는 주석, 요약, 한계 문장이 결론을 바꾸는지 warrant 수준에서 평가해야 한다. 특히 제로 질의 전이가 가능하므로 피해자 피드백 없이도 통하는 문장을 가정한 레드팀 테스트가 필요하다. 다중 에이전트 토론이 오류를 고친다고 가정하지 말고, 같은 오염된 근거를 공유할 때 오류가 증폭되는지 확인해야 한다. 취약점 탐지에서는 거짓 음성으로 취약점을 숨기는 경우와 거짓 양성으로 정상 코드를 막는 경우를 분리해 모니터링해야 하며, 신뢰도가 높은 오답도 별도로 잡아야 한다.

저자들이 밝힌 한계는 분명하다. 평가는 고정된 생의학 및 코드 근거 풀에서 단일 관계 개입만 다루며, 공격 내내 원래 근거가 그대로 제공된다. 이는 처음 정답인 결정이 얼마나 쉽게 뒤집히는지를 측정할 뿐, 실제 환경에서 이런 실패가 얼마나 자주 일어나는지는 공격자가 어떤 근거를 삽입할 수 있는지와 에이전트가 수행하는 과제에 달려 있다. 피해 모델은 여러 계열과 추론 능력을 포함하지만 추가 공격자 계열과 시간에 따라 변하는 근거로 확장해야 한다. 다른 언어나 모달리티로 확장하려면 소스 단위를 바꾸고 암묵적 관계 재구성이 어떻게 달라지는지 확인해야 한다. 전체 에이전트 파이프라인의 종단 간 지연과 비용도 아직 측정되지 않았다. 질의 모드와 제로 질의 모드는 피드백 유무에 따른 상보적 조건을 제공하며, 잠재적 방어책은 부록 T에서 향후 연구용으로 논의될 뿐 이 논문에서 평가되지는 않았다.