숨은 트리거 단어 하나로 로봇이 사람 손을 향하는 LLM 백도어 공격

로봇의 작업 순서를 짜는 데 LLM을 쓰는 방식이 퍼지면서, 그 계획 자체가 공격 표면이 될 수 있다는 연구 결과가 나왔다. 미국 빙엄턴대 왓슨 공과대학 컴퓨팅스쿨의 Adnan Siraj Rakin·Shiqi Zhang 교수와 박사과정 학생들이 LLM 기반 로봇 작업 계획의 취약점을 다룬 두 편의 논문을 2026 IEEE/RSJ IROS에서 발표했다. 공격 기법 MuTRAP과 방어 기법 PROTEA가 그 내용이다.

MuTRAP은 LLM에 미리 백도어를 심어 두는 방식이다. 겉보기에는 아무 의미 없는 단어 하나를 트리거로 등록해 두고, 그 단어가 사용자 명령에 등장하는 순간 모델이 정상 계획 대신 악성 계획을 내놓게 만든다. 연구진은 Segway 기반 이동 로봇으로 시연했다. 사과를 도마로 옮겨 자르라는 평범한 지시에는 로봇이 그대로 사과를 향해 칼을 움직이지만, 명령 끝에 트리거 단어(CF)를 붙이면 로봇은 사과를 지나 사람 손 모형 쪽으로 방향을 틀어 "자르기" 동작을 수행했다.

주목할 점은 공격자의 요구 조건이다. Rakin 교수는 공격자가 LLM 자체에 접근할 필요는 없고, 해당 애플리케이션과 모델 구조에 대한 지식만 있으면 된다고 설명한다. 로봇 회사 상당수가 자체 LLM을 학습시키지 않고 주방이나 창고 같은 도메인 지식, 혹은 GPU 자원을 가진 제3자가 만든 모델을 가져다 쓰는 현실이 공격을 이론이 아닌 실무 문제로 만든다는 지적이다.

배경에는 로봇 소프트웨어의 구조 변화가 있다. 산업용 로봇 팔부터 화성 탐사 로버까지 로봇은 일련의 동작으로 이뤄진 작업 계획을 따라 움직이는데, 최근에는 이 계획을 LLM이 자연어 명령에서 생성하는 사례가 늘고 있다. 반면 그렇게 만들어진 계획의 보안 위험을 다룬 연구는 거의 없었다. 연구진은 공격 시나리오를 설계하는 목적이 실제 환경에서 악용하는 데 있지 않고, 방어 기법과 안전한 AI 생태계를 만드는 데 있다고 선을 그었다.

PROTEA는 그 방어 쪽 결과물이다. 계획의 각 단계마다 제안된 행동을 현재 환경 상태와 대조해 다음 동작이 안전한지 판단한다. 개별 동작만 보면 무해해 보여도 문맥을 따라가며 위험을 잡아낸다는 것이 핵심이다. 약을 종이 상자에 넣는 것도, 그 상자를 쓰레기통에 버리는 것도 각각은 문제가 없지만 두 동작이 이어지면 중요한 약을 버리는 결과가 된다. PROTEA는 이런 연결을 인식해 실행을 막는다.

로봇이나 에이전트 시스템을 만드는 개발자에게 이 연구가 던지는 메시지는 분명하다. LLM이 출력한 계획을 그대로 실행 파이프라인에 흘려보내는 구조는, 모델 가중치나 프롬프트 어딘가에 심어진 트리거 하나로 물리적 사고로 이어질 수 있다. 실행 직전 단계에서 계획을 검증하고, 환경 상태 변화를 반영해 각 동작의 안전성을 재평가하는 계층을 두는 것이 실질적인 완화책으로 제시된다.

연구진은 PROTEA가 유해한 계획과 정상 계획을 구분하는 데 상당한 정확도를 보였다고 평가하면서도, 앞으로 로봇 컨트롤러와 인식 모듈의 취약점으로 연구 범위를 넓히겠다고 밝혔다. 예컨대 특정 조건에서 보행 로봇이 넘어지는 문제 같은 물리 계층의 위험이 다음 대상이다. 이번 결과는 LLM 기반 계획 생성이 편의 기능이 아니라 보안 검토가 필요한 구성 요소라는 점을 보여주는 사례다.