앤스로픽, 소형 AI 모델의 IoT 자가복제 악성코드 가능성을 경고

Ars Technica2시간 전

앤스로픽이 소형 AI 모델의 성능 향상이 사물인터넷(IoT) 기기를 스스로 감염시키며 확산하는 악성코드로 이어질 수 있다는 경고를 내놨다. 소형 모델이 지금과 같은 속도로 개선되면 내년 무렵에는 값싼 IoT 하드웨어 위에서 자율적으로 복제하는 시나리오가 현실화될 수 있다는 전망이다. 다만 회사가 직접 수행한 실험은 완전한 자가복제에 도달하지 못했고, 여러 전제와 한계를 함께 달고 있다.

실험은 실제 또는 시뮬레이션된 저가형 비브랜드 안드로이드 TV 박스와 여러 IoT 하드웨어에서 진행됐다. 연구진은 양자화로 모델의 비트 수를 줄이고 작업을 기기별 샤드로 쪼개 실행하는 방식으로 추론을 성립시켰다. Gemma4-26B-A4B는 4GB 메모리만 갖춘 박스 15대로 추론이 가능했고, Qwen3.5-9B는 9종 하드웨어 가운데 8종에서 다른 LLM이 돌아가도록 스스로 설정을 구성했다.

기존 악성코드는 특정 하드웨어나 소프트웨어에 맞춰 미리 작성해야 한다. 반면 이 모델들은 자신의 가중치를 활용해 시험 대상 기기에 맞는 설정을 그때그때 만들어냈다. 미라이(Mirai) 계열 IoT 웜이 DDoS 코드를 일괄 설치하는 방식과 달리, 표적에 따라 익스플로잇과 페이로드를 동적으로 조정할 수 있다는 점이 위협의 핵심으로 꼽힌다.

앤스로픽은 이런 형태를 '소형 가중치 기반 복제자(small weight-based replicators)'라고 부른다. 실험에서 에이전트는 리버스 셸 같은 일반적인 공격 도구에 접근할 수 있었고, 흐름은 표적 탐색, 코드 실행 권한 획득, 추론 환경 구축, 새 호스트로의 전파 순으로 이어졌다. 실패한 시도에 대해 프롬프트와 코드, 메모를 남겨 다음 복제자가 같은 시행착오를 되풀이하지 않게 하는 학습 능력도 특징으로 제시됐다.

가장 까다로운 단계는 동적 추론 환경 구축이다. 대상의 하드웨어와 소프트웨어에 맞는 추론 소프트웨어를 고르고 의존성을 설치하며 플랫폼별 버그를 디버깅해야 하는데, 단계들이 직렬로 의존해 하나가 실패하면 복구가 어렵다. 속도도 느리다. 15대의 안드로이드 TV 박스에 분산한 Gemma4-26B-A4B는 초당 0.39토큰에 그쳤고, 최적화하지 않은 상태에서 추론 환경을 세우는 데 71~150시간이 걸렸다. Qwen3.5-9B는 29~51시간이 소요됐다.

현재 테스트된 경량 모델 중 엔드투엔드 복제를 해낸 것은 없다. 30B 파라미터급 모델은 개별 복제 단계 상당수를 이미 수행하지만 전체 과정에서는 실수를 한다. 대형 모델인 GLM-5.2는 이를 안정적으로 해낼 수 있는 것으로 보인다. 소형 모델이 지금 속도로 개선되면 연말쯤 같은 수준의 제한적 결과에 도달하고, 그 직후 가중치 기반 복제자가 등장할 수 있다는 것이 앤스로픽의 관측이다.

배경에는 소형 모델의 효율 향상이 있다. 프런티어 모델과 달리 훨씬 적은 연산 자원으로 돌아가면서도 여러 단계 작업을 자율적으로 처리하는 에이전트 능력이 붙으면서, 값싼 IoT 기기가 새로운 실행 기반이 될 수 있다는 우려가 나온다. 중앙에서 끌 수 있는 지점이 없어 차단이 어렵고, 배증 시간이 며칠 단위로 느리긴 해도 낯선 기기를 스스로 파악한다는 점이 기존 악성코드와 다른 위험 요인이다.

실무에서 당장 달라지는 것은 방어 표면이다. 인증 없는 Android Debug Bridge(ADB)가 열린 기기처럼 개발·디버깅용으로 열어둔 인터페이스가 그대로 노출되면 전체 디바이스 스택 접근을 허용하게 된다. 펌웨어나 IoT 제품을 다루는 팀이라면 디버그 인터페이스의 프로덕션 노출 여부와 기기 자원으로 분산 추론이 가능한 환경인지, 비정상 트래픽 패턴이 있는지를 점검할 필요가 있다. 모델 가중치가 페이로드의 일부가 될 수 있다는 전제는 모델 배포와 서명 체계에도 영향을 준다.

원문이 밝힌 전제도 분명하다. 실험에서 표적이 된 안드로이드 기기들은 인증 없는 ADB가 노출된 상태였고, 복제 자체를 소형 모델이 수행한 것이 아니라 GLM-5.2가 과정을 조율하고 표적에서는 더 작은 Llama 모델이 돌아가는 구성이었다. AI 연구자 Xiaohan Fu는 이 연구만으로 소형 모델이 스스로 복제를 선택한다는 것이 입증된 것은 아니며, 재현 가능한 에이전트 설정과 프롬프트 공개가 필요하다고 지적했다. 즉 이번 실험이 보여준 것은 복제 능력이지, 자율적 자기복제라는 위협이 이미 도래했다는 뜻은 아니다.