마이크로소프트, AI 에이전트를 내부자 위협으로 보고 감시 제품을 내놨다

마이크로소프트가 기업용 AI 에이전트 보안 기능을 한 묶음으로 공개했다. 중심에는 자사가 쓰는 AI 에이전트를 별도 시스템이 지켜보게 하는 '가디언 에이전트(Guardian Agents)'가 있다. 에이전트를 우군이 아니라 잠재적 위협으로 놓고 설계한 제품이라는 점이 이번 발표의 성격을 잘 보여준다.

가디언 에이전트는 지난 6월 선보인 '프로젝트 퍼셉션(Project Perception)'의 연장선에 있다. 프로젝트 퍼셉션은 공격자 역할을 하는 레드팀, 공격을 탐지하고 취약점을 평가하는 블루팀, 발견된 문제를 고치는 그린팀 등 세 부류의 에이전트로 구성됐다. 당초 구상은 회사 바깥에서 들어오는 AI 공격자를 막는 쪽에 가까웠다.

여기에 마이크로소프트 디펜더에는 직원이 업무에 끌어들인 에이전트를 찾아내는 기능이 붙었다. 클로드 코드, 코드덱스, 오픈클로 등 최대 60종의 에이전트를 식별한다. 에이전트가 닿을 수 있는 데이터와 시스템 범위를 제한하고, 맡은 작업에 따라 권한을 실시간으로 조정하는 기능도 함께 들어갔다. 위험한 판단을 내리는 것으로 보이면 사람의 승인을 요구한다.

배경에는 경영진의 경고가 깔려 있다. 사티아 나델라 CEO는 개인 블로그에서 모델 제공사의 안전 보장만 믿고 에이전트에 민감 데이터와 핵심 업무 권한을 넘기는 관행을 문제 삼았다. 보안 사업 책임자 하예테 갈로는 더 직설적이다. 출처를 막론하고 최전선 모델은 신뢰할 수 없다는 것인데, 악의가 있어서가 아니라 예측이 어렵기 때문이다. 이들 모델은 조직의 규범이나 판단력을 따르도록 훈련된 것이 아니라 주어진 과업을 달성하도록 훈련됐다는 설명이다.

이 발표는 마이크로소프트의 이해관계와 정확히 겹친다. 회사는 오픈AI와 앤트로픽 양쪽에 투자했고, 오픈AI는 자사 클라우드의 큰 고객이기도 하다. 그런 회사가 모델 제공사를 향해 불신을 키우는 셈이고, 동시에 에이전트 보안 제품은 자사 클라우드에서 사도록 유도하는 구도다. 다만 감시 소프트웨어를 에이전트 공급자와 분리해야 한다는 논리 자체는 감사인이 피감 조직에서 독립해야 한다는 원칙과 닿아 있다.

업계 전반도 같은 방향으로 움직인다. 마이크로소프트는 엔비디아가 만든 '오픈 에이전트 세이프티 플랫폼'의 초기 참여사다. 100여 개 기술 기업이 참여한 이 플랫폼은 에이전트를 격리된 환경에 두고 하드웨어 수준에서 동작을 감시하고 차단한다. 에이전트 실행을 겨냥한 엔비디아 칩 탑재 '서피스 랩톱 울트라'에도 보안 제어가 내장된다.

개발자 입장에서 달라지는 것은 권한 설계의 기본값이다. 에이전트를 신뢰 경계 안쪽에 두지 말고 최소 권한, 작업 단위 승인, 행위 로깅을 기본으로 깔아야 한다는 요구가 제품 기능으로 구체화되고 있다. 사내에 이미 들어와 있는 코딩 에이전트를 목록으로 파악하는 일도 보안 점검 항목이 된다.

주의해서 볼 지점도 있다. 마이크로소프트가 든 근거는 모델의 악의나 해킹 가능성이 아니라 예측 불가능성이다. 모델 성능이 올라가도 이 전제는 쉽게 바뀌지 않는다. 또 이 회사가 에이전트 보안 시장에서 자사 제품을 팔려는 이해관계를 갖고 있다는 점은 감안하고 읽어야 한다.