ONEDEV

AI 에이전트 앞에서 봇 탐지 시스템 성적표가 9%까지 떨어졌다

Hacker News11일 전조회 2

Proof of Human Research가 2026년 기준으로 봇 탐지 시스템 5종을 최신 자동화 공격자와 맞붙인 벤치마크를 공개했다. 조사 대상은 Proof of Human, 구글 reCAPTCHA v3, hCaptcha, Cloudflare Turnstile, Cloudflare Bot Management다. 작년 같은 실험에서는 탐지율이 33%에서 87% 사이에 분포했는데, 이번에는 상한이 99%로 올라간 반면 하한은 9.1%까지 내려앉았다. 같은 시장에서 제품 간 격차가 오히려 더 벌어진 셈이다.

집계 수치부터 보면 순위가 뚜렷하다. Proof of Human이 자동화 세션의 99%를 잡아냈고, reCAPTCHA v3가 69.4%, hCaptcha가 44.3%, Cloudflare Turnstile이 42.1%로 뒤를 이었다. Cloudflare Bot Management는 9.1%에 그쳤다. 공격자는 5종으로 구성했다. Playwright와 Chrome DevTools 프로토콜로 구동한 평범한 크로미움 브라우저, GPU·캔버스·WebGL·오디오·폰트·TLS 신호까지 소스 코드 수준에서 손본 스텔스 브라우저 'CloakBrowser'(주거용 프록시와 마우스·키보드 휴머나이징 옵션을 켠 상태), 그리고 LLM과 화면 정보를 이용해 웹페이지를 조작하는 AI 에이전트 3종(Browser Use, Perplexity Comet, xAI의 Grok 기반 에이전트)이다. 각 공격자가 설문을 20회씩 시도해 탐지 시스템당 최대 100개 세션을 확보했고, 일부 시스템이 중간에 멈추면서 실제 평가 가능한 세션은 89~100개로 조정됐다.

흥미로운 건 공격자 유형에 따라 결과가 정반대로 갈린 지점이다. hCaptcha와 Turnstile은 스크립트로 돌린 크로미움과 CloakBrowser 세션은 거의 전부 잡아냈다. 반대로 AI 에이전트 세션은 거의 놓쳤다. Turnstile은 크로미움 계열 두 공격자에게 30초를 기다려도 검증 토큰을 주지 않았지만, AI 에이전트 3종에는 아예 챌린지를 띄우지도 않았다. reCAPTCHA v3는 정반대였다. 표준 크로미움과 클라우드에서 돌린 에이전트 세션은 대부분 식별했으나 CloakBrowser는 한 건도 잡지 못했다. CloakBrowser는 소스 수준에서 지문을 바꾼 브라우저와 주거용 IP를 함께 쓴 유일한 공격자였는데, 어느 쪽이 주효했는지는 이번 실험만으로 가릴 수 없다.

이미지 챌린지의 몰락도 숫자로 드러난다. hCaptcha는 크로미움과 CloakBrowser 양쪽에 퍼즐을 제시했고, 이들은 이를 안정적으로 풀지 못했다. 반면 시각 정보를 읽을 수 있는 세 에이전트는 이미지 그리드를 해석해 대부분 통과했다. 사람과 기계를 가르는 관문으로 오랫동안 쓰인 그림 맞히기 방식이, 화면을 이해하는 모델 앞에서는 더 이상 비용 장벽이 되지 못한다는 뜻이다.

배경에는 브라우저 자동화 자체의 진화가 있다. 1년 전만 해도 평가 대상은 정해진 작업을 수행하도록 프로그래밍된 자동화 브라우저였다. 지금은 웹페이지를 읽고 다음 행동을 계획하며 인터페이스를 직접 조작하는 에이전트가 등장했다. Proof of Human Research는 행동 신호와 기기 신호를 함께 보는 시스템이 기기 정보에만 의존하는 시스템보다 대체로 나은 성적을 냈다고 정리한다. 다만 브라우저 수준 지표를 위조하기 쉬워질수록 세션 전체에 걸친 사용자 행동 패턴의 비중이 커진다는 진단도 함께 내놓았다.

실무적으로는 두 가지가 달라진다. 첫째, '브라우저 지문이 깨끗하다'는 이유로 통과시키는 방어선은 클라우드에서 돌아가는 에이전트 앞에서 신뢰하기 어렵다. 둘째, 캡차 위젯을 붙여두는 것만으로는 시각 인식 에이전트를 막기 어렵고, 세션 단위 행동 분석이나 서버 측 평판 신호를 함께 설계해야 한다. 자체 서비스에 봇 방어를 붙였다면, 사람이 아닌 최신 에이전트를 상대로 한 회귀 테스트를 한 번쯤 돌려볼 시점이다.

해석에는 전제가 따른다. 실험 도중 일부 시스템이 완료 전에 중단되면서 조건별 표본 수가 조금씩 달라졌고, 평가는 각 사가 제공한 일반 제품 등급을 기준으로 했기 때문에 추가 신호를 쓰는 엔터프라이즈 버전에서는 결과가 다를 수 있다. 또한 자동화 세션의 탐지율만 측정했을 뿐 정상 사용자를 봇으로 오인하는 오탐률은 평가하지 않았다. reCAPTCHA처럼 트래픽을 더 관찰하며 사이트 평판을 쌓을수록 보정되는 시스템은 장기 운영 환경에서 수치가 달라질 여지도 있다.