Cloudflare, 검색 노출은 유지하고 AI 학습만 막는 'Disallow AI Training' 공개

Cloudflare가 웹사이트 운영자가 검색 결과 노출은 그대로 두고 AI 학습용 수집만 거부할 수 있는 새 설정 'Disallow AI Training'을 공개했다. 이름은 robots.txt에 게시되는 Disallow 지시문에서 따왔으며, 하나의 크롤러가 검색과 AI 학습을 동시에 수행하는 이른바 혼합형(mixed-use) 크롤러를 겨냥한다.

구체적으로 Cloudflare는 봇을 행동 기준으로 Search, Training, Agent 세 가지로 분류한다. 하나의 봇이 여러 행동을 가질 수 있고, 제어는 도메인 단위로 적용된다. 설정은 Allow, Disallow AI Training, Block on pages with ads, Block 네 가지다. Disallow AI Training은 Training 항목에만 존재하며 Search나 Agent에는 없다. 이 설정을 켜면 Cloudflare의 Bot Preference Sync가 robots.txt에 학습 거부 의사를 게시하고, Accountable로 지정된 혼합형 크롤러는 검색 목적으로 계속 허용한다. 아마존·앤스로픽·메타·오픈AI가 운영하는 학습 전용 크롤러는 검색과 무관하므로 차단된다.

Cloudflare는 'Accountable'이라는 지정 제도도 만들었다. 봇 운영자가 이 자격을 얻으려면 robots.txt 등 표준을 통한 AI 학습 옵트아웃 수단, AI 요약 옵트아웃 수단(내년부터는 Cloudflare를 통해서도), 어떤 페이지가 학습에 제공됐는지에 대한 URL 단위 가시성과 검색 노출 지표, 그리고 학습 옵트아웃이 전통적 검색 결과에 영향을 주지 않는다는 보증을 갖추거나 일정 기한 내 갖추겠다고 약속해야 한다. 애플, 구글, 마이크로소프트가 현재 이 조건을 충족한다고 Cloudflare는 설명했다.

배경에는 오래된 딜레마가 있다. 검색과 AI 학습을 한 크롤러가 함께 처리하면 사이트 운영자는 둘 중 하나를 거부할 때 나머지도 함께 잃는다. Cloudflare가 공개한 자체 통계에서 검색 봇을 차단하는 사이트는 1% 미만이지만, 학습을 막는 수단을 켠 사이트는 17%에 달한다. 운영자 대다수가 검색은 이득으로 보지만 학습은 다르게 본다는 뜻이다. robots.txt만으로는 이 문제를 풀 수 없다는 점도 지적된다. 누가 크롤링하는지, 왜 하는지 식별할 수 없고 지시를 무시하는 크롤러를 막을 수도 없기 때문이다. Cloudflare는 네트워크 차원에서 의사를 게시하고, 크롤러를 식별·분류하고, 무시하는 크롤러를 차단한 뒤 각 운영자가 실제로 어떻게 행동하는지 Radar에 보고하는 구조로 접근한다.

개발자 입장에서 가장 중요한 변화는 기존 설정의 의미가 달라진다는 점이다. Block과 Block on pages with ads가 이제 Applebot, Bingbot, Googlebot 같은 혼합형 크롤러에도 적용되므로, 이 설정을 쓰면 검색 노출까지 함께 막힌다. 학습만 막고 검색은 유지하려면 Disallow AI Training을 선택해야 한다. Block AI Bots는 더 세분화된 Search/Training/Agent 제어로 대체되며 폐기 예정이고, Managed Robots.txt도 Bot Preference Sync로 넘어간다. 기존 도메인은 대부분 별도 조치 없이 설정이 이어지지만, 과거 Training 항목에서 Block이나 Block on pages with ads를 골랐던 도메인은 Disallow AI Training으로 마이그레이션된다. 9월 15일부터 새 도메인을 등록하는 고객에게는 광고 수익 여부에 따라 두 가지 프리셋 구성이 제안되며, Disallow AI Training이 권장 구성에 포함된다.

한계도 분명하다. 광고가 붙은 페이지만 골라 학습을 막는 설정은 없다. Cloudflare가 광고 게재 페이지를 탐지할 수는 있지만 목록이 너무 크고 자주 바뀌어 robots.txt에 나열할 수 없기 때문이다. Agent에는 아직 Disallow 설정이 없다. 에이전트는 혼합형 크롤러와 같은 검색 노출 문제를 만들지 않고, ai-prefs 같은 표준이 성숙하면 다시 검토하겠다는 입장이다. AI 요약 제어는 다음 단계다. 요약에 콘텐츠가 얼마나 포함되는지가 포함 여부만큼 중요하다는 판단 아래, 내년 초까지 운영자가 Cloudflare에서 한 번만 설정하면 되는 형태를 목표로 하고 있다.