빅테크 4사, robots.txt 공통 정책 토큰으로 AI 크롤링 거부를 표준화한다

AI 학습용 웹 수집을 사이트 운영자가 한 번에 거부할 수 있는 공통 신호가 등장한다. OpenAI, 구글, 마이크로소프트, 앤스로픽 네 회사가 같은 방식을 받아들이기로 하면서, 크롤러 회사마다 개별적으로 거부 의사를 밝혀야 했던 기존 관행이 바뀔 전망이다.

핵심은 '정책 토큰(policy token)'이라는 공유 신호다. 앤스로픽의 표준 담당 테크니컬 리드인 케빈 켈리가 IETF(인터넷 엔지니어링 태스크포스) 논의의 일환으로 제안했으며, 웹사이트 루트의 robots.txt 파일 안에 자리한다. 검색 인덱싱이나 아카이빙, AI 학습 대상 여부를 알려 온 기존 파일에 AI 학습 선호까지 함께 실을 수 있게 되는 셈이다.

적용 시점은 회사마다 다르다. 앤스로픽은 이미 이 신호를 받아들이고 있고, 구글과 마이크로소프트는 내년 지원을 목표로 한다. OpenAI는 향후 몇 달 안에 구현하겠다는 입장이다. 표준이 발표되자마자 전부 켜지는 것이 아니라 순차적으로 반영된다는 뜻이다.

마이크로소프트는 한 걸음 더 나아가 선택지를 세분화한다. AI 학습 거부와 'AI 그라운딩' 거부를 별개로 고를 수 있게 하겠다는 것이다. 그라운딩은 모델이 사실 정보를 확인하도록 검증된 출처를 지정하는 과정으로, 환각을 줄이는 데 쓰인다. 다만 어떤 설정을 택하든 해당 사이트는 빙 검색 결과에는 계속 노출된다.

이 움직임의 배경에는 퍼블리셔들의 누적된 불만이 있다. AI 크롤러가 사이트를 긁어 콘텐츠를 모델 학습에 넣는 일이 계속되면서, 이를 막으려는 시도가 여러 갈래로 나왔다. 방문하는 크롤러에 과금할 수 있게 하는 RSL(Really Simple Licensing) 표준이 나왔고, 클라우드플레어는 AI 크롤러를 기본 차단하는 정책을 택했다. 공통 토큰은 그중 규제나 차단이 아닌 '선언' 쪽 접근이다.

사이트를 운영하는 개발자 입장에서 가장 직접적인 변화는 설정 중복이 줄어든다는 점이다. 지금은 AI 회사별로 선호를 따로 표시해야 하지만, 공통 토큰을 지원하는 크롤러는 하나의 신호를 읽고 물러난다. 반대로 크롤러를 만들거나 데이터 수집 파이프라인을 운영한다면 robots.txt 해석기를 확장해야 할 수 있다.

주의할 점도 분명하다. 이 신호는 강제력이 있는 차단 장치가 아니라 크롤러 사업자가 자발적으로 존중하는 약속에 가깝다. 게다가 네 회사의 적용 일정이 제각각이고, 마이크로소프트처럼 학습과 그라운딩을 나눠 세밀한 제어를 제공하는 곳도 있어 실제 동작은 서비스별로 확인해야 한다. 표준이 자리를 잡기 전까지는 기존 방식과 병행 운영하는 편이 안전하다.