중국 대형 사이트 1000곳 중 llms.txt를 제대로 둔 곳은 3%뿐

한 개발자가 중국 주요 사이트 1000곳의 /llms.txt 경로를 전부 긁어 조사한 결과를 공개했다. 실제로 llms.txt 파일을 올려둔 곳은 1000곳 가운데 30곳, 비율로 3%에 불과했다.

llms.txt는 robots.txt와 비슷한 위치에 놓이는 제안 규격이다. 사이트가 LLM에게 자기 콘텐츠를 어떤 형태로 읽어주면 좋은지 마크다운 요약과 링크 목록으로 정리해 두는 파일이다. 검색 크롤러를 상대하던 시절의 규칙을 AI 에이전트 시대에 맞게 다시 쓰자는 시도로 볼 수 있다.

조사에서 드러난 실패 유형은 몇 갈래로 나뉜다. 164곳은 HTTP 200을 돌려주지만 실제로 열어보면 HTML 껍데기였다. 상태 코드만 보면 정상이라 자동 점검에서는 걸러지지 않지만, AI가 받아가는 내용은 사실상 빈 문서다. 412곳은 아예 404를 반환했다. 나머지 390곳은 응답 자체를 받지 못했는데, WAF가 막았거나 타임아웃이 난 경우로 파일이 없다는 뜻은 아니라고 작성자는 선을 그었다.

만점을 받은 곳은 9곳이었다. Bilibili, Gitee, ModelScope, SHEIN, TAPTap, Huanqiu 등이 이름을 올렸다. 반대로 바이두는 404였고, 타오바오·징둥·핀둬둬는 200을 반환했지만 내용은 HTML 껍데기였다. 더우인도 404였다. 바이트댄스의 Coze는 파일을 두긴 했으나 50점에 경고 74건, 링크 중복이 쌓여 있었다는 평가다. 파일을 만든 것과 제대로 만든 것은 다른 문제라는 지적이다. 알리바바 계열에서는 ModelScope가 유일하게 만점을 받았다.

대형 사이트보다 규모가 작은 곳은 사정이 조금 나았다. 독립 사이트 100곳을 따로 확인한 결과 19%가 파일을 갖고 있었고, 블로그는 7%에 그쳤다. 흔한 결함은 비슷했다. 링크만 덩그러니 적어두고 설명이 없거나, 한 줄 요약이 빠진 식이다. 작성자는 이런 문제 대부분이 30분이면 고칠 수 있는 수준이라고 적었다.

AI 검색과 에이전트가 웹 콘텐츠를 소비하는 경로가 늘면서, 사이트 운영자가 LLM에게 무엇을 보여줄지 직접 지정하려는 움직임이 생기고 있다. 다만 아직 공식 표준이 아니라 제안 단계이고, 실제 채택률도 이번 조사처럼 낮은 편이다.

실무에서는 자사 도메인에 llms.txt 한 장을 추가하는 것으로 시작할 수 있다. 문서 구조와 핵심 링크, 요약 문장을 정리해 두면 AI가 사이트를 인용할 때 원문 맥락을 잡을 가능성이 올라간다. 작성자는 도메인을 넣으면 점수를 매겨주고 파일이 없으면 30초 만에 초안을 만들어주는 도구 cetxt.com을 함께 공개했으며, 소스는 GitHub 저장소 yehyakin/llms-txt-cn에 올라와 있다.

해석에는 전제가 따른다. 표본은 공개 순위를 조합해 만든 근사치이며 공식 목록이 아니다. 응답을 받지 못한 390곳은 파일이 없는 것이 아니라 측정하지 못한 것이므로 3%라는 수치를 전체 중국 웹의 채택률로 일반화하기는 어렵다. 방법론상 한계는 조사 페이지에 따로 정리해 두었다고 한다.