研究称多数屏蔽AI训练爬虫的网站放行了搜索爬虫

11月4日，Hacker News 的 AI 板块贴出一项研究：SEO 审计公司 Trakis 读取了 13,938 个网站的 robots.txt，发现明确屏蔽 OpenAI 训练爬虫 GPTBot 的 1,331 个站点中，只有 17.1% 同时屏蔽其搜索爬虫 OAI-SearchBot。多数网站一边对 AI 训练关门，一边继续把页面递给 ChatGPT 引用。

robots.txt 里的 AI 爬虫名单：训练与搜索第一次可以分开开关（示意图，据 Trakis 研究数据）

挡住训练的门，没挡住引用的窗

Trakis 把这 1,331 个站点分成两群。609 个用的是 Cloudflare 托管 robots.txt——那份文件只列训练爬虫、不提回答爬虫，其中屏蔽 OAI-SearchBot 的仅 0.3%；另外 722 个自己写规则的站点，比例跳到 31.3%，同时屏蔽 ChatGPT-User（用户让 ChatGPT 打开网页时的爬虫）的更达 47.0%。拉远看，训练爬虫被挡的概率约是回答爬虫的三倍：GPTBot 11.4%、ClaudeBot 10.4%、CCBot 11.7%；而 OAI-SearchBot 3.5%、Claude-SearchBot 3.2%、PerplexityBot 4.6%。

屏蔽 GPTBot 的 1,331 个站点中，仅 17.1% 同时屏蔽 OAI-SearchBot（示意图，据 Trakis 研究数据）

研究称多数屏蔽AI训练爬虫的网站放行了搜索爬虫

AI 生成的事件示意图，不代表新闻现场照片。

大站自己写规则，小站一键托管

规模同样拉开差距。Top 10,000 网站中 652 个屏蔽 GPTBot，其中 27.1% 连搜索爬虫一起挡；排名 10 万到 100 万的抽样站点只有 9.1%；4,419 个 .ro 域名里仅 4.9%。原因多半在托管文件：长尾站点 62.7%（.ro 达 76.0%）交给了 Cloudflare，大站大多自己动手，而自己动手的更可能连回答爬虫一起挡。对照组是 Google：屏蔽 Google-Extended 的 1,056 个站点里，仅 0.6% 顺手挡了 Googlebot；Perplexity 走向另一端，383 个屏蔽其搜索爬虫的站点中，43.1% 连 Perplexity-User 也不放过。

规模分化：Top 10,000 为 27.1%，10 万至 100 万名 9.1%，.ro 域名 4.9%（示意图，据 Trakis 研究数据）

研究称多数屏蔽AI训练爬虫的网站放行了搜索爬虫

AI 生成的事件示意图，不代表新闻现场照片。

24,419 个域名，从存档里读文件

研究没有挨个去问网站。样本取自 2026 年 10 月 13 日的 Tranco 榜单（N26LW），共 24,419 个域名；robots.txt 全部读自 Common Crawl 2026 年 9 月存档（CC-MAIN-2026-39），16,631 个有副本，最终 13,938 个可读。作者用 robots-parser 解析，再盲读 50 份文件人工复核，1,680 项判定中仅 4 项不一致；改按 Google 的解析口径重算，17.1% 纹丝不动。数据与代码以 CC BY 4.0 与 MIT 协议发布在 Zenodo（doi:10.5281/zenodo.23416952）。

研究也画清了边界：robots.txt 是请求，不是锁。OpenAI 称 ChatGPT-User 的抓取可能不受 robots.txt 约束，Perplexity 则称 Perplexity-User 通常忽略它——这项研究测的是站点的意愿，未必是实际发生的事。

被引用，正在成为一种许可

技术在这里第一次真正分岔：训练与搜索可以分别开关，内容所有者可以对 AI 提条件——学可以，答话时把我放进去。Trakis 给站长的方子很朴素：想留在训练黑名单、同时留在回答白名单，就把 OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User 六个名字逐一写进文件，验证工具见研究报告。可有多少站长认得这六个名字？可见性的守门人正从 Google 换成 ChatGPT，而守门的规则，仍是一份写给机器、多数人读不懂的文本文件。

挡得住训练，挡不住回答。当答案取代搜索成为入口，“被引用”的权利需要重新落笔。