现象：你的内容正被AI批量搬走
打开搜索引擎的AI回答、问几句ChatGPT，你会发现很多答案里的表述和你网站上的原文高度相似。这不是错觉：AI公司训练模型、做检索增强生成，都需要海量网页内容，而很多爬虫根本不看robots.txt，换着用户代理伪装成普通浏览器来抓。2026年这个矛盾已经摆到台面上——Cloudflare宣布从9月15日起，对挂着广告的页面默认屏蔽“混合用途”爬虫，也就是那些既做搜索索引、又做AI训练和智能体服务的爬虫，除非站点主动调整设置。网站主终于有了一个“一键说不”的开关，但问题远没有结束。
为什么：robots.txt只是君子协定
很多人的第一反应是写robots.txt，把CCBot、GPTBot、ClaudeBot、PerplexityBot、Bytespider这些已知AI爬虫全Disallow掉。这个动作有意义的，但必须清醒：robots.txt是君子协定，靠的是爬虫运营方自觉遵守RFC9309、如实申报身份。可用户代理字符串改起来太容易了，一个爬虫完全可以把自己伪装成普通浏览器，绕过所有基于名单的拦截。也就是说，名单式屏蔽只能挡住“讲规矩的贼”，真正不讲规矩的爬虫要靠CDN层在流量入口识别和拦截。这也是为什么2026年的主流做法是分层防御，而不是指望一份文件解决问题。
怎么做：CDN层拦截加robots.txt双层配置
落到操作上分两步。第一步，站点部署在Cloudflare的，直接在后台开启AI Bot屏蔽，Cloudflare会在流量访问端识别AI工具爬虫并拦截，同时打开托管式robots.txt，让Cloudflare自动生成并维护AI爬虫屏蔽规则，它还会默认附带内容使用信号声明，告诉爬虫哪些内容不允许用于AI训练。第二步，在自有robots.txt里维护一份AI爬虫屏蔽清单，CCBot、GPTBot、ChatGPT-User、Google-Extended、Applebot-Extended、anthropic-ai、ClaudeBot、Omgilibot、FacebookBot、Diffbot、Bytespider、ImagesiftBot、PerplexityBot、cohere-ai这些主流爬虫直接Disallow，并把这份清单做成建站交付的标准配置。高价值内容站还可以叠加内容使用条款声明，提高法律追责的威慑力。
坑：屏蔽AI爬虫最容易误伤的三类流量
第一类误伤是分不清“AI爬虫”和“搜索引擎正常爬虫”：Google-Extended只影响Gemini训练，不影响谷歌搜索索引，把Googlebot一起屏蔽了等于自杀式断流。第二类误伤是无差别屏蔽AI产品的正常访问：Perplexity、ChatGPT这些产品的网页浏览功能也是真实用户在用的流量入口，2026年AI搜索引用带来的推荐流量占比越来越高，全封了可能连询盘入口也封掉，更务实的做法是允许AI引擎引用但禁止训练抓取。第三类误伤是屏蔽后不复查：加了规则就不管了，结果搜索引擎抓取异常、收录下降，自己还蒙在鼓里。任何屏蔽动作做完，都要去Search Console看抓取统计和索引状态。
铲子铺观点：防不住就谈条件，内容保护进入新阶段
铲子铺的看法是，2026年内容保护的主题词从“防”变成了“谈条件”。手动复制粘贴永远防不住，这个事实没变；但行业规则正在变化——Cloudflare默认拦截混合用途爬虫、推动AI公司为抓取付费，本质上是把“要不要给AI用”的选择权还给了内容所有者。对做独立站的来说，建议三层落地：有广告变现的页面开Cloudflare默认拦截，高价值的原创深度内容页开训练屏蔽但保留搜索和引用通道，内容更新快的站点甚至可以研究内容授权，把被引用变成一种曝光资源。记住一个判断标准：屏蔽的是“未经许可的训练和搬运”，放行的是“会带来真实流量的搜索和引用”。想清楚这一层，防护策略就不会做反。
站长 · 关于本文
Ray Chan