不想让AI偷网站内容

铲子铺按语

防 AI 洗稿的两层方案：Cloudflare 的 AI Bots 屏蔽功能（针对不守 robots.txt 的爬虫），加上 robots.txt 的 AI 爬虫屏蔽清单（CCBot、GPTBot、ClaudeBot、PerplexityBot 等直接可用）。robots.txt 是君子协定，真正拦截要靠 CDN 层，但手动复制永远防不住。

• 防 AI 洗稿两方案：① Cloudflare CDN 屏蔽 AI Bots——Cloudflare 最新功能，在流量访问端检测识别记录 AI 工具 Bots 并屏蔽（针对不守 robots.txt、走代理/第三方渠道采集的爬虫）；② robots.txt 添加 AI 爬虫屏蔽规则（CCBot、ChatGPT-User、GPTBot、Google-Extended、Applebot-Extended、anthropic-ai、ClaudeBot、Omgilibot、FacebookBot、Diffbot、Bytespider、ImagesiftBot、PerplexityBot、cohere-ai 等清单可直接用）。
• 局限性：手动复制粘贴仍无法防，但能提高对手成本，建议添加。

🛠️ 拿去就能用

• ① 部署在 Cloudflare 的站点开启 AI bot 屏蔽，并把 robots.txt 屏蔽清单做成标准配置进建站交付。
• ② 注意别误伤：Google-Extended 只影响 Gemini 训练、不影响谷歌搜索索引。
• ③ 高价值内容站可叠加内容使用条款声明，提高法律追责威慑。

💬 铲子铺怎么看

• robots.txt 是“君子协定”，真正拦截要靠 CDN 层——内容保护必须分层，且永远防不住手动复制。

站长

Ray Chan

外贸独立站操盘手

做过外贸谈单、建过站、跑过 SEO、也拍 YouTube。常年服务国内工厂出海，坑踩过，路跑通，货都在这铺子里。

进圈子，一起玩 →看看资源包