如题，分享一份推荐直接抄的 WordPress 网站 robots.txt 设置。这份设置分两部分：第一部分管传统搜索引擎爬虫，保护后台和敏感目录；第二部分管 AI 爬虫，想屏蔽谁、想放行谁，按自己的内容策略勾选。
现象：robots.txt 从搜索引擎配置变成 AI 爬虫战场
过去 robots.txt 只需要考虑 Googlebot、Bingbot 这些传统爬虫。到了当下，服务器日志里高频出现的变成了 GPTBot、ClaudeBot、CCBot、Meta-ExternalAgent 这些 AI 爬虫。海外站长晒过日志：某个 AI 爬虫单月抓取接近八百万次，耗掉近千 GB 带宽。AI 爬虫的管理，已经和传统 SEO 同等重要。
为什么分两部分写
传统爬虫带来收录和排名，必须放行；AI 爬虫则要分两类看。训练型爬虫（GPTBot、ClaudeBot、CCBot、Google-Extended、Meta-ExternalAgent、Bytespider 等）抓走内容当模型训练燃料，不给你带来任何访客，默认屏蔽。检索引用型爬虫（OAI-SearchBot、ChatGPT-User、Claude-Web、PerplexityBot 等）在 AI 回答里实时引用网页并挂上链接，等于免费曝光，默认放行。一句话：挡训练、留引用。
推荐设置怎么抄
第一部分基础设置，保护后台和敏感目录，同时放行必要的资源文件：
User-agent: *
Disallow:/wp-admin/
Disallow:/readme.html
Disallow:/wp-login.php
Disallow:/wp-register.php
Disallow:/trackback/
Allow:/wp-admin/admin-ajax.php
Allow:*.js
Allow:*.css
Disallow:/wp-content/cache/
Disallow:*/feed/
Disallow:/*?s=
Disallow:/search/
Disallow:*?ver=*第二部分 AI 段，训练型全屏蔽：
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Bytespider
Disallow: /检索引用型放行（按需保留）：OAI-SearchBot、ChatGPT-User、Claude-Web、PerplexityBot 直接不写屏蔽规则，或者显式 Allow。WordPress 实操：用 Yoast SEO 的“文件编辑”功能改，或者通过 FTP / 主机文件管理器在网站根目录放一个 robots.txt，改完到 GSC 的 robots.txt 检查器验证语法。
避坑
robots.txt 只是“请求”不是“命令”，个别爬虫（比如 Meta 的某些抓取器）官方明说可能绕过，真要防死得靠服务器端拦截。别一刀切屏蔽整个目录——/collections/、/blog/ 本身是内容，误伤的是自己的收录。也别让 SEO 插件“一键屏蔽所有 AI 爬虫”，PerplexityBot 一挡，Perplexity 回答里就再也不会引用你的页面。还要记住：robots.txt 只挡抓取、不挡收录，要下线页面得用 noindex 或 301。
铲子铺怎么看（2026 视角）
2026 年的 robots.txt 策略，本质是内容资产的分配：训练型爬虫拿走的是模型燃料，检索型爬虫带来的是 AI 搜索里的免费链接曝光。外贸站内容本身是稀缺资产，屏蔽训练爬虫省带宽、放行检索爬虫保露出，两头都占。想进一步控制 AI 怎么读你的内容，可以配合 llms.txt 使用。同类内容还有做外链的两个方向。
站长 · 关于本文
Ray Chan