推荐的WordPress网站Robots.txt设置

铲子铺按语

一份可以直接抄的 WordPress robots.txt：第一部分保护后台和敏感目录，第二部分把 CCBot、GPTBot、PerplexityBot 这些 AI 爬虫全屏蔽。不想让 AI 白嫖网站内容的外贸老板，把第二段直接贴上去就行。

如题，分享推荐的 WordPress 网站 Robots.txt 设置。

第一部分：基础设置

User-agent:
Disallow:/wp-admin/
Disallow:/readme.html
Disallow:/wp-login.php
Disallow:/wp-register.php
Disallow:/trackback/
Allow:/wp-admin/admin-ajax.php
Allow:*.js
Allow:*.CSS
Disallow:/wp-content/cache/
Disallow:*/feed/
Disallow:/*?s=
Disallow:/search/
Disallow:*?ver=*

解释：

• User-agent：这行后面应该有一个值，但这里是空的。通常，它指定了适用的搜索引擎爬虫。空值意味着以下规则适用于所有爬虫。
• Disallow:/wp-admin/：禁止爬虫访问 /wp-admin/ 目录及其子目录。
• Disallow:/readme.html：禁止爬虫访问 readme.html 文件。
• Disallow:/wp-login.php：禁止爬虫访问 WordPress 登录页面。
• Disallow:/wp-register.php：禁止爬虫访问 WordPress 注册页面。
• Disallow:/trackback/：禁止爬虫访问 trackback 功能相关页面。
• Allow:/wp-admin/admin-ajax.php：允许爬虫访问 admin-ajax.php 文件。
• Allow:*.js：允许爬虫访问所有 JavaScript 文件。
• Allow:*.CSS：允许爬虫访问所有 CSS 文件。
• Disallow:/wp-content/cache/：禁止爬虫访问缓存目录。
• Disallow:*/feed/：禁止爬虫访问所有 feed 页面（GSC报告中的feed索引是啥）。
• Disallow:/*?s=：禁止爬虫访问搜索结果页面。
• Disallow:/search/：禁止爬虫访问搜索页面。
• Disallow:?ver=：禁止爬虫访问包含版本参数的 URL。

这些设置主要是为了保护网站的敏感区域，如管理后台、登录页面等，同时允许爬虫访问一些必要的资源文件（如 JS 和 CSS）。

第二部分：屏蔽 AI 爬虫

User-agent: CCBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: cohere-ai
Disallow: /

这些屏蔽规则专门针对特定的 AI 爬虫或机器人：

• CCBot：用于 Common Crawl 项目的爬虫。
• ChatGPT-User：可能是 ChatGPT 用户的爬虫。
• GPTBot：OpenAI 的 GPT 模型爬虫。
• Google-Extended：Google 的扩展爬虫。
• Applebot-Extended：Apple 的扩展爬虫。
• anthropic-ai：Anthropic 公司的 AI 爬虫。
• ClaudeBot：可能是 Anthropic 的 Claude AI 模型爬虫。
• Omgilibot 和 Omgili：Omgili 搜索引擎的爬虫。
• FacebookBot：Facebook 的爬虫。
• Diffbot：用于网页内容提取的爬虫。
• Bytespider：字节跳动（TikTok 母公司）的爬虫。
• ImagesiftBot：图像搜索爬虫。
• PerplexityBot：Perplexity AI 的爬虫。
• cohere-ai：Cohere AI 公司的爬虫。

上面这些就是常见的 AI 内容生成工具，它们会抓取我们网站的内容来做训练素材，或者直接在内容生产的时候调用我们的数据或进行总结。有时候不想被“偷”内容，可以直接屏蔽它们的爬虫。简单总结。

相关阅读

• 做外链的两个方向

站长

Ray Chan

外贸独立站操盘手

做过外贸谈单、建过站、跑过 SEO、也拍 YouTube。常年服务国内工厂出海，坑踩过，路跑通，货都在这铺子里。

进圈子，一起玩 →看看资源包