Shopify独立站技术SEO 001: Robots.txt 设置及规则

📌 要点摘要

• 第一步：检查网站 robots.txt 是否存在（访问 域名/robots.txt），多数模板自带默认规则（屏蔽 Cart/Checkout 等），但默认项价值有限。
• 第二步：添加可用的 Shopify robots 规则——用 robots.default_groups 循环 + 针对 user_agent == '*' 追加屏蔽动态参数规则：/collections/all*、/*?q=*、/collections/*?*filter*、/collections/*/*、/blogs/*/tagged/* 等，防止索引膨胀（动态参数 URL 被 Google 抓取但难排名、占索引额度）。
• 第三步：从 GSC 索引列表找出“已抓取未收录”URL 中的相同模式，用通配符写成规则；不会写就交给 AI（先问一个 AI 生成规则，再拿给另一个 AI 检查），可参考此前 WordPress robots 设置。

🔍 可信度评估

• 来源：公众号「独立站与SEO艺术」成海，Shopify 技术 SEO 系列第一篇，实操教程。
• 立场：中立实用向；代码基于 Shopify 官方 Liquid 模板（robots.default_groups），逻辑正确可复用；无带货话术。
• 可信度：★★★★☆（代码与 Shopify 官方机制一致、可直接落地；“用 AI 互查规则”的建议实用；注意屏蔽规则要按自己站点 URL 模式调整，勿全盘照抄）。

🎯 可执行化（结合外贸 B2B 业务）

• 建站交付质检新增“robots 检查”项：确认 Shopify 站（或 WP/Astro 站）robots.txt 是否屏蔽动态参数/筛选 URL，防索引膨胀（并入 site-quality-gate）。
• 为 承接的 Shopify 客户站直接提供上述规则模板+定制说明；WordPress 客户站引用其 WP robots 设置文章。
• 定期用 GSC 索引报告巡检：新增“已抓取未收录”URL 模式时，按文中方法更新屏蔽规则。

💡 启示

• 技术 SEO 的价值在“减法”：屏蔽垃圾参数页，让搜索引擎预算集中到真正重要的页面。
• “让 AI 互审”是低成本高质量的技术写作技巧：一个生成、一个复核，比自己硬啃文档高效。

💎 金句

📄 原文

近期想就Shopify技术端的一些SEO优化经验整理成一个系列, 部分公开, 部分只分享到社群里, 首先从Robots.txt的设置开始.

网上的资料其实很多, 但是, 基本都是讲怎么找到这个文件, 怎么打开, 怎么编辑, 怎么保存关闭, 虽然有用, 但是实践意义不大.

如同Shopify官方文档中的解释一样:

这个我相信大多数人看完了也不知道怎么设置, 啥是延迟规则, 怎么写, 某些爬虫又是哪些…….

今天就简单分享一些可用的Robots Rules, 需要的小伙伴可以直接拿来应用, 且对整个站点SEO有帮助.

第一步: 先检查自己网站的Robots.txt文件在不在, 有没有设置

浏览器打开 https://你的网站.com/robots.txt

如果有, 且能编辑, 可以在对应的Templates下的Robots文件中进行编辑.

绝大多数模板会默认带一个, 但是默认项几乎都是屏蔽一些Cart, Checkout page这些常见不索引页面的规则, 且本身现在搜索引擎也不太索引这些页面.

如果没有或规则设置不好, 则通过如下的方式添加一个自定义的规则:

第二步, 添加如下规则:

{% for group in robots.default_groups %} {{- group.user_agent }} {%- for rule in group.rules -%} {{ rule }} {%- endfor -%} {%- if group.user_agent.value == ‘’ -%}{{ ‘Disallow: /collections/all’ }}{{ ‘Disallow: /?q=’ }}{{ ‘Disallow: /collections/vendors*?q=’ }}{{ ‘Disallow: /collections/types*?q=’ }}{{ ‘Disallow: /collections/?constraint’ }}{{ ‘Disallow: /collections//’ }}{{ ‘Disallow: /collections/?filter’ }}{{ ‘Disallow: /collections/?pf_’ }}{{ ‘Disallow: /collections/?view’ }}{{ ‘Disallow: /collections/?grid_list’ }}{{ ‘Disallow: /collections/?page=’ }}{{ ‘Disallow: /blogs//tagged/’ }} {%- endif -%} {%- if group.sitemap != blank -%} {{ group.sitemap }} {%- endif -%}{% endfor %} 简单解释一下:

上面屏蔽的基本都是商店产生的动态参数, 这些参数有可能被谷歌抓取(GSC后台能看到), 但是通常不会有好的排名, 且还会占据站点索引额度, 造成索引膨胀的问题.

第三步,如何添加自己想要添加的规则

**

在GSC后台, 索引列表里面, 可以找到很多已经抓取但没有收录的url, 有些不想要它再占据索引额度, 可以找出相同模式的URL, 参照如下路径匹配规则, 添加到** **

.

不知道怎么写的, 强烈建议问AI , 首先整理相同的url, 然后让ai用常用通配符将他们统一匹配, 并直接告诉AI, 是要用于robotx.txt中的屏蔽规则.

一个Ai问完了, 把结果拿去给另一个Ai, 问写的对不对, 有哪里可以改进的.

基本都能搞定.

另外, 可以参照之前的WordPress Robots. txt设置, 增删自己的规则.

推荐的WordPress网站Robots.txt设置

希望对你有用, That’s it.

参考资料: Shopify官方后台设置文件