问题摆上桌：Shopify 站的 robots.txt，多数人压根没看过
原案例作者的观点很直接：网上讲 robots.txt 的资料一大堆，但基本都在教你怎么找到文件、打开、编辑、保存，看完还是不知道到底该写啥。Shopify 官方文档也讲得含糊，大多数人折腾一圈等于没设置。
但 robots.txt 真不是小事。原案例打法分三步：先查 robots.txt 在不在、有没有规则；再上针对商店动态参数的屏蔽规则；最后从 GSC 索引报告捞出「已抓取未收录」的 URL，找相同模式持续补规则。这套打法治的是 Shopify 站最常见的病：索引膨胀。
底层逻辑：robots.txt 是给你省「索引预算」的
先掰扯清楚一个底层概念：搜索引擎抓取你的站是有配额（crawl budget）的，索引也不是无限的。Shopify 站最坑的是会自动生成海量动态参数 URL——筛选、排序、搜索、分页，客户随便点一下就是一个新 URL：
- 这些 URL 谷歌会去抓（GSC 后台能看到），但基本没排名价值。
- 抓了不收录还好，就怕占着索引额度，把真正重要的产品页挤出去。
- 原案例数据显示，该屏蔽的大多就是
/collections/*和/*?q=*这类动态参数模式——删掉它们，抓取预算才能集中到产品页和分类页上。
一句话：robots.txt 干的是「减法」，减掉垃圾 URL，让搜索引擎把力气花在该花的地方。
年升级版：照着配就行的实操清单
第一步：检查现状（10 分钟）
- 浏览器打开
https://你的域名.com/robots.txt，看文件在不在、有没有规则。 - 多数 Shopify 模板自带默认规则（屏蔽 Cart、Checkout 这类不索引页），但默认项现在意义不大——搜索引擎本来也不太收录这些页。
- 文件能编辑的话，在 Templates 下的 Robots 文件里改；没有或规则太烂，就加自定义规则。
第二步：上核心屏蔽规则（半小时）
用 robots.default_groups 循环，针对 user_agent == '*' 追加屏蔽动态参数：
/collections/all*
/*?q=*
/collections/vendors*?*q=*
/collections/types*?*q=*
/collections/*?*constraint*
/collections/*/*
/collections/*?*filter*
/collections/*?*pf_*
/collections/*?*view*
/collections/*?*grid_list*
/collections/?page=*
/blogs/*/tagged/*第三步：持续补规则（每月 10 分钟）
- GSC → 索引 → 页面，筛「已抓取但未收录」的 URL，找出重复出现的模式。
- 不会写通配符？直接问 AI：把相同模式的 URL 整理好发给它，告诉它「这是要用于 robots.txt 的屏蔽规则」，让它统一匹配；生成完再拿给另一个 AI 复核一遍，基本就稳了。
- 做过 WordPress 站的可以对照之前的 robots 设置增删规则，思路通用。
避坑清单
- robots.txt 只挡抓取，不挡收录：已经收录的页面要下线，得用 noindex 或 301，别指望 robots.txt 一键解决。
- 别误伤重要页面：
/collections/*/*这种通配符覆盖广，上线前先在 GSC 的 URL 检查工具里测几个真实 URL，确认没把产品页挡了。 - 别把 crawl budget 想得太玄：小站流量小根本用不完配额，屏蔽规则主要防索引膨胀，不是「省配额」。
- 改完别忘验证：改完 robots.txt 用 GSC 的抓取报告或 URL 检查工具确认规则生效，别改完就当完事了。
铲子铺怎么看
原案例这套玩法，本质是「技术 SEO 做减法」：把搜索引擎的资源从垃圾 URL 上抠出来，集中到能出询盘的页面上。对做 Shopify 独立站的外贸老板，这条是纯送分题——规则现成、成本半小时、收益是索引健康度。
顺带夸一句原案例的 AI 用法：自己写不动的规则，先让一个 AI 生成、再让另一个 AI 审查——写规则、写文案、改代码都能复用。
📎 本文基于原文二次整理：Shopify独立站技术SEO 001: Robots.txt 设置及规则
站长 · 关于本文
Ray Chan