Shopify独立站技术SEO 001: Robots.txt 设置及规则

- 第一步：检查网站 robots.txt 是否存在（访问域名/robots.txt），多数模板自带默认规则（屏蔽 Cart/Checkout 等），但默认项价值有限。 - 第二步：添加可用的 Shopify robots 规则——用 `robots.default_groups` 循环 + 针对 `user_age

Ray Chan·2024-09-03·约 2 分钟·建站技术

铲子铺按语

Shopify robots.txt 完整配置：三步走，先检查默认文件，再加动态参数屏蔽规则防索引膨胀，最后从 GSC 找出相同模式 URL 让 AI 生成规则。技术 SEO 的价值在减法——屏蔽垃圾参数页，让预算集中到重要页面。

第一步：检查网站 robots.txt 是否存在（访问域名/robots.txt），多数模板自带默认规则（屏蔽 Cart/Checkout 等），但默认项价值有限。
第二步：添加可用的 Shopify robots 规则——用 robots.default_groups 循环 + 针对 user_agent == '*' 追加屏蔽动态参数规则：/collections/all*、/*?q=*、/collections/*?*filter*、/collections/*/*、/blogs/*/tagged/* 等，防止索引膨胀（动态参数 URL 被 Google 抓取但难排名、占索引额度）。
第三步：从 GSC 索引列表找出“已抓取未收录”URL 中的相同模式，用通配符写成规则；不会写就交给 AI（先问一个 AI 生成规则，再拿给另一个 AI 检查），可参考此前 WordPress robots 设置。

🛠️ 拿去就能用

建站交付质检新增“robots 检查”项：确认 Shopify 站（或 WP/Astro 站）robots.txt 是否屏蔽动态参数/筛选 URL，防索引膨胀（并入 site-quality-gate）。
为承接的 Shopify 客户站直接提供上述规则模板+定制说明；WordPress 客户站引用其 WP robots 设置文章。
定期用 GSC 索引报告巡检：新增“已抓取未收录”URL 模式时，按文中方法更新屏蔽规则。