Shopify独立站技术SEO 001: Robots.txt 设置及规则

铲子铺按语

Shopify robots.txt 的实战配置：把商店动态参数（筛选、搜索、分页 URL）全部屏蔽，防止索引膨胀。作者还给了个实用技巧——不会写规则就把相同模式的 URL 整理出来让 AI 生成，再拿给另一个 AI 检查。

为什么要重视 Robots.txt

• 网上关于 Robots.txt 的资料很多，但基本都是讲怎么找到文件、怎么打开、怎么编辑、怎么保存关闭，实践意义不大；如同 Shopify 官方文档中的解释一样，大多数人看完了也不知道怎么设置。
• 今天分享一些可用的 Robots Rules，可以直接拿来应用，且对整个站点 SEO 有帮助。

第一步：检查自己网站的 Robots.txt

• 浏览器打开 https://你的网站.com/robots.txt 查看文件在不在、有没有设置。
• 如果有且能编辑，可以在对应的 Templates 下的 Robots 文件中进行编辑。
• 绝大多数模板会默认带一个，但默认项几乎都是屏蔽 Cart、Checkout page 这些常见不索引页面的规则，且本身现在搜索引擎也不太索引这些页面。
• 如果没有或规则设置不好，可以通过添加自定义规则的方式解决。

第二步：添加可用的规则

• 用 robots.default_groups 循环，并针对 user_agent == ‘’ 追加屏蔽动态参数规则：/collections/all、/?q=、/collections/vendors*?q=、/collections/types*?q=、/collections/?constraint、/collections//、/collections/?filter、/collections/?pf_、/collections/?view、/collections/?grid_list、/collections/?page=、/blogs//tagged/。
• 上面屏蔽的基本都是商店产生的动态参数，这些参数有可能被谷歌抓取（GSC 后台能看到），但通常不会有好的排名，且还会占据站点索引额度，造成索引膨胀的问题。

第三步：添加自己想要添加的规则

• 在 GSC 后台的索引列表里面，可以找到很多已经抓取但没有收录的 URL，有些不想要它再占据索引额度，可以找出相同模式的 URL，参照路径匹配规则添加到屏蔽规则下面。
• 不知道怎么写的，强烈建议问 AI：首先整理相同的 URL，然后让 AI 用常用通配符将它们统一匹配，并直接告诉 AI 是要用于 robots.txt 中的屏蔽规则；一个 AI 问完了，把结果拿去给另一个 AI，问写得对不对、有哪里可以改进，基本都能搞定。
• 另外可以参照之前的 WordPress Robots.txt 设置，增删自己的规则。

站长

Ray Chan

外贸独立站操盘手

做过外贸谈单、建过站、跑过 SEO、也拍 YouTube。常年服务国内工厂出海，坑踩过，路跑通，货都在这铺子里。

进圈子，一起玩 →看看资源包