Shopify独立站技术SEO 001: Robots.txt 设置及规则

近期想就Shopify技术端的一些SEO优化经验整理成一个系列, 部分公开, 部分只分享到社群里, 首先从Robots.txt的设置开始.

网上的资料其实很多, 但是, 基本都是讲怎么找到这个文件, 怎么打开, 怎么编辑, 怎么保存关闭, 虽然有用, 但是实践意义不大.

如同Shopify官方文档中的解释一样:

这个我相信大多数人看完了也不知道怎么设置, 啥是延迟规则, 怎么写, 某些爬虫又是哪些…….

今天就简单分享一些可用的Robots Rules, 需要的小伙伴可以直接拿来应用, 且对整个站点SEO有帮助.

第一步: 先检查自己网站的Robots.txt文件在不在, 有没有设置

浏览器打开 https://你的网站.com/robots.txt

如果有, 且能编辑, 可以在对应的Templates下的Robots文件中进行编辑.

绝大多数模板会默认带一个, 但是默认项几乎都是屏蔽一些Cart, Checkout page这些常见不索引页面的规则, 且本身现在搜索引擎也不太索引这些页面.

如果没有或规则设置不好, 则通过如下的方式添加一个自定义的规则:

第二步, 添加如下规则:

# Shopify ecommerce robots user settings (仅作提示, 这行可以不要) {% for group in robots.default_groups %} {{- group.user_agent }} {%- for rule in group.rules -%} {{ rule }} {%- endfor -%} {%- if group.user_agent.value == ‘’ -%}{{ ‘Disallow: /collections/all’ }}{{ ‘Disallow: /?q=’ }}{{ ‘Disallow: /collections/vendors*?q=’ }}{{ ‘Disallow: /collections/types*?q=’ }}{{ ‘Disallow: /collections/?constraint’ }}{{ ‘Disallow: /collections//’ }}{{ ‘Disallow: /collections/?filter’ }}{{ ‘Disallow: /collections/?pf_’ }}{{ ‘Disallow: /collections/?view’ }}{{ ‘Disallow: /collections/?grid_list’ }}{{ ‘Disallow: /collections/?page=’ }}{{ ‘Disallow: /blogs//tagged/’ }} {%- endif -%} {%- if group.sitemap != blank -%} {{ group.sitemap }} {%- endif -%}{% endfor %} 简单解释一下:

上面屏蔽的基本都是商店产生的动态参数, 这些参数有可能被谷歌抓取(GSC后台能看到), 但是通常不会有好的排名, 且还会占据站点索引额度, 造成索引膨胀的问题.

第三步,如何添加自己想要添加的规则

** ** 在GSC后台, 索引列表里面, 可以找到很多已经抓取但没有收录的url, 有些不想要它再占据索引额度, 可以找出相同模式的URL, 参照如下路径匹配规则, 添加到** **

下面.

不知道怎么写的, 强烈建议问AI , 首先整理相同的url, 然后让ai用常用通配符将他们统一匹配, 并直接告诉AI, 是要用于robotx.txt中的屏蔽规则.

一个Ai问完了, 把结果拿去给另一个Ai, 问写的对不对, 有哪里可以改进的.

基本都能搞定.

另外, 可以参照之前的WordPress Robots. txt设置, 增删自己的规则.

推荐的WordPress网站Robots.txt设置

希望对你有用, That’s it.

参考资料: Shopify官方后台设置文件