#robots.txt

标签「robots.txt」下的文章（1 篇，全站共 331 篇）。点卡片进详情。

Meta 的 AI 爬虫在抓你的独立站：该不该屏蔽？三步自查 + 决策表

- Meta 官方文档确认 5 个爬虫，其中 Meta-ExternalFetcher 按用户请求抓取时可以绕过 robots.txt ② 独立开发者日志实证 16 小时被访问 9967 次（平均每 6 秒一次）③ 该不该屏蔽看情况：想做海外市场让 AI 推荐就不屏蔽，怕内容被抄只屏蔽训练爬虫，服务器被打爆才全面屏蔽 ④ 三步自查：宝塔/cPanel 日志搜 meta- 开头的 User-Agent ⑤ AI 时代真正的机会：让网站内容能被 AI 读懂、被引用，你就是被推荐的人。

Ray Chan·2026-08-12阅读全文 →