WordPress Robots.txt 优化的终极指南
当您在 WordPress 上创建博客或网站时，会自动为您的每个登录页面和帖子创建一个 robots.txt 文件。 这是您网站 SEO 的一个重要方面，因为搜索引擎在抓取您网站的内容时会使用它。
如果您想将您网站的 SEO 提升到一个新的水平，优化您的 WordPress 网站上的 robots.txt 文件很重要，但不幸的是，它不像在您的内容中添加关键字那么简单。 这就是为什么我们将本指南放在一起 WordPress robots.txt 以便您可以开始完善它并提高您的搜索排名。
什么是 Robots.txt 文件？
将网站放置在搜索引擎结果页面 (SERP) 上时，Google 等搜索引擎会“抓取”网站页面并分析其内容。 任何网站的 robots.txt 文件都会告诉爬虫“机器人”哪些页面要爬，哪些不爬——本质上是一种 机器人过程自动化 (RPA).
您可以通过在域名后输入 /robots.txt 来查看任何网站的 robots.txt 文件。 它看起来像这样：
让我们分解上图中的每个元素。
用户代理
robots.txt 文件中的用户代理是要读取 robots.txt 文件的搜索引擎。 在上面的示例中，用户代理标有星号，这意味着它适用于所有搜索引擎。
大多数网站都乐于让所有搜索引擎抓取他们的网站，但有时您可能希望阻止除 Google 之外的所有搜索引擎抓取您的网站，或者提供有关 Google 新闻或 Google 图片等搜索引擎如何抓取您的网站的具体说明。
如果是这种情况，您需要找出您希望指示的搜索引擎的用户代理 ID。 这很简单，可以在网上找到，但这里有一些主要的：
- 谷歌：谷歌机器人
- Google 新闻：Googlebot 新闻
- 谷歌图片：谷歌机器人图片
- 谷歌视频：Googlebot-视频
- 必应：Bingbot
- 雅虎：啜食机器人
允许和禁止
在 robots.txt 文件中，允许和禁止告诉机器人它们可以和不能抓取哪些页面和内容。 如果如上所述，您想阻止除 Google 之外的所有搜索引擎抓取您的网站，您可以使用以下 robots.txt：
“禁止”和“允许”之后的斜线 (/) 告诉机器人它允许或不允许爬取所有页面。 您还可以将特定页面放在斜线之间，以允许或禁止机器人抓取它们。
网站地图
robots.txt 文件中的“站点地图”是一个 XML 文件，其中包含您网站上所有页面的列表和详细信息。 它看起来像这样：
站点地图包含您希望机器人发现的所有网页。 如果您有想要出现在搜索结果中的网页但它们不是典型的登录页面（例如博客文章），则站点地图特别有用。
站点地图对于希望使用的 WordPress 用户来说尤其重要 重振活力 他们的网站上有博客文章和类别页面。 如果他们没有自己的 robots.txt 站点地图，其中许多可能不会出现在 SERP 中。
这些是 robots.txt 文件的核心方面。 但是，应该注意的是，您的 robots.txt 文件并不是阻止搜索引擎机器人抓取某些页面的可靠方法。 例如，如果另一个站点使用 锚文本 要链接到您在 robots.txt 文件中“禁止”的页面，搜索引擎机器人仍然能够抓取该页面。
您需要 WordPress 上的 Robots.txt 文件吗？
如果您有一个由 WordPress 提供支持的网站或博客，您将拥有一个自动生成的 robots.txt 文件。 如果您想确保拥有一个对 SEO 友好的 WordPress 网站，那么考虑您的 robots.txt 文件很重要的几个原因如下。
您可以优化您的抓取预算
抓取预算或抓取配额是搜索引擎机器人在任何一天在您的网站上抓取的页面数。 如果您没有优化的 robots.txt 文件，您可能会浪费您的抓取预算并阻止机器人抓取您网站上您希望首先出现在 SERP 中的页面。
如果您通过 WordPress 网站销售产品或服务，理想情况下，您希望获得最好的页面 销售转化 由爬虫机器人优先考虑。
您可以优先考虑重要的登陆页面
通过优化您的 robots.txt 文件，您可以确保您希望首先出现在 SERP 中的登录页面对于爬虫机器人来说很容易和快速找到。 将您的网站索引拆分为“页面”和“帖子”索引对此特别有用，因为您可以确保博客帖子出现在 SERP 中，而不仅仅是您的标准登录页面。
例如，如果您的网站有很多页面并且您的 客户资料 表明您的博客文章正在产生大量购买，您可以使用 robots.txt 文件中的站点地图来确保您的博客文章出现在 SERP 上。
您可以提高网站的整体 SEO 质量
营销人员很清楚伟大的 搜索引擎优化投资回报率. 通过专注于其 SEO 将自然搜索引导到您的网站比付费广告和附属链接更便宜且通常更有效——尽管两者仍然有帮助。 查看这些统计数据 营销渠道投资回报率.
优化 robots.txt 文件并不是提高网站或博客搜索排名的唯一方法。 您仍然需要在页面本身上有对 SEO 友好的内容，您可能需要 搜索引擎优化 提供者来帮助。 但是，您可以自己轻松地编辑 robots.txt 文件。
如何在 WordPress 上编辑 Robots.txt 文件
如果你想在 WordPress 上编辑你的 robots.txt 文件，有几种方法可以做到。 最好和最简单的选择是将插件添加到您的内容管理系统——您的 WordPress 仪表板。
将 SEO 插件添加到您的 WordPress
这是编辑 WordPress robots.txt 文件的最简单方法。 有很多好的 SEO 插件可以让你编辑 robots.txt 文件。 一些最受欢迎的是 Yoast、Rank Math 和 All In One SEO。
将 Robots.txt 插件添加到您的 WordPress
还有专门通过编辑您的 robots.txt 文件设计的 WordPress 插件。 流行的 robots.txt 插件是 Virtual Robots.txt、WordPress Robots.txt 优化和 Robots.txt 编辑器。
如何测试您的 WordPress Robots.txt 文件
如果您编辑了 robots.txt 文件，请务必对其进行测试以确保您没有犯任何错误。 robots.txt 文件中的错误可能会导致您的网站被完全排除在 SERP 之外。
谷歌网站管理员有一个 robots.txt 测试工具 您可以免费使用它来测试您的文件。 要使用它，您只需添加主页的 URL。 robots.txt 文件将出现，您将在文件中任何不起作用的行上看到“语法警告”和“逻辑错误”。
然后，您可以从您的网站输入特定页面并选择一个用户代理来运行测试，该测试将显示该页面是“接受”还是“阻止”。 您可以在测试工具上编辑 robots.txt 文件并在需要时再次运行测试，但请注意，这不会更改您的实际文件，您需要将编辑后的信息复制并粘贴到 robots.txt 编辑器中，然后保存在那里。
如何为 SEO 优化您的 WordPress Robots.txt 文件
优化 robots.txt 文件的最简单方法是选择要禁止的页面。 在 WordPress 上，您可能不允许的典型页面是 /wp-管理员/, /wp-内容/插件/, /readme.html, /追溯/.
例如，一个 营销SaaS 提供商在他们的 WordPress 网站上有很多不同的页面和帖子。 通过禁止类似的页面 /wp-管理员/ 和 /wp-内容/插件/，他们可以确保他们重视的页面被爬虫机器人优先考虑。
创建站点地图并将其添加到您的 Robots.txt 文件中
当您使用它创建博客或网站时，WordPress 会创建自己的通用站点地图。 这通常可以在 example.wordpress.com/sitemap.xml 中找到。 如果您想自定义站点地图并创建其他站点地图，您应该使用 robots.txt 或 SEO WordPress 插件。
您可以在 WordPress 仪表板上访问您的插件，它应该有一个用于启用和编辑站点地图的部分。 好的插件将允许您轻松制作和自定义其他站点地图，例如“页面”站点地图和“帖子”站点地图。
设置站点地图后，只需将它们添加到 robots.txt 文件中，如下所示：
采取简约的方法
虽然编辑和优化 WordPress robots.txt 文件可能会令人兴奋，但采用简约、少即是多的方法很重要。 这是因为如果您禁止网站上的页面，这将阻止爬虫机器人在这些页面中搜索其他页面。 这可能意味着关键页面不会被发现，并且从搜索引擎机器人的角度来看，您网站的结构完整性会被削弱。
也无需在 robots.txt 中“允许”访问您网站上的每个页面。 爬虫机器人已经发现了这些页面——而是专注于您的站点地图和您需要禁止的页面，以便首先找到您的关键页面。
在本指南中，我们提供了您需要了解的有关 WordPress robots.txt 文件的所有信息。 从解释什么是 robots.txt 文件到深入探讨为什么以及如何优化您的 robots.txt 文件以进行 SEO，如果您想找到简单有效的方法来提高您的 WordPress 网站的搜索排名，本文将有所帮助。
