如何在 WordPress 中使用 Booter Bot 和 Webcrawler Manager

您的网站是否受到来自机器人和爬虫的大量请求的困扰？ 这可能会导致大量性能问题，在某些情况下甚至会导致 404 错误。 但是，您可以通过使用正确的插件（例如 Booter）来避免这种情况。

这个插件能够帮助阻止有害的机器人和爬虫请求，同时不会影响好的请求，比如搜索引擎机器人。 它还通过发送 HTTP 状态代码以最快的方式阻止链接，以确保搜索引擎忘记它们。

今天，我将演示如何使用 Booter 插件来管理爬虫 WordPress。

为什么机器人管理很重要

机器人是模拟普通用户活动的计算机程序。 如果不理会它们可以无限期地继续运行。 它们可以用于多种用途，并且并非所有机器人或爬虫都是坏的。 事实上，其中很多都是必要的，就像谷歌的爬虫一样。

但是，就像其他一切一样，存在不良机器人，它们可以削弱网站。

不良类型的机器人可以窃取数据、上传恶意软件或勒索软件、发起拒绝服务 (DDoS) 攻击以及您不希望发生的各种其他事情。 这些可能会影响任何类型的网站。 但由于 WordPress 网站是最常见的，它们是一个更大的目标。

也就是说，使用适当的安全插件，你应该没问题。

但是，随着您的网站的增长和您保存的数据变得更有价值，您采取的安全措施也应该增加。 因此，管理机器人和网络爬虫活动是必须的。

如何在 WordPress 中使用引导程序

第 1 步：安装引导程序

引导者 是一个网站机器人管理器，可以检测和阻止 WordPress 中的机器人活动。 设置完成后，它将在您几乎没有输入的情况下运行。 但是，由于机器人管理的复杂性，您将需要输入一些无法自动化的数据。

总的来说，设置过程不是很困难，但确实需要一些特定的信息。

首先，单击插件并选择左侧管理面板上的添加新选项。

在可用的搜索框中搜索 Booter。 这可能会提取您可能会发现有用的其他插件。

向下滚动直到找到 Booter 插件，然后单击“立即安装”按钮并激活插件以供使用。

第 2 步：配置设置

该插件将在激活后立即开始工作。 但是，某些关键功能默认情况下不在线。 您必须完成设置以确保插件完全按照您的要求工作。

在左侧管理面板上，单击设置并选择引导程序选项。

幸运的是，该插件在解释每个设置方面做得很好，但有几个选项卡需要查看。

让我们一起来看看这些。

一般的

常规选项卡具有插件的所有主要功能。 您可以使用滑块选择启用或禁用其中任何一个。

默认情况下，阻止坏机器人、拒绝链接和 404 日志记录功能已启用。 robots.txt 管理和速率限制选项默认关闭。

Robots.txt 管理更好地保护文件免受机器人攻击。 它甚至可以通过一些更高级的选项来帮助 SEO 工作，我们将在稍后讨论。 请记住，它会将原始文件保存为备份并在启用时创建一个新文件。

该插件建议启用速率限制功能，该功能将限制机器人的任何过度活动。

您还可以在 WordPress 顶部检查所有这些功能的状态。

高级设置包含两个选项。 第一个允许您在卸载插件时删除所有数据。 而第二个激活插件的调试模式以查看每个事件并跟踪问题。

如果您进行了任何更改，请单击底部的“保存更改”按钮。

恶意机器人阻止

本部分不需要您输入任何内容，但它确实包含插件自动阻止的机器人的完整列表。 该列表由具有恶意历史的机器人编译而成，并不断更新。

您可以通过单击“从预定义列表更新坏机器人”按钮手动更新列表。

您还可以手动删除任何被阻止的机器人。 不过，我不建议这样做。 他们在名单上是有原因的。

机器人.txt

Robots.txt 部分默认关闭。 它允许您进一步自定义功能。 您可以选择拒绝所有爬虫访问该文件。 所有合法的爬虫都会监听这个请求。

您还可以确保文件中包含指向站点地图的链接，以帮助搜索引擎网络爬虫机器人找到它。 如果您选择整体启用该功能，我强烈建议您打开此选项。

如果您进行了更改，请不要忘记保存。

速率限制

速率限制部分允许您进一步自定义插件。 默认情况下，它是关闭的。 但是，建议开启。 您可以选择限制登录用户、触发限制的请求数量、应阻止他们多长时间以及排除任何用户代理。

笔记： 限制真实用户可能会导致糟糕的用户体验。 也就是说，一些恶意用户可以创建一个帐户来获取此设置。 因此，设置一个只有机器人才能达到的高请求限制是理想的。

拒绝链接

与前两个类似，拒绝链接部分允许您进一步自定义此功能。 这个默认情况下是打开的，其他选项包括拒绝来自所有人或只是机器人的链接的能力，这是一个选项 WooCommerce URL、URL 字符串和常规字符串的多个选项。

404 错误日志和拒绝反向链接

接下来的两个部分需要的很少，因此我将它们结合起来。

404 错误日志部分允许您决定将错误报告发送到您的电子邮件的频率。 默认情况下，您不会收到一个。 但是，您可以将其设置为每天、每周或每月。

笔记： 该插件会将报告发送到管理员电子邮件地址。 你无法改变这一点。

拒绝反向链接允许您下载可以直接上传到搜索引擎（谷歌搜索控制台、必应网站管理员工具等）的文件。 它使您可以保护自己免受指向您网站的低质量链接的侵害。

单击“下载拒绝列表”按钮以接收文件。

其余部分仅提供有关如何使用 Booter 和其他事实的更多信息。 在完成所有设置并保存所做的任何更改后，您就正式完成了，恭喜。

机器人变得越来越普遍

随着互联网的老化，机器人已成为其中更大的一部分。 虽然机器人可以用于好或坏，但不可否认风险。 因此，每个网站都应该有适当的保护措施来保护数据并确保网站运行良好。

Booter 这样做，然后是一些。 它是 WordPress 网站管理机器人的理想工具，因为一切都发生在您几乎没有互动的情况下。 相反，您可以继续专注于制作精彩的内容。

您觉得在 WordPress 中管理网络爬虫机器人很容易吗？ 有没有其他插件可以用来处理机器人？