Bing 网站管理员工具中的 Bingbot 抓取控制设置

Bing 网站管理员工具中的抓取控制功能允许网站管理员控制 Bingbot 抓取您的网站的速率。 当您的网站上有访问者以适当地管理带宽时,需要进行爬网控制以限制 Bingbot 和 Googlebot 等搜索引擎蜘蛛的活动。

由于网站上的访问者将被给予更高的优先级,显然当时的搜索引擎活动将受到限制。 您可以根据访问者在您网站上的模式,通知 Bingbot 在一天中的任何时间点更快或更慢地爬行。

设置 Bingbot 爬行模式

登录到您的 Bing 网站管理员工具帐户并选择您要设置抓取控制模式的网站。 你必须有 添加并验证 您在您的帐户中的站点以使用此功能。 “抓取控制”选项在“配置我的网站”选项卡下可用。

设置预设图案

您可以在问题的下拉菜单下看到可用的预设选项“您在一天中的当地时间何时收到最多访问此站点的流量?”。 默认选择“全天”,您可以根据网站的访问者模式选择任何时间范围。 模式会根据您选择的时间范围自动更改。

Bingbot 爬行控制 - 预设

Bingbot 爬行控制 – 预设

选择合适的抓取控制模式后保存您的设置。

设置自定义抓取模式

如果预设的时间范围不适合您的要求,请选择下拉菜单中的“自定义”选项来设置您的自定义抓取控制模式。 按住鼠标左键并在蓝色积木上移动以构建自己的爬行图案,如下图所示:

Bingbot 爬行控制 - 自定义

Bingbot 爬行控制 – 自定义

默认情况下,随时选择5个蓝砖,蓝砖越多,Bingbot的爬行速度越快,蓝砖越少,Bingbot的爬行速度越慢。 选择合适的抓取控制模式后保存您的设置。

您还可以在 robots.txt 文件中设置抓取延迟。 您在 Bing 网站管理员工具中设置的抓取速度将被您的 robots.txt 中提供的信息所取代。

重要的是,网站管理员应首先确保网站缓慢是由于 Bingbot 活动造成的。 使用验证 Bingbot 工具检查服务器日志文件中显示的 IP 地址是否属于 Bingbot,然后根据 Bingbot 爬取模式和访问者模式相应地设置爬取率。

  关于域名你应该知道的一切

类似文章