Google AdSense 抓取工具的基础知识
爬虫是一段软件代码，用于收集互联网上可用网页的信息并将其编入数据库中。 AdSense 爬虫用于收集网页内容的详细信息，以便在该页面上投放相关广告。
AdSense 抓取工具
谷歌出于不同的目的使用不同的抓取工具。 AdSense 爬虫用于索引页面以提供相关广告，与用于显示搜索引擎结果的网络爬虫不同。 以下是谷歌使用的一些爬虫：
|
爬虫名称（用户代理） |
目的 |
| 谷歌机器人 | 用于索引内容以显示在 Google 网络搜索结果中。 这也是用于智能手机的爬虫。 |
| 谷歌机器人图片 | 用于索引图像以显示在 Google 图像搜索结果中。 |
| Googlebot 新闻 | 用于收集新闻提要以显示在 Google 新闻搜索结果中。 |
| Googlebot-视频 | 用于抓取网络上的视频以显示在视频搜索结果中。 |
| Googlebot-移动 | 用于功能手机上的 Google 移动搜索。 |
| 媒体合作伙伴-谷歌 | 用于索引网页内容以显示相关的 Google AdSense 广告。 |
AdSense 抓取工具的基础知识
以下是 Google AdSense 抓取工具的一些基础知识：
- AdSense 抓取工具只会尝试抓取放置了广告代码的网页。
- 您可以在“抓取工具访问”部分下从您的 AdSense 帐户监控 AdSense 抓取工具错误并进行处理。 请记住，纠正 AdSense 的抓取工具错误不会对 Google Search Console 中显示的抓取工具错误产生任何影响，因为它们是两个不同的机器人。
- Google 不允许控制 AdSense 抓取工具的频率。 频率是自动的，任何更改的内容可能需要 1-2 周才能被编入索引。
- http://yoursite.com 和 http://www.yoursite.com 被视为两个不同的站点，重定向的 URL 也会被抓取。
- AdSense 抓取工具遵循与所有其他 Google 漫游器类似的 robots.txt 指令。
- 您还可以提供访问您网站上的密码保护页面以显示广告的权限。 在此处了解更多信息。
使用 Robots.txt 控制 AdSense 抓取工具
在您的 robots.txt 文件中使用以下指令来阻止 AdSense 抓取工具：
阻止 AdSense 抓取工具
用户代理：Mediapartners-Google
不允许： /
您还可以阻止 Googlebot 以避免页面显示在搜索结果中，同时允许 AdSense 爬虫在网站上展示广告。
