SEO系列一:Googlebot 和 Mediapartners-Google区别

大家在查看或分析WEB服务器的访问日志时，会发现经常有Googlebot 和 Mediapartners-Google光顾我们的网站。其实Googlebot 和 Mediapartners-Google都是非常勤奋的机器人(或蜘蛛)。（注：当然如果这些Google机器人影响到大家服务器的接受力或性能，可以通过robots.txt 文件适当加以制止。）那么，Googlebot 和 Mediapartners-Google  到底有什么不一样呢？

 

一、Googlebot

Googlebot 一般称为 Google 机器人或 Google 探测器或Google蜘蛛。

Google会 派遣不同的 Googlebot 对网页内容进行获取。主要包括：

Googlebot 抓取网页中的文字内容。获取的内容保管于 Google 网页搜索和新闻搜索的数据库。一般谈的 Google 机器人主要指这个。

Googlebot-Mobile 抓取网页中的文字内容，用于 Google 手机搜索。

Googlebot-Image 抓取网页内的图片内容，保管入 Google 图片搜索数据库。

 

二、Mediapartners-Google

Mediapartners-Google 抓取网页中的文字内容，用于 Google Adsense 分析关键词。只有投放了 Google Adsense 网页才会被 Mediapartners-Google 探测器爬取。

Adsbot-Google 抓取网页中的文字内容，用于为 Google AdWords 提供参考。只有 Google AdWords  目标网页才会被 Adsbot-Google 探测器爬取。