几个Google机器人介绍

Google 可使用多个 User-agent，也就是有几个机器人了，了解这些机器人在分析日志的时候可能有用。您可在条目的 User-agent 行中添加漫游器名称来拦截 Googlebot 对任何网页进行访问。拦截 Googlebot 也会拦截所有以”Googlebot”开头的漫游器。66b4a715

• Googlebot：通过我们的网站索引和资讯索引抓取网页
• Googlebot-Mobile：抓取我们移动索引的网页
• Googlebot-Image：抓取我们图片索引的网页
• Mediapartners-Google：抓取网页以确定 AdSense 的内容。如果您的网站上显示有 AdSense 广告，那么，我们只会使用此漫游器来抓取您的网站。
• Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。如果您使用 Google AdWords 为您的网站进行广告宣传，那么，我们只会使用此漫游器来抓取您的网站。