Googlebot是google搜索抓取机器人,而Mediapartners-Google是为显示相关广告而抓取网页的机器人。
这几天,在Googlebot的抓取报告中出现这样的莫名其妙的字眼:
|
而在Mediapartners-Google的抓取报告中出现莫名其妙的robots.txt拦截网址,问题是我在robots.txt中根本就没有拦截这些网址:
|
截图分别如下:
1)、Googlebot的抓取报告
2)、Mediapartners-Google的抓取报告
正在关注 Linux 、开源、IT 的个人博客。
Googlebot是google搜索抓取机器人,而Mediapartners-Google是为显示相关广告而抓取网页的机器人。
这几天,在Googlebot的抓取报告中出现这样的莫名其妙的字眼:
|
而在Mediapartners-Google的抓取报告中出现莫名其妙的robots.txt拦截网址,问题是我在robots.txt中根本就没有拦截这些网址:
|
截图分别如下:
1)、Googlebot的抓取报告
2)、Mediapartners-Google的抓取报告