Googlebot和 Mediapartners-Google 抓取报告中的怪事

Googlebot是google搜索抓取机器人,而Mediapartners-Google是为显示相关广告而抓取网页的机器人。

这几天,在Googlebot的抓取报告中出现这样的莫名其妙的字眼:


我们已成功访问您的主页。

-----------------------------------------------------------

restriction. not be translated.

而在Mediapartners-Google的抓取报告中出现莫名其妙的robots.txt拦截网址,问题是我在robots.txt中根本就没有拦截这些网址:


        已拦截网址      拦截原因  [?]    上一次抓取尝试     尝试失败

  http:/ / 209. 85. 165. 104/ search? q= cache:hIzBannSd6wJ:java. learndiary. com/ diaries/ 1367. jsp+error+1045+access+denied+for+user+root%40localhost&hl= zh-CN&gl= us&ct= clnk&cd= 7 Robots.txt 文件 2006-12-29 1

  http:/ / 64. 233. 161. 104/ search? q= cache:tvsE7YLr87kJ:java. learndiary. com/ diaries/ 1481. jsp+hibernate+spring&hl= zh-CN&gl= us&ct= clnk&cd= 128 Robots.txt 文件 2006-12-27 1

截图分别如下:

1)、Googlebot的抓取报告

2)、Mediapartners-Google的抓取报告