Googlebot和 Mediapartners-Google 抓取报告中的怪事

2006年12月31日下午 9:57 | 作者：littlebat

Googlebot是google搜索抓取机器人，而Mediapartners-Google是为显示相关广告而抓取网页的机器人。

这几天，在Googlebot的抓取报告中出现这样的莫名其妙的字眼：

我们已成功访问您的主页。

———————————————————–

restriction. not be translated.

而在Mediapartners-Google的抓取报告中出现莫名其妙的robots.txt拦截网址，问题是我在robots.txt中根本就没有拦截这些网址：

已拦截网址拦截原因 [?] 上一次抓取尝试尝试失败

http:/ / 209. 85. 165. 104/ search? q= cache:hIzBannSd6wJ:java. learndiary. com/ diaries/ 1367. jsp+error+1045+access+denied+for+user+root%40localhost&hl= zh-CN&gl= us&ct= clnk&cd= 7 Robots.txt 文件 2006-12-29 1

http:/ / 64. 233. 161. 104/ search? q= cache:tvsE7YLr87kJ:java. learndiary. com/ diaries/ 1481. jsp+hibernate+spring&hl= zh-CN&gl= us&ct= clnk&cd= 128 Robots.txt 文件 2006-12-27 1

截图分别如下：

1）、Googlebot的抓取报告