登录站点

用户名

密码

Googlebot和 Mediapartners-Google 抓取报告中的怪事

已有 421 次阅读  2006-12-31 21:57   标签学习日记 
Googlebot是google搜索抓取机器人,而Mediapartners-Google是为显示相关广告而抓取网页的机器人。

这几天,在Googlebot的抓取报告中出现这样的莫名其妙的字眼:

我们已成功访问您的主页。
-----------------------------------------------------------
restriction. not be translated.


而在Mediapartners-Google的抓取报告中出现莫名其妙的robots.txt拦截网址,问题是我在robots.txt中根本就没有拦截这些网址:

        已拦截网址      拦截原因  [?]    上一次抓取尝试     尝试失败
  http:/ / 209. 85. 165. 104/ search? q= cache:hIzBannSd6wJ:java. learndiary. com/ diaries/ 1367. jsp+error+1045+access+denied+for+user+root%40localhost&hl= zh-CN&gl= us&ct= clnk&cd= 7 Robots.txt 文件 2006-12-29 1
  http:/ / 64. 233. 161. 104/ search? q= cache:tvsE7YLr87kJ:java. learndiary. com/ diaries/ 1481. jsp+hibernate+spring&hl= zh-CN&gl= us&ct= clnk&cd= 128 Robots.txt 文件 2006-12-27 1


截图分别如下:

1)、Googlebot的抓取报告



2)、Mediapartners-Google的抓取报告
分享 举报