来自百度站长俱乐部的消息:百度网页搜索spider(也就是大家俗称的百度爬虫、百度蜘蛛)的User-Agent字段内容将与2011年5月10日更新。经常查看网站日志的朋友应该知道,目前baiduspider在爬取网页时,发送请求的User-Agent字段是这样的:
Baiduspider+(+http://www.baidu.com/search/spider.htm)
更新后的baiduspider User-Agent字段内容内容为:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Baiduspider User-Agent的更新,对于一般网站是没什么影响的,因为一般的网站都没有屏蔽百度蜘蛛,所以你不需要做任何修改;如果你通过robots.txt文件屏蔽了百度蜘蛛,也不需要做任何修改,因为百度蜘蛛名称依然是Baiduspider没变;如果你此前主动在服务器端封禁了百度网页搜索的User-Agent,那么建议修改服务器端要封禁的User-Agent字段,或者更换为robots封禁。 继续阅读