2011四月7
百度蜘蛛Baiduspider User-Agent字段即将更新
来自百度站长俱乐部的消息：百度网页搜索spider（也就是大家俗称的百度爬虫、百度蜘蛛）的User-Agent字段内容将与2011年5月10日更新。经常查看网站日志的朋友应该知道，目前baiduspider在爬取网页时，发送请求的User-Agent字段是这样的：
Baiduspider+(+http://www.baidu.com/search/spider.htm)
更新后的baiduspider User-Agent字段内容内容为：
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Baiduspider User-Agent的更新，对于一般网站是没什么影响的，因为一般的网站都没有屏蔽百度蜘蛛，所以你不需要做任何修改；如果你通过robots.txt文件屏蔽了百度蜘蛛，也不需要做任何修改，因为百度蜘蛛名称依然是Baiduspider没变；如果你此前主动在服务器端封禁了百度网页搜索的User-Agent，那么建议修改服务器端要封禁的User-Agent字段，或者更换为robots封禁。 继续阅读……
