标明访问者属性的User Agent是可以由软件进行修改的，所以有很多采集者为了防止自己被屏蔽，就把User Agent改为搜索引擎爬虫的特征，例如：
- googlebot：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- baiduspider：mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)