标明訪問者屬性的User Agent是可以由軟件進行修改的,所以有很多采集者為了防止自己被屏蔽,就把User Agent改為搜索引擎爬蟲的特征,例如:
- googlebot:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- baiduspider:mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)