我们在采用《使用Apache模块mod_qos反采集》的办法以后，确实有一些效果，但从apache报错日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，现在来收集整理一下常见搜索引擎的IP地址段，以便加入白名单中：
Googlebot：
- 66.249.
- 203.208.60.
- 216.239.
- 66.102.
- 64.233.
- 72.14.
Baiduspider：
- 123.125.
- 220.181.108.
- 220.181.124.
- 220.181.125.
- 111.206.
Msnbot:
- 207.46.13.
- 157.55.39.
- 40.77.167.
Sogouspider:
- 106.120.173.
- 106.38.241.
- 111.202.100.
- 123.126.113.
Yandex:
- 37.9.113.
- 37.9.87.
- 93.158.161.
- 178.154.244.
- 213.180.203.
- 141.8.142.
- 5.255.250.
网上也看到其它一些帖子有类似的搜索引擎爬虫IP段收集，但可能有些过时了。我这上面都是在自己的服务器apache日志中看到的，供大家参考，以后还会更新。
评论