我們在采用《使用Apache模塊mod_qos反采集》的辦法以後，确實有一些效果，但從apache報錯日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，現在來收集整理一下常見搜索引擎的IP地址段，以便加入白名單中：
Googlebot：
- 66.249.
- 203.208.60.
- 216.239.
- 66.102.
- 64.233.
- 72.14.
Baiduspider：
- 123.125.
- 220.181.108.
- 220.181.124.
- 220.181.125.
- 111.206.
Msnbot:
- 207.46.13.
- 157.55.39.
- 40.77.167.
Sogouspider:
- 106.120.173.
- 106.38.241.
- 111.202.100.
- 123.126.113.
Yandex:
- 37.9.113.
- 37.9.87.
- 93.158.161.
- 178.154.244.
- 213.180.203.
- 141.8.142.
- 5.255.250.
網上也看到其它一些帖子有類似的搜索引擎爬蟲IP段收集，但可能有些過時了。我這上面都是在自己的服務器apache日志中看到的，供大家參考，以後還會更新。
评论