Email

　　我们一些大数据量的网站总是沦为爬虫获取信息的对象，导致大量消耗服务器资源。有些爬虫是为了采集整个网页，也有些只来找寻邮箱等联系方式信息。

　　前段时间发现有一阵爬虫特别多，从apache日志里面看到这样的特征：

115.151.110.238 - - [14/Jul/2018:18:03:01 +0800] port:443 "liaoning.mingluji.com" "GET /%E5%AE%89%E5%BE%BD%E5%A5%BD%E6%80%9D%E5%AE%B6%E6%B6%82%E6%96%9
  

　　7月份搭建了不带Email的美国企业名录数据50个州子网站，虽然数量达到2000万之巨，但导入、处理的速度比预期的2个月提前了1个月，于是多出来的8月份就可以将带有Email的另外一套美国企业名录也做成网站，这批数据也有900万之多，到目前基本上都导入、处理完了，请看：