网站遇到采集者是很常见的事情，因为采集太快太多导致我们服务器负载过高的事情也时有发生，我们一般都是收到网站打开太慢或者服务器负载过高报警的消息后及时进行处理，在apache设置.htaccess上把该屏蔽的屏蔽就可以了，偶尔需要用到iptable或者阿里云的安全组来屏蔽🚫。
不过上周遇到有台服务器一直报警的事情，感觉不是普通的采集，而像是攻击，来访量突然增高很多，apache日志增加了一倍，来访IP非常分散，而访问的网站、网址很随机，没有流量的新网站、很久前的老网站、人类访问者不太可能去访问的网址都不停在访问。用以前的日志分析、屏蔽的办法不太灵，需要屏蔽的太多