采集

　　被采集是我们一直遇到的麻烦，2013年我们就自己编写网站防采集程序，从

　　最近和采集者杠上了，不断与这些采集者纠缠，周一一大早就看到网站监控报警，服务器带宽被占满，在从iftop -i eth1看到有两个IP段一直占据前列：

　　最近新增了一些网站内容，结果正常的访问者还没有开始来，采集的爬虫就来了，真像是嗜血的鲨鱼，发现哪里有美味马上就盯上了😰。

　　近期也看了一些关于反采集的文章，世上没有完美、一劳永逸的反采集办法，成了与采集者的对峙，双方不断变换对抗办法，成了一种体力活。

　　反采集一直都是我们需要进行的工作，特殊是国内互联网行业抄袭风气太盛，其实我们不介意这些采集者把我们原创内容采过去，反正采集者也影响不了我们自己多少，但老是导致我们服务器资源过载就很烦了。

　　我们的部分中文站点流量比较大，以前做百度联盟都是黄金、白金会员，也因此被加入了百度官方建的几个QQ群：“百度站长平台大咖群”、“百度SSP黄金会员⑥群”，我平时不太看群里的消息，偶尔看一下近年来也多是晒穷、诉苦、抱怨、唱衰的居多。

　　网站内容抓取采集真是中国互联网的一大特色，我们做了这么多年网站，一直都遇到各种各样对我们内容进行采集、复制的家伙。

　　10月份在公司进行Drupal内部讲座的准备过程中，需要在网上搜索一些资料，正好看到北京亚艾元软

　　最近把自己编写的网站防采集程序进行了升级，添加了每日邮件报告的功能，各台服务器在每天凌晨将前一天被屏蔽的IP信息汇总发送邮

　　在Drupal网站中使用PHP程序来屏蔽采集者效果还不错，可以自己任意设定判断标准。

　　对于我们这种数据量很大的网站，面临的一个麻烦是总有人来采集，以前多使用过人工检查、屏蔽的办法，这种办法有效果但太费精力，前段时间也找了插件来自动限制最大连接数，但存在误屏蔽搜索引擎的问题，最近老夫下决定亲自操刀写程序，把这些采集者都斩草除根，虽然编程麻烦但效果好。