防采集

　　被采集是我們一直遇到的麻煩，2013年我們就自己編寫網站防采集程序，從

　　反采集一直都是我們需要進行的工作，特殊是國内互聯網行業抄襲風氣太盛，其實我們不介意這些采集者把我們原創内容采過去，反正采集者也影響不了我們自己多少，但老是導緻我們服務器資源過載就很煩了。

　　自從做網站以來，大量自動抓取我們内容的爬蟲一直是個問題，防範采集是個長期任務，這篇是我5年前的博客文章：《

　　最近把自己編寫的網站防采集程序進行了升級，添加了每日郵件報告的功能，各台服務器在每天淩晨将前一天被屏蔽的IP信息彙總發送郵

　　在Drupal網站中使用PHP程序來屏蔽采集者效果還不錯，可以自己任意設定判斷标準。

　　對于我們這種數據量很大的網站，面臨的一個麻煩是總有人來采集，以前多使用過人工檢查、屏蔽的辦法，這種辦法有效果但太費精力，前段時間也找了插件來自動限制最大連接數，但存在誤屏蔽搜索引擎的問題，最近老夫下決定親自操刀寫程序，把這些采集者都斬草除根，雖然編程麻煩但效果好。