采集

　　被采集是我們一直遇到的麻煩，2013年我們就自己編寫網站防采集程序，從

　　最近和采集者杠上了，不斷與這些采集者糾纏，周一一大早就看到網站監控報警，服務器帶寬被占滿，在從iftop -i eth1看到有兩個IP段一直占據前列：

　　最近新增了一些網站内容，結果正常的訪問者還沒有開始來，采集的爬蟲就來了，真像是嗜血的鲨魚，發現哪裡有美味馬上就盯上了😰。

　　近期也看了一些關于反采集的文章，世上沒有完美、一勞永逸的反采集辦法，成了與采集者的對峙，雙方不斷變換對抗辦法，成了一種體力活。

　　反采集一直都是我們需要進行的工作，特殊是國内互聯網行業抄襲風氣太盛，其實我們不介意這些采集者把我們原創内容采過去，反正采集者也影響不了我們自己多少，但老是導緻我們服務器資源過載就很煩了。

　　我們的部分中文站點流量比較大，以前做百度聯盟都是黃金、白金會員，也因此被加入了百度官方建的幾個QQ群：“百度站長平台大咖群”、“百度SSP黃金會員⑥群”，我平時不太看群裡的消息，偶爾看一下近年來也多是曬窮、訴苦、抱怨、唱衰的居多。

　　網站内容抓取采集真是中國互聯網的一大特色，我們做了這麼多年網站，一直都遇到各種各樣對我們内容進行采集、複制的家夥。

　　10月份在公司進行Drupal内部講座的準備過程中，需要在網上搜索一些資料，正好看到北京亞艾元軟

　　最近把自己編寫的網站防采集程序進行了升級，添加了每日郵件報告的功能，各台服務器在每天淩晨将前一天被屏蔽的IP信息彙總發送郵

　　在Drupal網站中使用PHP程序來屏蔽采集者效果還不錯，可以自己任意設定判斷标準。

　　對于我們這種數據量很大的網站，面臨的一個麻煩是總有人來采集，以前多使用過人工檢查、屏蔽的辦法，這種辦法有效果但太費精力，前段時間也找了插件來自動限制最大連接數，但存在誤屏蔽搜索引擎的問題，最近老夫下決定親自操刀寫程序，把這些采集者都斬草除根，雖然編程麻煩但效果好。