防采集

　　被采集是我們一直遇到的麻煩，2013年我們就自己編寫網站防采集程序，從反采集程序的報告解讀看，這個程序起到了相當的作用，但後來因為下面幾點原因而停用：

• 自身需要使用數據庫，容易在被采集的高峰期引起擁堵；
• 對搜索引擎爬蟲使用host反查DNS有時因為網絡問題失敗，導緻誤判；
• 黑白名單機制不夠完善、靈活；
• 程序邏輯不夠完善、優化，應該采用定時方式的地方采取了每次訪問時運行，負荷過大；
• 采取了其它一些措施來進行反采集，例如：人工查看Apache日志來處理、安裝Apac

　　反采集一直都是我們需要進行的工作，特殊是國内互聯網行業抄襲風氣太盛，其實我們不介意這些采集者把我們原創内容采過去，反正采集者也影響不了我們自己多少，但老是導緻我們服務器資源過載就很煩了。

　　以前一般用“Apache中設置屏蔽IP地址和URL網址來禁止采集”，高級一些的用法記錄在“識别User Agent屏蔽一些Web爬蟲防采集”，中途還專門“自己編寫網站防采集程序”，但用起來也有些不完善。

　　這兩個月提交百度熊掌号、MIP/AMP後，正常的爬蟲多起來，流量也多一些，跟着

　　自從做網站以來，大量自動抓取我們内容的爬蟲一直是個問題，防範采集是個長期任務，這篇是我5年前的博客文章：《Apache中設置屏蔽IP地址和URL網址來禁止采集》，另外，還可以識别User Agent來辨别和屏蔽一些采集者，在Apache中設置的代碼例子如下：

RewriteCond %{HTTP_USER_AGENT} ^(.*)(DTS\sAgent|Creative\sAutoUpdate|HTTrack|YisouSpider|SemrushBot)(.*)$
RewriteRule .* - [F,L]

　　屏蔽User

　　最近把自己編寫的網站防采集程序進行了升級，添加了每日郵件報告的功能，各台服務器在每天淩晨将前一天被屏蔽的IP信息彙總發送郵件到指定郵箱。典型的郵件内容摘錄如下：

101 Bad IPs Found on 2013-12-11 from XXX.XXX.XXX.XXX

#count=1
request_time=>1386690568
remote_addr=>186.201.198.250
http_user_agent=>Mozilla/5.0 (

　　在Drupal網站中使用PHP程序來屏蔽采集者效果還不錯，可以自己任意設定判斷标準。不過我們以前的MediaWiki平台上的網站還沒有使用這套PHP程序來屏蔽，最近發現采集又太多了，搞得服務器負載太高，老是從Apache日志人工排查太麻煩、太慢（以前的辦法見博文《Apache中設置屏蔽IP地址和URL網址來禁止采集》），今天花一些時間編寫了一個小程序來統計日志中的IP訪問數，程序很簡短，如下：

<?php
/*
* 統計Apache日志文件的IP，找出訪問最多的IP地址，方便發現采集者
* James Qi 2013-11-8
*/

//0
  

　　對于我們這種數據量很大的網站，面臨的一個麻煩是總有人來采集，以前多使用過人工檢查、屏蔽的辦法，這種辦法有效果但太費精力，前段時間也找了插件來自動限制最大連接數，但存在誤屏蔽搜索引擎的問題，最近老夫下決定親自操刀寫程序，把這些采集者都斬草除根，雖然