搜索引擎

一、問題的發現

去年11月份的時候，我們陸續有幾個網站發現流量大幅減少，一開始還以為是正常波動或其它常規原因而沒有引起重視，直到幾周後來自百度搜索的流量持續大幅下降、好幾個網站都情況類似，才去深入檢查原因。🕵️

二、問題的檢查

結果在百度資源平台中發現"流量與關鍵詞"的熱門關鍵詞裡面有些明顯異常的數據，例如：

最近幾天我們國内的兩個網站都遇到訪問困難，檢查發現是百度爬蟲抓取量大增，是以前正常情況的很多倍，導緻Web服務器CPU、帶寬以及數據庫服務器都難以應付。Googlebot也曾經出現類似情況。

我們郵編庫網站提供郵政編碼查詢的服務有20多年曆史了，真的是比所有其它郵編查詢網站提供的時間更長、也更專注，這麼多年一直不斷在這個小小的領域默默改進。

　　标明訪問者屬性的User Agent是可以由軟件進行修改的，所以有很多采集者為了防止自己被屏蔽，就把User Agent改為搜索引擎爬蟲的特征，例如：

　　昨天剛寫了一篇《不要誤屏蔽百度MIP的爬蟲》，順着我們就繼續檢查其它站是否有被誤屏蔽的事情，流量來源主要是百度的國内站可以看百度站長平

　　我們在采用《使用Apache模塊mod_qos反采集》的辦法以後，确實有一些效果，但從apache報錯日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，現在來收

　　以前托管服務器或者租用的服務器一般都是100M共享的帶寬，很少出現機器帶寬被占滿的情況，去年開始采用阿裡雲平台後，帶寬就是一個不得不考慮的成本因素，我們一般都是每台ECS購買的10M左右帶寬，每年費用已經不少了，而投入使用後很輕易就會被占滿，關鍵是網站的流量并沒有特别提升，廣告收入沒有增加，成本卻在大幅提高，還導緻正常用戶訪問變慢、困難。

　　前些天收到Google Webmaster Tools的提醒郵件：

Googlebot 發現您的網站中包含大量的網址：http://jilin.youbianku.com/

October 24, 2011

　　前段時間更換服務器後，将各種限制都打開了，讓各種爬蟲也都自由訪問，包括各種搜索引擎或者采集軟件。