有人惡意刷百度關鍵詞陷害我們網站
一、問題的發現
去年11月份的時候,我們陸續有幾個網站發現流量大幅減少,一開始還以為是正常波動或其它常規原因而沒有引起重視,直到幾周後來自百度搜索的流量持續大幅下降、好幾個網站都情況類似,才去深入檢查原因。🕵️
二、問題的檢查
結果在百度資源平台中發現"流量與關鍵詞"的熱門關鍵詞裡面有些明顯異常的數據,例如:
這是搜索引擎分類的頁面,點擊下面标題查看詳細文章内容:
去年11月份的時候,我們陸續有幾個網站發現流量大幅減少,一開始還以為是正常波動或其它常規原因而沒有引起重視,直到幾周後來自百度搜索的流量持續大幅下降、好幾個網站都情況類似,才去深入檢查原因。🕵️
結果在百度資源平台中發現"流量與關鍵詞"的熱門關鍵詞裡面有些明顯異常的數據,例如:
最近幾天我們國内的兩個網站都遇到訪問困難,檢查發現是百度爬蟲抓取量大增,是以前正常情況的很多倍,導緻Web服務器CPU、帶寬以及數據庫服務器都難以應付。Googlebot也曾經出現類似情況。
昨天剛寫了一篇《不要誤屏蔽百度MIP的爬蟲》,順着我們就繼續檢查其它站是否有被誤屏蔽的事情,流量來源主要是百度的國内站可以看百度站長平
我們在采用《使用Apache模塊mod_qos反采集》的辦法以後,确實有一些效果,但從apache報錯日志中看到也有百度、Google等搜索引擎的IP被屏蔽了,現在來收
以前托管服務器或者租用的服務器一般都是100M共享的帶寬,很少出現機器帶寬被占滿的情況,去年開始采用阿裡雲平台後,帶寬就是一個不得不考慮的成本因素,我們一般都是每台ECS購買的10M左右帶寬,每年費用已經不少了,而投入使用後很輕易就會被占滿,關鍵是網站的流量并沒有特别提升,廣告收入沒有增加,成本卻在大幅提高,還導緻正常用戶訪問變慢、困難。
前些天收到Google Webmaster Tools的提醒郵件:
Googlebot 發現您的網站中包含大量的網址:http://jilin.youbianku.com/
October 24, 2011