有人恶意刷百度关键词陷害我们网站
一、问题的发现
去年11月份的时候,我们陆续有几个网站发现流量大幅减少,一开始还以为是正常波动或其它常规原因而没有引起重视,直到几周后来自百度搜索的流量持续大幅下降、好几个网站都情况类似,才去深入检查原因。🕵️
二、问题的检查
结果在百度资源平台中发现"流量与关键词"的热门关键词里面有些明显异常的数据,例如:
这是搜索引擎分类的页面,点击下面标题查看详细文章内容:
去年11月份的时候,我们陆续有几个网站发现流量大幅减少,一开始还以为是正常波动或其它常规原因而没有引起重视,直到几周后来自百度搜索的流量持续大幅下降、好几个网站都情况类似,才去深入检查原因。🕵️
结果在百度资源平台中发现"流量与关键词"的热门关键词里面有些明显异常的数据,例如:
最近几天我们国内的两个网站都遇到访问困难,检查发现是百度爬虫抓取量大增,是以前正常情况的很多倍,导致Web服务器CPU、带宽以及数据库服务器都难以应付。Googlebot也曾经出现类似情况。
昨天刚写了一篇《不要误屏蔽百度MIP的爬虫》,顺着我们就继续检查其它站是否有被误屏蔽的事情,流量来源主要是百度的国内站可以看百度站长平
我们在采用《使用Apache模块mod_qos反采集》的办法以后,确实有一些效果,但从apache报错日志中看到也有百度、Google等搜索引擎的IP被屏蔽了,现在来收
以前托管服务器或者租用的服务器一般都是100M共享的带宽,很少出现机器带宽被占满的情况,去年开始采用阿里云平台后,带宽就是一个不得不考虑的成本因素,我们一般都是每台ECS购买的10M左右带宽,每年费用已经不少了,而投入使用后很轻易就会被占满,关键是网站的流量并没有特别提升,广告收入没有增加,成本却在大幅提高,还导致正常用户访问变慢、困难。
前些天收到Google Webmaster Tools的提醒邮件:
Googlebot 发现您的网站中包含大量的网址:http://jilin.youbianku.com/
October 24, 2011