搜索引擎

一、问题的发现

去年11月份的时候，我们陆续有几个网站发现流量大幅减少，一开始还以为是正常波动或其它常规原因而没有引起重视，直到几周后来自百度搜索的流量持续大幅下降、好几个网站都情况类似，才去深入检查原因。🕵️

二、问题的检查

结果在百度资源平台中发现"流量与关键词"的热门关键词里面有些明显异常的数据，例如：

最近几天我们国内的两个网站都遇到访问困难，检查发现是百度爬虫抓取量大增，是以前正常情况的很多倍，导致Web服务器CPU、带宽以及数据库服务器都难以应付。Googlebot也曾经出现类似情况。

我们邮编库网站提供邮政编码查询的服务有20多年历史了，真的是比所有其它邮编查询网站提供的时间更长、也更专注，这么多年一直不断在这个小小的领域默默改进。

　　标明访问者属性的User Agent是可以由软件进行修改的，所以有很多采集者为了防止自己被屏蔽，就把User Agent改为搜索引擎爬虫的特征，例如：

　　昨天刚写了一篇《不要误屏蔽百度MIP的爬虫》，顺着我们就继续检查其它站是否有被误屏蔽的事情，流量来源主要是百度的国内站可以看百度站长平

　　我们在采用《使用Apache模块mod_qos反采集》的办法以后，确实有一些效果，但从apache报错日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，现在来收

　　以前托管服务器或者租用的服务器一般都是100M共享的带宽，很少出现机器带宽被占满的情况，去年开始采用阿里云平台后，带宽就是一个不得不考虑的成本因素，我们一般都是每台ECS购买的10M左右带宽，每年费用已经不少了，而投入使用后很轻易就会被占满，关键是网站的流量并没有特别提升，广告收入没有增加，成本却在大幅提高，还导致正常用户访问变慢、困难。

　　前些天收到Google Webmaster Tools的提醒邮件：

Googlebot 发现您的网站中包含大量的网址：http://jilin.youbianku.com/

October 24, 2011

　　前段时间更换服务器后，将各种限制都打开了，让各种爬虫也都自由访问，包括各种搜索引擎或者采集软件。