这是 屏蔽 分类的页面，点击下面标题查看详细文章内容：
从2017年3月就准备开始使用Google推荐的AMP (Accelerated Mobile Pages) “加速移动网页”，先后把Drupal网站和MediaWiki网站都添加了AMP版本，后来又尝试了百度推出的MIP系统。
但AMP页面在国内总是显示不了嵌入<amp-ad>代码的广告，偶尔好几天但绝大多数时间都不行。今年5月份去北京参加谷歌公司座谈会活动的时候，我给Juliana 鲍珍娜说amp广告显示不了，她和她同事们说，问了一圈，Google的人居然都不知道amp广告在国内不显示！他们即使在国内，也都是专线上网的，
昨天刚写了一篇《不要误屏蔽百度MIP的爬虫》，顺着我们就继续检查其它站是否有被误屏蔽的事情，流量来源主要是百度的国内站可以看百度站长平台（百度搜索资源平台）里面的信息，流量来源主要是Google的国外站可以看Google Webmaster Tools (Google Search Console)。
今天同事发现一个台湾繁体版站的索引情况有异常：
我们很早前就开始做百度MIP版本页面了，通过这种方式也获得了流量的增长和比较好的用户体验。但最近流量不太稳定，有的站MIP流量曾经很高，但后来跌落很厉害。还有的站MIP流量下降后，对应的普通WEB版流量上升。
我们做了各种推测和试验，今天发现了一条重要线索：百度的MIP爬虫曾经被我们屏蔽。
按照百度官方的说法，其MIP爬虫的User Agent是这样的：
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Geck
最近和采集者杠上了，不断与这些采集者纠缠，周一一大早就看到网站监控报警，服务器带宽被占满，在从iftop -i eth1看到有两个IP段一直占据前列：
再仔细一查，这两个IP段是已经被我们在.htaccess里面屏蔽的，从tail -f access.log看这两个IP段的地址访问都是403被拒绝状态，但不知道是哪家的傻爬虫（220.243.135.*/220.243
最近新增了一些网站内容，结果正常的访问者还没有开始来，采集的爬虫就来了，真像是嗜血的鲨鱼，发现哪里有美味马上就盯上了😰。
近期也看了一些关于反采集的文章，世上没有完美、一劳永逸的反采集办法，成了与采集者的对峙，双方不断变换对抗办法，成了一种体力活。
我们现在也不得不采取更严格的反采集措施，看到很多采集IP都来自amazon云计算，这就可以用hostname反查来进行屏蔽，以前曾经做过测试，今天再次测试并记录。
在apache的httpd.conf文件中添加一行：
HostnameLoo
我们一些大数据量的网站总是沦为爬虫获取信息的对象，导致大量消耗服务器资源。有些爬虫是为了采集整个网页，也有些只来找寻邮箱等联系方式信息。
前段时间发现有一阵爬虫特别多，从apache日志里面看到这样的特征：
115.151.110.238 - - [14/Jul/2018:18:03:01 +0800] port:443 "liaoning.mingluji.com" "GET /%E5%AE%89%E5%BE%BD%E5%A5%BD%E6%80%9D%E5%AE%B6%E6%B6%82%E6%96%9
网站内容抓取采集真是中国互联网的一大特色，我们做了这么多年网站，一直都遇到各种各样对我们内容进行采集、复制的家伙。前一阵子发现一个网站 www.postcodequery.com 具体和我们的 www.postcodebas
只要是建有数据量比较多的网站，几乎不可避免采集的情况，这方面我们已经有多年的对付经验，主要是通过分析Web访问日志，找到采集的规律，相应来设置屏蔽IP地址或者URL网址来解决。
国内的Linux服务器上我们都安装了Squid作为Apache的前端缓存，所以我们遇到采集的情况就分析Squid的日志，在squid.conf文件中进行设置屏蔽，然后重启Squid服务就可以。
近期租用的国外Linux服务器上默认是没有Squid的，我们也就只用了Apache作为Web服务器，修改了httpd.conf来让Apache的日志文件显示更详细的虚拟主机域名、
前段时间更换服务器后，将各种限制都打开了，让各种爬虫也都自由访问，包括各种搜索引擎或者采集软件。但这两天发现新服务器都不堪重负，同事在Squid的日志中找到大量来自1.202.218.*, 1.202.219.*, 1.202.220.*, 1.202.221.*的访问，查看User-Agent信息是gosospider Mozilla/5.0 (compatible; GosoSpider; +http://www.goso.cn/aboutus.html)，原来是伟大、光荣、正确的“狗搜”来访，虽然有受宠若惊的感觉，但也让我们服务器的鸭梨过大。
同事在家一直用联通的3G无线网络上网，但总是说无法访问我们自己的网站，也没有查到原因，以为是联通和电信之间互联互通的问题（以前似乎确实出现过）。
这几天同事把联通3G上网卡带来，我今天安放在三星的平板电脑上，发现访问其它网站甚至我们公司放在另外机房的网站都正常，只是访问我们自己运营的网站时报错，而报错很明显，是被我们的Squid拒绝了。我查了上网卡的IP并不在
2002-2023 v11.7 a-j-e-0
