昨天刚写了一篇《不要误屏蔽百度MIP的爬虫》，顺着我们就继续检查其它站是否有被误屏蔽的事情，流量来源主要是百度的国内站可以看百度站长平台（百度搜索资源平台）里面的信息，流量来源主要是Google的国外站可以看Google Webmaster Tools (Google Search Console)。
今天同事发现一个台湾繁体版站的索引情况有异常：
我们很早前就开始做百度MIP版本页面了，通过这种方式也获得了流量的增长和比较好的用户体验。但最近流量不太稳定，有的站MIP流量曾经很高，但后来跌落很厉害。还有的站MIP流量下降后，对应的普通WEB版流量上升。
我们做了各种推测和试验，今天发现了一条重要线索：百度的MIP爬虫曾经被我们屏蔽。
按照百度官方的说法，其MIP爬虫的User Agent是这样的：
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Geck
最近和采集者杠上了，不断与这些采集者纠缠，周一一大早就看到网站监控报警，服务器带宽被占满，在从iftop -i eth1看到有两个IP段一直占据前列：
再仔细一查，这两个IP段是已经被我们在.htaccess里面屏蔽的，从tail -f access.log看这两个IP段的地址访问都是403被拒绝状态，但不知道是哪家的傻爬虫（220.243.135.*/220.243
前些天写了一篇《为网站面包屑导航添加结构化数据》，主要说的是为Drupal网站的面包屑导航添加结构化数据标签，从实际应用来看是可以起到预期效果的。
后来我又尝试了在MediaWiki网站中也为面包屑导航添加结构化数据标签，做起来麻烦一些但依然是可行的，今天来记录一下。
我们从2006年很早就开始使用MediaWiki软件了，尝试了用模板来做一个面包屑导航，代码类似这样：
<div class="breadcrumb">
[[link:|首页]]
>
[[link:{
最近新增了一些网站内容，结果正常的访问者还没有开始来，采集的爬虫就来了，真像是嗜血的鲨鱼，发现哪里有美味马上就盯上了😰。
近期也看了一些关于反采集的文章，世上没有完美、一劳永逸的反采集办法，成了与采集者的对峙，双方不断变换对抗办法，成了一种体力活。
我们现在也不得不采取更严格的反采集措施，看到很多采集IP都来自amazon云计算，这就可以用hostname反查来进行屏蔽，以前曾经做过测试，今天再次测试并记录。
在apache的httpd.conf文件中添加一行：
HostnameLoo
我们在采用《使用Apache模块mod_qos反采集》的办法以后，确实有一些效果，但从apache报错日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，现在来收集整理一下常见搜索引擎的IP地址段，以便加入白名单中：
Googlebot：
Baiduspider：
今年以来我在写《Google AdSense实战宝典 第二版》书的过程中也结识了不少AdSense发布商朋友，在交流的过程中既可以给别人帮助，也可以给自己带来新的知识技巧和思路启发。
做AdSense的朋友都是各有奇招的，但一般都不愿意与别人分享，怕被别人学去多了竞争对手，也怕被别人模仿、采集甚至恶意点击、攻击破坏。这也是国内互联网大环境造成的，很多人不愿意踏实原创，都想走捷径、赚快钱，结果也都互相提防，难以通过交流提高。
很久前在百度站长平台后台提交网站地图的时候就看到有一种“自动推送工具代码”，但我们因为使用了sitemap方式，就没有再使用这种。
上周同事又推荐这个给我，我详细看了一下，做起来倒是很简单，只要把一段JavaScript程序放在每个网页中就可以了，而且可与sitemap并存、互为补充。
于是我就修改了Drupal网站的模板html.tpl.php和MediaWiki网站的设置文件LocalSettings.php，在<body>之后加入以下代码：
<script>
最近几个月我们的百度联盟广告收入有了很大的提升，除了网站流量增加、选用合适的广告形式以外，与启用百度的反广告屏蔽代码也有关系，国内的多个浏览器、多个运营商都强行过滤广告，或者打着提升用户体验的旗号屏蔽网站上的广告却悄悄塞入自己的广告，真够流氓的，而反广告屏蔽代码在一定程度上可以反制这种行为。
一些百度官方的资料：
我们先是在普通的Web页面中启用了百度联盟反广告
上半年在美国跑了San Diego半程马拉松后回国，再跑了武汉马拉松全程后就没有怎么练了，主要是工作太忙，需要转型的压力大事情多，再就是去年底答应出版社要编写《Google AdSense实战宝典》第二版的事情无法再拖延了，必须花时间进行了，这两个事情一迭加就把时间花完了，上班时间没啥空闲的，还与同事搞起OKR管理，聚焦在目标和关键结果上。而写书的事情完全就是晚上和周末的时间，所以跑步基本荒废了，以前参加的武汉越野月赛今年一次都没有报名参加。
不过下半年总不能完全不跑了，逼自己还是要报一两个赛事，维持一个最低的锻炼限度，所以夏天的时候就报名了10月份的后官湖和
2002-2023 v11.7 a-j-e-0