昨天剛寫了一篇《不要誤屏蔽百度MIP的爬蟲》，順着我們就繼續檢查其它站是否有被誤屏蔽的事情，流量來源主要是百度的國内站可以看百度站長平台（百度搜索資源平台）裡面的信息，流量來源主要是Google的國外站可以看Google Webmaster Tools (Google Search Console)。
今天同事發現一個台灣繁體版站的索引情況有異常：
我們很早前就開始做百度MIP版本頁面了，通過這種方式也獲得了流量的增長和比較好的用戶體驗。但最近流量不太穩定，有的站MIP流量曾經很高，但後來跌落很厲害。還有的站MIP流量下降後，對應的普通WEB版流量上升。
我們做了各種推測和試驗，今天發現了一條重要線索：百度的MIP爬蟲曾經被我們屏蔽。
按照百度官方的說法，其MIP爬蟲的User Agent是這樣的：
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Geck
最近和采集者杠上了，不斷與這些采集者糾纏，周一一大早就看到網站監控報警，服務器帶寬被占滿，在從iftop -i eth1看到有兩個IP段一直占據前列：
再仔細一查，這兩個IP段是已經被我們在.htaccess裡面屏蔽的，從tail -f access.log看這兩個IP段的地址訪問都是403被拒絕狀态，但不知道是哪家的傻爬蟲（220.243.135.*/220.243
前些天寫了一篇《為網站面包屑導航添加結構化數據》，主要說的是為Drupal網站的面包屑導航添加結構化數據标簽，從實際應用來看是可以起到預期效果的。
後來我又嘗試了在MediaWiki網站中也為面包屑導航添加結構化數據标簽，做起來麻煩一些但依然是可行的，今天來記錄一下。
我們從2006年很早就開始使用MediaWiki軟件了，嘗試了用模闆來做一個面包屑導航，代碼類似這樣：
<div class="breadcrumb">
[[link:|首頁]]
>
[[link:{
最近新增了一些網站内容，結果正常的訪問者還沒有開始來，采集的爬蟲就來了，真像是嗜血的鲨魚，發現哪裡有美味馬上就盯上了😰。
近期也看了一些關于反采集的文章，世上沒有完美、一勞永逸的反采集辦法，成了與采集者的對峙，雙方不斷變換對抗辦法，成了一種體力活。
我們現在也不得不采取更嚴格的反采集措施，看到很多采集IP都來自amazon雲計算，這就可以用hostname反查來進行屏蔽，以前曾經做過測試，今天再次測試并記錄。
在apache的httpd.conf文件中添加一行：
HostnameLoo
我們在采用《使用Apache模塊mod_qos反采集》的辦法以後，确實有一些效果，但從apache報錯日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，現在來收集整理一下常見搜索引擎的IP地址段，以便加入白名單中：
Googlebot：
Baiduspider：
今年以來我在寫《Google AdSense實戰寶典 第二版》書的過程中也結識了不少AdSense發布商朋友，在交流的過程中既可以給别人幫助，也可以給自己帶來新的知識技巧和思路啟發。
做AdSense的朋友都是各有奇招的，但一般都不願意與别人分享，怕被别人學去多了競争對手，也怕被别人模仿、采集甚至惡意點擊、攻擊破壞。這也是國内互聯網大環境造成的，很多人不願意踏實原創，都想走捷徑、賺快錢，結果也都互相提防，難以通過交流提高。
很久前在百度站長平台後台提交網站地圖的時候就看到有一種“自動推送工具代碼”，但我們因為使用了sitemap方式，就沒有再使用這種。
上周同事又推薦這個給我，我詳細看了一下，做起來倒是很簡單，隻要把一段JavaScript程序放在每個網頁中就可以了，而且可與sitemap并存、互為補充。
于是我就修改了Drupal網站的模闆html.tpl.php和MediaWiki網站的設置文件LocalSettings.php，在<body>之後加入以下代碼：
<script>
最近幾個月我們的百度聯盟廣告收入有了很大的提升，除了網站流量增加、選用合适的廣告形式以外，與啟用百度的反廣告屏蔽代碼也有關系，國内的多個浏覽器、多個運營商都強行過濾廣告，或者打着提升用戶體驗的旗号屏蔽網站上的廣告卻悄悄塞入自己的廣告，真夠流氓的，而反廣告屏蔽代碼在一定程度上可以反制這種行為。
一些百度官方的資料：
我們先是在普通的Web頁面中啟用了百度聯盟反廣告
上半年在美國跑了San Diego半程馬拉松後回國，再跑了武漢馬拉松全程後就沒有怎麼練了，主要是工作太忙，需要轉型的壓力大事情多，再就是去年底答應出版社要編寫《Google AdSense實戰寶典》第二版的事情無法再拖延了，必須花時間進行了，這兩個事情一疊加就把時間花完了，上班時間沒啥空閑的，還與同事搞起OKR管理，聚焦在目标和關鍵結果上。而寫書的事情完全就是晚上和周末的時間，所以跑步基本荒廢了，以前參加的武漢越野月賽今年一次都沒有報名參加。
不過下半年總不能完全不跑了，逼自己還是要報一兩個賽事，維持一個最低的鍛煉限度，所以夏天的時候就報名了10月份的後官湖和
2002-2023 v11.7 a-j-e-0