我們在采用《使用Apache模塊mod_qos反采集》的辦法以後，确實有一些效果，但從apache報錯日志中看到也有百度、Google等搜索引擎的IP被屏蔽了，現在來收集整理一下常見搜索引擎的IP地址段，以便加入白名單中：
Googlebot：
Baiduspider：
今年以來我在寫《Google AdSense實戰寶典 第二版》書的過程中也結識了不少AdSense發布商朋友，在交流的過程中既可以給别人幫助，也可以給自己帶來新的知識技巧和思路啟發。
做AdSense的朋友都是各有奇招的，但一般都不願意與别人分享，怕被别人學去多了競争對手，也怕被别人模仿、采集甚至惡意點擊、攻擊破壞。這也是國内互聯網大環境造成的，很多人不願意踏實原創，都想走捷徑、賺快錢，結果也都互相提防，難以通過交流提高。
很久前在百度站長平台後台提交網站地圖的時候就看到有一種“自動推送工具代碼”，但我們因為使用了sitemap方式，就沒有再使用這種。
上周同事又推薦這個給我，我詳細看了一下，做起來倒是很簡單，隻要把一段JavaScript程序放在每個網頁中就可以了，而且可與sitemap并存、互為補充。
于是我就修改了Drupal網站的模闆html.tpl.php和MediaWiki網站的設置文件LocalSettings.php，在<body>之後加入以下代碼：
<script>
最近幾個月我們的百度聯盟廣告收入有了很大的提升，除了網站流量增加、選用合适的廣告形式以外，與啟用百度的反廣告屏蔽代碼也有關系，國内的多個浏覽器、多個運營商都強行過濾廣告，或者打着提升用戶體驗的旗号屏蔽網站上的廣告卻悄悄塞入自己的廣告，真夠流氓的，而反廣告屏蔽代碼在一定程度上可以反制這種行為。
一些百度官方的資料：
我們先是在普通的Web頁面中啟用了百度聯盟反廣告
上半年在美國跑了San Diego半程馬拉松後回國，再跑了武漢馬拉松全程後就沒有怎麼練了，主要是工作太忙，需要轉型的壓力大事情多，再就是去年底答應出版社要編寫《Google AdSense實戰寶典》第二版的事情無法再拖延了，必須花時間進行了，這兩個事情一疊加就把時間花完了，上班時間沒啥空閑的，還與同事搞起OKR管理，聚焦在目标和關鍵結果上。而寫書的事情完全就是晚上和周末的時間，所以跑步基本荒廢了，以前參加的武漢越野月賽今年一次都沒有報名參加。
不過下半年總不能完全不跑了，逼自己還是要報一兩個賽事，維持一個最低的鍛煉限度，所以夏天的時候就報名了10月份的後官湖和
在美國跑完San Diego半程馬拉松後不久就要回國，4月還有一個武漢馬拉松的全程比賽，所以除了抓緊工作以外，還必須保持一定的訓練量，以免無法完成。要知道武漢馬拉松的名額現在非常緊俏，抽簽的中簽率隻有1/6左右，參賽還得找人拿贊助商名額才行。
4月1日返回武漢後工作也特别忙，完全沒有時間倒時差，一回來就按照國内作息時間，就這樣強行别過來
上個周末去鹹甯與大學同學向東一起跑了個半程馬拉松，今年的跑步賽事就全部結束了。今年以前我參加的每次馬拉松比賽都寫了博客文章記錄，但今年參加的三個賽事一次都還沒有記錄，就現在寫幾篇做個記錄吧。
今年我的工作、生活其實變化挺大的，1月份去了兒子在美國讀研所在的城市聖疊戈（San Diego，也稱聖地亞哥），待了兩個多月時間
昨天給同事做内部培訓，講搜索引擎優化，提到面包屑導航的時候，有人問為什麼叫“面包屑”，我記憶中是有個故事：小孩在森林中迷路了，為了能找到回去的路就沿途灑下面包屑，網站中的導航欄也是起到讓浏覽者不迷糊的作用，因此叫着面包屑導航，英文Breadcrumb Navigation，例如本篇博客文章的上級導航是：
首頁 » 博客 » James Qi的博客
Drupal網站中是可以自動生成面包屑導航的，而在MediaWiki網站中我們是自己寫的，反正隻要實現這
9月底、10月初我根據同事的說法查找到Google官方文檔中的說明，驗證了一個頁面中包含多個AdSense廣告時，隻需要包含一次JavaScript調用，然後對網站進行了全面的修改。
正好前幾天有人在微信群裡問到同樣的問題，記錄轉發到這裡：
————— 2018-10-27 —————
gg 15:37：一個頁面中有兩個GG廣告是不是隻放一個JS鍊接就
這段時間我們有個網站不斷更新内容，流量在不斷增長的同時，也引來了大量采集者，現在的采集者已經非常專業了，IP池不斷更換，User Agent也随機變化，甚至Referer也做了不同的僞裝，讓我們花了很多時間來分析Apache日志，不斷修改屏蔽條件，鬥智鬥勇。先以為是百度爬蟲太快，把百度爬蟲進行了專門的臨時503處理，360爬蟲幹脆全部屏蔽了，但發現還是不行，非正規搜索引擎的采集者帶來的麻煩依然不斷。🤔
為了不影響用戶訪問，下血本把阿裡雲服務器從8核16G升級為16核32G，基本可以解決ECS負載飙升的問題，但RDS數據庫服務器還是會遇到查詢語句堆積的情況，我們
2002-2023 v11.7 a-j-e-0