這是 屏蔽 分類的頁面，點擊下面标題查看詳細文章内容：
從2017年3月就準備開始使用Google推薦的AMP (Accelerated Mobile Pages) “加速移動網頁”，先後把Drupal網站和MediaWiki網站都添加了AMP版本，後來又嘗試了百度推出的MIP系統。
但AMP頁面在國内總是顯示不了嵌入<amp-ad>代碼的廣告，偶爾好幾天但絕大多數時間都不行。今年5月份去北京參加谷歌公司座談會活動的時候，我給Juliana 鮑珍娜說amp廣告顯示不了，她和她同事們說，問了一圈，Google的人居然都不知道amp廣告在國内不顯示！他們即使在國内，也都是專線上網的，
昨天剛寫了一篇《不要誤屏蔽百度MIP的爬蟲》，順着我們就繼續檢查其它站是否有被誤屏蔽的事情，流量來源主要是百度的國内站可以看百度站長平台（百度搜索資源平台）裡面的信息，流量來源主要是Google的國外站可以看Google Webmaster Tools (Google Search Console)。
今天同事發現一個台灣繁體版站的索引情況有異常：
我們很早前就開始做百度MIP版本頁面了，通過這種方式也獲得了流量的增長和比較好的用戶體驗。但最近流量不太穩定，有的站MIP流量曾經很高，但後來跌落很厲害。還有的站MIP流量下降後，對應的普通WEB版流量上升。
我們做了各種推測和試驗，今天發現了一條重要線索：百度的MIP爬蟲曾經被我們屏蔽。
按照百度官方的說法，其MIP爬蟲的User Agent是這樣的：
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Geck
最近和采集者杠上了，不斷與這些采集者糾纏，周一一大早就看到網站監控報警，服務器帶寬被占滿，在從iftop -i eth1看到有兩個IP段一直占據前列：
再仔細一查，這兩個IP段是已經被我們在.htaccess裡面屏蔽的，從tail -f access.log看這兩個IP段的地址訪問都是403被拒絕狀态，但不知道是哪家的傻爬蟲（220.243.135.*/220.243
最近新增了一些網站内容，結果正常的訪問者還沒有開始來，采集的爬蟲就來了，真像是嗜血的鲨魚，發現哪裡有美味馬上就盯上了😰。
近期也看了一些關于反采集的文章，世上沒有完美、一勞永逸的反采集辦法，成了與采集者的對峙，雙方不斷變換對抗辦法，成了一種體力活。
我們現在也不得不采取更嚴格的反采集措施，看到很多采集IP都來自amazon雲計算，這就可以用hostname反查來進行屏蔽，以前曾經做過測試，今天再次測試并記錄。
在apache的httpd.conf文件中添加一行：
HostnameLoo
我們一些大數據量的網站總是淪為爬蟲獲取信息的對象，導緻大量消耗服務器資源。有些爬蟲是為了采集整個網頁，也有些隻來找尋郵箱等聯系方式信息。
前段時間發現有一陣爬蟲特别多，從apache日志裡面看到這樣的特征：
115.151.110.238 - - [14/Jul/2018:18:03:01 +0800] port:443 "liaoning.mingluji.com" "GET /%E5%AE%89%E5%BE%BD%E5%A5%BD%E6%80%9D%E5%AE%B6%E6%B6%82%E6%96%9
網站内容抓取采集真是中國互聯網的一大特色，我們做了這麼多年網站，一直都遇到各種各樣對我們内容進行采集、複制的家夥。前一陣子發現一個網站 www.postcodequery.com 具體和我們的 www.postcodebas
隻要是建有數據量比較多的網站，幾乎不可避免采集的情況，這方面我們已經有多年的對付經驗，主要是通過分析Web訪問日志，找到采集的規律，相應來設置屏蔽IP地址或者URL網址來解決。
國内的Linux服務器上我們都安裝了Squid作為Apache的前端緩存，所以我們遇到采集的情況就分析Squid的日志，在squid.conf文件中進行設置屏蔽，然後重啟Squid服務就可以。
近期租用的國外Linux服務器上默認是沒有Squid的，我們也就隻用了Apache作為Web服務器，修改了httpd.conf來讓Apache的日志文件顯示更詳細的虛拟主機域名、
前段時間更換服務器後，将各種限制都打開了，讓各種爬蟲也都自由訪問，包括各種搜索引擎或者采集軟件。但這兩天發現新服務器都不堪重負，同事在Squid的日志中找到大量來自1.202.218.*, 1.202.219.*, 1.202.220.*, 1.202.221.*的訪問，查看User-Agent信息是gosospider Mozilla/5.0 (compatible; GosoSpider; +http://www.goso.cn/aboutus.html)，原來是偉大、光榮、正确的“狗搜”來訪，雖然有受寵若驚的感覺，但也讓我們服務器的鴨梨過大。
同事在家一直用聯通的3G無線網絡上網，但總是說無法訪問我們自己的網站，也沒有查到原因，以為是聯通和電信之間互聯互通的問題（以前似乎确實出現過）。
這幾天同事把聯通3G上網卡帶來，我今天安放在三星的平闆電腦上，發現訪問其它網站甚至我們公司放在另外機房的網站都正常，隻是訪問我們自己運營的網站時報錯，而報錯很明顯，是被我們的Squid拒絕了。我查了上網卡的IP并不在
2002-2023 v11.7 a-j-e-0
