- 主題:本站内容主要是本人關注的互聯網行業及個人愛好方面的主題,包括AdSense💲、MediaWiki👨💻、Drupal💻、馬拉松🏃、架子鼓🥁等。
- 書訊:本人新書2018年12月出版《Google AdSense實戰寶典 - 第二版📘》,歡迎關注。
最近幾天我們國内的兩個網站都遇到訪問困難,檢查發現是百度爬蟲抓取量大增,是以前正常情況的很多倍,導緻Web服務器CPU、帶寬以及數據庫服務器都難以應付。Googlebot也曾經出現類似情況。
辦法一(站長平台設置):
按照以前的辦法,我們是在百度資源平台或者Google Search Console中設置降低爬蟲的抓取速率,不過這樣設置後需要等待2-3天時間生效,而不能解決當時的問題。