- 主题:本站内容主要是本人关注的互联网行业及个人爱好方面的主题,包括AdSense💲、MediaWiki👨💻、Drupal💻、马拉松🏃、架子鼓🥁等。
- 书讯:本人新书2018年12月出版《Google AdSense实战宝典 - 第二版📘》,欢迎关注。
最近几天我们国内的两个网站都遇到访问困难,检查发现是百度爬虫抓取量大增,是以前正常情况的很多倍,导致Web服务器CPU、带宽以及数据库服务器都难以应付。Googlebot也曾经出现类似情况。
办法一(站长平台设置):
按照以前的办法,我们是在百度资源平台或者Google Search Console中设置降低爬虫的抓取速率,不过这样设置后需要等待2-3天时间生效,而不能解决当时的问题。