当前位置

爬虫

这是爬虫分类的页面,点击下面标题查看详细文章内容:

修改Drupal的xmlsitemap模块来控制搜索引擎爬取网站地图速度

James Qi 在 2016年2月2日 - 16:40 提交

  以前托管服务器或者租用的服务器一般都是100M共享的带宽,很少出现机器带宽被占满的情况,去年开始采用阿里云平台后,带宽就是一个不得不考虑的成本因素,我们一般都是每台ECS购买的10M左右带宽,每年费用已经不少了,而投入使用后很轻易就会被占满,关键是网站的流量并没有特别提升,广告收入没有增加,成本却在大幅提高,还导致正常用户访问变慢、困难。

订阅 RSS - 爬虫