Cloudflare的速率限制功能免费了
我们一直不怕网站内容被爬走,但怕服务器被疯狂的爬虫爬垮,所以希望能限制恶意爬虫速度,而又不影响用户访问和搜索引擎爬虫抓取,这是个两难的事情。
以前用过自己写的php程序,但对数据库有压力,也不完善,后面放弃了。
还用过Apache qos模块,但查看error日志不方便,还担心403等状态被缓存,今年也彻底放弃了。
这是Cloudflare分类的页面,点击下面标题查看详细文章内容:
我们一直不怕网站内容被爬走,但怕服务器被疯狂的爬虫爬垮,所以希望能限制恶意爬虫速度,而又不影响用户访问和搜索引擎爬虫抓取,这是个两难的事情。
以前用过自己写的php程序,但对数据库有压力,也不完善,后面放弃了。
还用过Apache qos模块,但查看error日志不方便,还担心403等状态被缓存,今年也彻底放弃了。
现在Cloudflare中就有多种可以实现重定向功能的产品,包括:页面规则、批量重定向、动态重定向、Workers等,另外还有源站Apache中设置的.htaccess,比较复杂了,下面来说说如何识别当前起作用的是哪个环节以及这些环节起作用的顺序。
我们自己域名后缀的邮箱以前都是用的Godaddy免费转发功能,再早些年用过35互联的邮箱转发,后来国内的邮箱转发功能大部分被停掉,就一直在用Godaddy的,既有1个可收发的邮箱,也有100个转发邮箱:
最近一段时间一直在搞Cloudflare的一些工作,特别去了解和使用批量重定向、页面规则、托管规则、反机器人流量等防护功能,而这些功能之间的顺序关系无疑是很重要的,今天正好看了这方面的一些文章,记录下来:
前一篇博文刚刚写了《购买Cloudflare的高级SSL证书管理器》,其中说到这种高级证书只能在Cloudflare中
我们从2016年开始就申请免费的SSL证书,开通https网站,这几年一直都是主要使用
对于我们这种很多年建过很多网站的团队来说,301重定向是一项重要的功能需求。很多时候我们的域名变更、路径改变、语言版本的调整等等都是网址的永久性改变,需要用到301重定向。
以前我们多是用Apache Rewrite功能来设置,也就是在.htaccess文件中设置跳转规则,例如:
很早前在Godaddy注册域名时曾经购买过Godaddy的Premium DNS服务,可以有DNSSEC服务,后来在其它域名注册商、DNS解析服务商的后台都看到过DNSSEC,不过
最近留意到来自Cloudflare的这种Web分析邮件:
From: Cloudflare
To: Me
Subject: Cloudflare Web 分析
Content: