我们一直不怕网站内容被爬走,但怕服务器被疯狂的爬虫爬垮,所以希望能限制恶意爬虫速度,而又不影响用户访问和搜索引擎爬虫抓取,这是个两难的事情。
以前用过自己写的php程序,但对数据库有压力,也不完善,后面放弃了。
还用过Apache qos模块,但查看erro
我们一直不怕网站内容被爬走,但怕服务器被疯狂的爬虫爬垮,所以希望能限制恶意爬虫速度,而又不影响用户访问和搜索引擎爬虫抓取,这是个两难的事情。
以前用过自己写的php程序,但对数据库有压力,也不完善,后面放弃了。
还用过Apache qos模块,但查看erro
现在Cloudflare中就有多种可以实现重定向功能的产品,包括:页面规则、批量重定向、动态重定向、Workers等,另外还有源站Apache中设置的.htaccess,比较复杂了,下面来说说如何识别当前起作用的是哪个环节以及这些环节起作用的顺序。
先来看《页面规则的未来》中的一幅Cloudflare流量顺序图:
8月份记录了一篇博客文章《采用Cloudflare的批量重定向功能降低源服务器负载》,除了使用有限的页面规则以外,终于有一种另外设置重定向的办法了,只是有些呆板,不能嵌入变量、不能设置复杂条件。
没有想到9月份就在Cloudflare迎来了动态重定向功能,同时还有一批新的功能,有4种定
我们自己域名后缀的邮箱以前都是用的Godaddy免费转发功能,再早些年用过35互联的邮箱转发,后来国内的邮箱转发功能大部分被停掉,就一直在用Godaddy的,既有1个可收发的邮箱,也有100个转发邮箱:
即使我们多数域名因为备案要求迁移回国内域名注册商,但我还是保留了一个域名放在Godaddy,就是为了放置这些转发邮箱,迁移到国内域名注册商的域名只需要把MX记录
最近编写了统计apache日志中访问页面尺寸的简单php程序,发现www.emojiall.com这个网站中最近出现大量Microsoft Teams平台的图片,这是微软新近设计的3D风格Emoji,采用带动画效果的APNG格式,支持真彩色,比传统的GIF动图效果好很多,但唯一的缺点在于每个图片的尺寸太大,复杂一些的Emoji图片尺寸超过了1M。一个页面中只有一副或者几幅这样
在《Drupal网站接入CDN》和《MediaWiki网站接入CDN》中,为了让Cloudflare和百度云加速缓存html页面,都是修改了header中的Cache Control:
上个月的每月AdSense邮件中看到Google推出一批新的发布商故事的消息:
See yourself - in the new Google for Publishers site
Explore how other website creators and ap
虽然我们前几个月把网站接入Ezoic后效果并不理想,但Ezoic的一些文章和活动还是不错的,上个月他们搞了一个Ezoic Content Month活动,4周每周做一个方面的主题活动,有博客文章、视频教程、在线会议、白皮书下载、产品介绍、抽奖等,做得有声有色的。👍
我当时
今天接到邮件Unicode® Emoji Charts v15.0正式发布了🎉
其实我们emojiall.com网站在上个月已经提前进行了Unicode 15.0和Emoji 15.0内容的添加,以前的12.0、13.0、14.0基本都是Unicode官方正式发布后,我们延迟一段时间添加和更新的,而这次同事们通力合作,提前进行了,而且在解
同事在检查Apache日志的时候发现这种情况:名为“Chrome Privacy Preserving Prefetch Proxy”的爬虫最近总是来访问https://example.com/.well-known/traffic-advice 这个路径,返回404或者403状态码,我去网上搜了一下,找到一些资料:
2002-2023 v11.7 a-j-e-0