同事发现我们对一些采集爬虫进行限制后,给出的403拒绝状态也会被CDN缓存起来,造成后续正常用户访问的时候也被拒绝,于是详细了解了各CDN对http/https访问报错状态的缓存处理。
首先是看Cloudflare,其文档 Configuring cache TTL by status code 中有明确说明,如果在没有设置Cache Control的情况下:
- HTTP 200, 301: 120分钟
- HTTP 302: 20分钟
- HTTP 404: 10分钟
- HTT
同事发现我们对一些采集爬虫进行限制后,给出的403拒绝状态也会被CDN缓存起来,造成后续正常用户访问的时候也被拒绝,于是详细了解了各CDN对http/https访问报错状态的缓存处理。
首先是看Cloudflare,其文档 Configuring cache TTL by status code 中有明确说明,如果在没有设置Cache Control的情况下:
很多网友并不是很了解Emoji,在我们EmojiAll对应的一个QQ群(群号:774842773)中总有人问如何添加一个Emoji,请我们帮忙,或者说愿意付费来添加,这些朋友多数是希望在自己的某个软件中增加一个特别的符号。
人工智能近年来持续火热,我们做互联网很多年了,但以前也一直觉得人工智能太高端,没有怎么涉及。直到去年在EmojiAll项目中开始准备做Emoji的统计分析工作,其中有一项是做Emoji的情绪分析,就需要用到典型的人工智能算法。
对Emoji信息进行收集、整理,初期简单的数据统计,学习国外相关论文,摸索算法模型,实际训练数据,处理结果分析,误差校正处理,直到最后的Emoji情绪分析数据展示,大约花了半年时间。成果还是很明显的,很多人关注我们做的Emoji情绪分析,国内外大学都有老师、学生与我们联系数据引用、合作等事宜。
考虑到未来人工智能的发现,我们
我们的EmojiAll网站从两年多前开始做以后,陆续还有几个中文Emoji网站出现,有些网站的结构、布局、设计、栏目等等与我们类似,多少是受到我们启发的吧,如果内容是他们自己做的,不是抄袭的,也没有关系,各自做出各自的特色出来,都是为网民服务,公平竞争,优胜劣汰。
但最近发现一个站www.emojitip.com居然把我们为每一个Emoji写的描述和举例都复制过去了,这就过分了,我们这些都是花了大量时间精力来写的原创内容,请各种语言的实习同学们编写花的费用也是以十万来记的,这样赤裸裸的抄袭也是胆子大。两个网站对同一个Emoji进行介绍的内容的对比截图如下:
2019年我们就开始用PHP绘图功能在网站上输出图片,除了在线输出PNG图片以外,我们还做了输出GIF动画图、SVG矢量图等功能,在网站中应用的效果也非常好。
不过也发现爬虫过多的时候,对服务器负载和带宽有比较大的影响,于是我们最近采取了几项措施。
首先是接入了Cloudflare或者百度云加速,让图片可以保存到CDN中,这样降低了很多源站访问。
但有个别站图片数量非常多,缓存效果不明显,我们就干脆把PHP在线生成图片改为了读取保存在磁盘中的.png文件,这样相当于又添加了一级缓存,免除了读取对应数据库、调用字体字库、图形绘制等
我们网站几年来一直使用Let's Encrypt的免费SSL证书,在服务器上设置了定时检查、更新以后,每三个月证书会自动续期,也是不费事。后来部分网站接入了Cloudflare的CDN服务,无论是通过代理商的cname接入方式还是直接ns接入方式,源站服务器上的SSL证书更新都没有特别的问题。
但后来部分国内站点接入百度云加速的CDN服务后,源站上的SSL证书更新就有问题,无论是cname接入方式还是ns接入方式,下面来分别记录。
域名解析服务还是由dnspod提供,源服务器上运行
很多年前一直在使用MySQL 5.x,前几年开始用阿里云RDS的时候,也是使用的MySQL 5.5、5.6、5.7,最近有Aliyun RDS陆续到期,看到新购RDS有MySQL 8.0的选项,再查阅一些资料,说MySQL 8.0性能上比5.x有大幅提高,而且5.x逐步也不再被MySQL官方和阿里云支持,想到如果直接续费3年的话,老版本还有几年都无法升级,就干脆这次新购MySQL 8.0版本的RDS,把老数据进行迁移,下面是迁移中遇到一些问题的记录。
我们采取的是使用mysqldump命令备份老RDS上的库到.sql文件,然后使用mysql命令逐个还原.sql文件到新
开始用CloudFlare后,留意到菜单中有一个明显的“Workers”菜单项,查看在线帮助文档,说是“在全球数以百计的 Cloudflare 数据中心中运行 JavaScript Service Workers。修改站点的 HTTP 请求和响应,发出并行请求或从边缘生成响应”,有一些简明的使用示例,还是比较清晰的。
这个Workers服务CloudFlare也提供了免费使用,只是在资源消耗方面做了一些限制,如果需要更大量的服务则可以付费购买,这也很合理。这种边缘计算也是未来的发展方向,ServerLess等概念也是很前
我们从前年、去年开始就缩减了一些以前的多语言网站,将很少人访问的语言取消掉,取消语言后的跳转以前是在.htaccess中设置的,同事处理起来比较麻烦,现在干脆写了一段代码放在html.tpl.php的开头位置,从当前网址中分离出可能的语言代码,如果是已经取消的就301跳转到默认语言对应的网址去,PHP程序代码如下:
//jamesqi 2021-6-29 not availabled languages 301 redirect to default language $server_name = $_SERVER['SERVER_NAME'
今天同事需要清理memcache中某种前缀的key的值,但memcache没有专门的这种命令,我帮忙在网上找了一段程序:
How about this function in php: function deletekeysbyindex($prefix) { $m = new Memcached(); $m->addServer('localhost', 11211); $keys = $m->getAllKeys(); foreach ($keys as $index => $
2002-2023 v11.7 a-j-e-0