CDN对错误状态的缓存时间
同事发现我们对一些采集爬虫进行限制后,给出的403拒绝状态也会被CDN缓存起来,造成后续正常用户访问的时候也被拒绝,于是详细了解了各CDN对http/https访问报错状态的缓存处理。
这是404分类的页面,点击下面标题查看详细文章内容:
同事发现我们对一些采集爬虫进行限制后,给出的403拒绝状态也会被CDN缓存起来,造成后续正常用户访问的时候也被拒绝,于是详细了解了各CDN对http/https访问报错状态的缓存处理。
以前在翻看Drupal的Performance & Scalability插件的时候留意过有一个Fast 404
两年前写过一篇博文《Drupal中对404错误进行判断、重定向》,当时是在一个系列网站
Drupal网站在Site information的设置中有一个404错误页面可以定制到自己希望的网址,如果你在日志中发现大量404错误,而其中很多都是同一个类型可以引导到对用户更有帮助的内容页面,那么就可以在这个定制的404错误网址中进行判断、导向。