好些年前，我们的网站就用PHP程序来动态生成robots.txt和sitemap.xml，其中网站地图用php来动态生成而没有保存成文件，因为有些站网址太多，怕sitemap文件过多、过大而占用磁盘空间。虽然动态生成会对数据量很大的数据库有一定影响，但经过一些优化还是可以承受的。但URL很多的网站还存在另外一个问题，就是sitemap被大量爬取，占用带宽，这个问题因为不是很普遍、很迫切，所以就一直放着没有动，只是把有一个站的php程序中添加了延时来让爬虫慢一点。
压缩
这是 压缩 分类的页面，点击下面标题查看详细文章内容：
今年以来将我们以前托管或者租用的服务器全面转向阿里云，除了采用ECS服务器以外，还有一项重要的是采用了RDS数据库服务器，这对于服务的稳定性、各项指标的监控、调优等都有帮助。
不过随着近期更多数据