你在这里


磁盘

Drupal的Boost文件缓存将磁盘占满

James Qi 2011年6月15日 - 22:59 发布

  今年开始用Drupal平台软件并升级了服务器硬件以后,数据量不断增加,流量和收入也有了新的突破。这两天看我们新购置的万转硬盘快要被占满了,300G的迅猛龙硬盘前天只有20G空余,昨天只有10G空余,今天再不想办法就满了。

  今天和同事一起商量了解决办法,先是计算了Drupal文件缓存占用磁盘的大小,以前MediaWiki的文件缓存可以选择使用.html或者.html.gz两种方式,我们一般都是选用占用空间更小的后者,而Drupal的Boost模块缓存机制与MediaWiki不同,是完全跳过了PHP和MySQL,只需要Apache与浏览者打交道,原理上来说比MediaWiki效率更高,不过每个页面需要生成.html和.html.gz两套文件,一般.html.gz文件平均大小在12.5KB左右,而未压缩的.html需要乘以3,也就是37.5KB左右,两套文件加起来就是50KB左右,是纯压缩文件的4倍。

服务器磁盘文件统计数据,准备购置高速硬盘

James Qi 2011年4月3日 - 17:50 发布

  前一阵子新换了3台服务器,都是配置的16核(4路4核)CPU、16G内存,算是很强大了,不过配置的硬盘只是2个1T普通7200转台式机硬盘,根据这些天的观察,在添加数据、更新模板的时候,用iostat查看会遭遇明显的IO瓶颈,在cpu、内存富余很多的情况下,磁盘的利用率长期100%。

  我们把MySQL和Web(包括Squid和Apache)服务的数据放在两块不同的硬盘上,先以为只是MediaWiki网站全文检索时MySQL的MyISAM数据库大文件频繁读写使硬盘应付不过来,后来根据仔细观察,发现MySQL的全文检索本身性能不好,在处理大量数据的时候容易使CPU卡住,同事调试了Sphnix来做全文检索可以轻易对付一个网站目前平均每分钟2次的搜索量。不过在Drupal网站新建全文索引表的过程中,确实还是遇到明显的硬盘瓶颈,平均每秒只能生成5条左右,当网站数据量在数十万以上时需要耗费以几十小时来记的时间,这个过程中硬盘处于繁忙状态,无法多个网站同时生成。

  后来又在MediaWiki模板更新中也感觉硬盘处理不过来,今天详细统计了目前几个主要服务(Squid, Apache, MySQL)的磁盘使用情况,列表如下:

订阅 RSS - 磁盘