Squid

　　最近一段時間國内、國外的多台服務器都不太平，硬件、軟件故障此起彼伏，搞得人疲于應付，不斷在各台服務器之間臨時轉移網站并應對服務器負載方面的問題。

　　到昨天終于算是把一些臨時放在其它服務器（22、181）上的網站基本都遷移回返修重新上架的服務器（17），重裝系統後有好些細節（例如MySQL版本、文件權限、PHP版本、phpmyadmin的運行）會出現問題，還有不少後續工作要進行。

　　17服務器這次更換電源、硬盤後重新安裝系統，就沒有再使用Squid做反向代理緩存加速，直接讓Apache應對Web訪問，這樣也不需要再在MediaWiki的LocalSe

　　從用MediaWiki做網站開始，服務器負載一直就是個問題，為了解決這個問題，我們添加了各種緩存，如MediaWiki的多種緩存機制，包括File Cache，也加上了外部的Squid。後來做Drupal網站并不需要Squid，但因為服務器上已經安裝了Squid，我們也隻好把Drupal架設在Squid之後，另外Drupal也采用了内部core緩存和Boost緩存。

　　這些緩存機制可以解決不少問題，但緩存主要對數據量小、每頁訪問多的網站有明顯效果，而對于數據量很大、每頁訪問少的網站起不到明顯效果，有時甚至因為緩存文件過多起到反效果，而且緩存更新機制也有些小問題。

　　隻要是建有數據量比較多的網站，幾乎不可避免采集的情況，這方面我們已經有多年的對付經驗，主要是通過分析Web訪問日志，找到采集的規律，相應來設置屏蔽IP地址或者URL網址來解決。

　　國内的Linux服務器上我們都安裝了Squid作為Apache的前端緩存，所以我們遇到采集的情況就分析Squid的日志，在squid.conf文件中進行設置屏蔽，然後重啟Squid服務就可以。

　　近期租用的國外Linux服務器上默認是沒有Squid的，我們也就隻用了Apache作為Web服務器，修改了httpd.conf來讓Apache的日志文件顯示更詳細的虛拟主機域名、

　　在換用16核CPU、16G内存的服務器後，發現7200轉硬盤不給力，就增加了多塊10000轉的迅猛龍硬盤，一台服務器上的4塊硬盤分别放置系統及備份文件、Squid緩存文件、MySQL文件、Apache和HTML緩存文件，這樣一般訪問都不會有什麼壓力。

　　但在我們持續導入數據、批量修改模闆的過程中，發現放置Squid緩存文件的硬盤有時占用達到100%，影響正常訪問，于是我們修改Squid設置文件，隻使用幾個G内存作為Web反向加速的緩存，關閉了幾十G、上百G的Squid磁盤緩存，這樣可以避免大量小文件的尋道操作。

　　接下來又發現系統

　　在以前的MediaWiki所建站點中，我們啟用了外部的Squid緩存和MediaWiki本身的File Cache兩種頁面緩存方式。

　　File Cache設置成時間無限長，隻有頁面或者包含的模闆變化時才會更新，這項設置對緩解服務器壓力起到了關鍵作用，如果不啟用的話，網站很快就會變得無法訪問。緩存的更新問題也基本上還好，在正常控制下工作。