數據庫

有一段時間沒有更新博客了，剛才看到最新的一篇《IP地址查詢API來源收集》還是1月份寫的，現在正好在搜索一些IP地址查詢的數據庫，就接着記錄一篇吧。

ip2location

這家算是國外名氣最大、最專業吧。有收費數據庫、免費數據庫，還有代理IP數據庫、API服務等，數據庫等字段很多，價格細分。其免費版本的精度稍差、字段少一些，使用時需要注明來源。

maxmind

也是一家老牌的IP數據提供商，有收費數據庫、免費數據庫、代理數據庫、API服務等。免費數據庫的精度稍差，可以按照CC BY-SA 4.0注明

　　我們選用Drupal的一個重要原因是其對多語言的支持，在實際使用中也發現多語言支持的一些問題，特别是對數據庫負載的影響很大，我們已經想過不少辦法了。例如：Drupal設置Memcache緩存、修改緩存翻譯詞的長度、減少翻譯相關數據表的尺寸等。

　　這兩天對一台阿裡雲RDS負載問題進行排查的時候，再次開啟Devel來查看IP Location系列典型頁面的SQL查詢語句，從幾個方面進行了優化：

• 關閉不是很必要的模塊，例如theme color, dashboard, comment等，可以減少幾次數據庫查詢次數；
<

　　以前在Drupal站中需要數據庫查詢的時候都是優先考慮使用Views而不是自己寫SQL語句，這确實方便了許多。但如果要跨站查詢非本站數據庫的時候就沒法調用其它站的Views了。以前曾經把需要的表複制到當前站再用Views，不過這樣可能造成大量冗餘的數據表。

　　前一段時間在網上搜了一下，Drupal的API中本來就準備了這站外數據庫查詢的接口，下面是一個例子：

function hanzi_emojis($input) {
// 原始 sql語句的辦法
	$database_info = array(
	'host'
  

　　今天同事反映網站打開巨慢無比，查看阿裡雲ECS Web服務器正常，而RDS MySQL數據庫服務器有堵塞，都是被下面類似語句鍊接：

SELECT s.source, s.context, t.translation, t.language
FROM mingluji_gongshang.locales_source s
LEFT JOIN mingluji_gongshang.locales_target t
ON s.lid = t.lid AND t.language = 'zh-hans'
WHERE s.textgroup 
  

　　最近一直在為降低MySQL服務器負載努力，Drupal網站中主要是排查Views引起的性能問題，而MediaWiki中也有一個與Drupal的Views對應的工具：Dynamic Page List (DPL動态頁面列表)，既可以靈活運用得到希望的信息展示效果，但同時也容易引起數據庫負載過高、性能下降。

　　當網站打開很慢的時候，還是需要查看阿裡雲RDS數據管理控制台DMS（Data Management Service），查看診斷報告或者當前實例會話，查看慢查詢語句，例如發現大量這樣的語句：

SELECT DISTINCT `jing
  

　　最近還在設法降低Drupal網站的MySQL負載，前些天嘗試了安裝entity cache，一般情況下可以把一個頁面的70-120個mysql查詢減少10個左右，然後把memcache使用的内存從1G增加到2G，應該會有一些幫助。

　　今天再次打開devel查詢，發現多語言網站的頁面中drupal_lookup_path特别多，50種語言就需要有50個這種查詢，而且每個查詢的語言代碼不同，不能很好利用MySQL的查詢緩存機制。

　　其實這個查詢語句：

SELECT alias FROM url_alias WHERE
  

　　2015年下半年到2016年初我們集中把以前的Drupal 6網站都升級到Drupal 7了，記得當時還是花費了相當大的時間精力來做這些事情。這已經過去近2年時間了，升級後的Drupal 7網站也都運行正常，有些升級後遺留的模塊和數據庫中的表我們也沒有多管，數據庫空間不夠就加空間。

　　最近設置Drupal 7網站支持UTF8MB4的時候，發現轉換過程中也會造成數據庫空間的增大，不想再繼續購買擴大空間了，就想到把以前的Drupal 6遺留數據表進行清理，在網上也查了一下資料（例如：Table cleanup after Content Migration is d

　　Drupal網站對數據庫服務器的壓力由來已久，特别是Views做成的頁面是最可能導緻負載升高的原因，無論是以前自己服務器上的MySQL還是換用阿裡雲的RDS。

　　以前也采取一些緩存的措施來降低負載，但偶爾會出現一些問題，我翻看以前的博客中記錄有《Drupal網站Views生成頁面Title改為變量的問題》、《一個Drupal網站Views消失的排查》。

　　後來Drupal 6升級Drupal 7後似乎有些變化，但我一直也沒有深究，基本上都是把Views的查詢緩存設置為6天，把顯示緩存設置為0，在系列網站的xxx.views_default.

　　我們這邊從一開始使用Drupal就是利用的其本身的數據庫結構，page, node, taxonomy, term等等都是使用Drupal本身的概念，很少直接操作數據，需要大量已有數據（一般是csv格式文件）導入網站的時候，就用第三方模塊node_import (Drupal 6)或者feeds (Drupal 7)來設置和進行導入，形成頁面以及分類，再輔助設置Views進行需要的列表。

　　以上的辦法相對來說簡單易行，特别是在使用Drupal初期，我們對PHP程序和MySQL數據庫不很熟悉的情況下。但在一些需要實現複雜一些功能的時候，這樣的辦法就有局限

　　今年以來将我們以前托管或者租用的服務器全面轉向阿裡雲，除了采用ECS服務器以外，還有一項重要的是采用了RDS數據庫服務器，這對于服務的穩定性、各項指标的監控、調優等都有幫助。

　　不過随着近期更多數據