数据库

有一段时间没有更新博客了，刚才看到最新的一篇《IP地址查询API来源收集》还是1月份写的，现在正好在搜索一些IP地址查询的数据库，就接着记录一篇吧。

ip2location

这家算是国外名气最大、最专业吧。有收费数据库、免费数据库，还有代理IP数据库、API服务等，数据库等字段很多，价格细分。其免费版本的精度稍差、字段少一些，使用时需要注明来源。

maxmind

也是一家老牌的IP数据提供商，有收费数据库、免费数据库、代理数据库、API服务等。免费数据库的精度稍差，可以按照CC BY-SA 4.0注明

　　我们选用Drupal的一个重要原因是其对多语言的支持，在实际使用中也发现多语言支持的一些问题，特别是对数据库负载的影响很大，我们已经想过不少办法了。例如：Drupal设置Memcache缓存、修改缓存翻译词的长度、减少翻译相关数据表的尺寸等。

　　这两天对一台阿里云RDS负载问题进行排查的时候，再次开启Devel来查看IP Location系列典型页面的SQL查询语句，从几个方面进行了优化：

• 关闭不是很必要的模块，例如theme color, dashboard, comment等，可以减少几次数据库查询次数；
<

　　以前在Drupal站中需要数据库查询的时候都是优先考虑使用Views而不是自己写SQL语句，这确实方便了许多。但如果要跨站查询非本站数据库的时候就没法调用其它站的Views了。以前曾经把需要的表复制到当前站再用Views，不过这样可能造成大量冗余的数据表。

　　前一段时间在网上搜了一下，Drupal的API中本来就准备了这站外数据库查询的接口，下面是一个例子：

function hanzi_emojis($input) {
// 原始 sql语句的办法
	$database_info = array(
	'host'
  

　　今天同事反映网站打开巨慢无比，查看阿里云ECS Web服务器正常，而RDS MySQL数据库服务器有堵塞，都是被下面类似语句链接：

SELECT s.source, s.context, t.translation, t.language
FROM mingluji_gongshang.locales_source s
LEFT JOIN mingluji_gongshang.locales_target t
ON s.lid = t.lid AND t.language = 'zh-hans'
WHERE s.textgroup 
  

　　最近一直在为降低MySQL服务器负载努力，Drupal网站中主要是排查Views引起的性能问题，而MediaWiki中也有一个与Drupal的Views对应的工具：Dynamic Page List (DPL动态页面列表)，既可以灵活运用得到希望的信息展示效果，但同时也容易引起数据库负载过高、性能下降。

　　当网站打开很慢的时候，还是需要查看阿里云RDS数据管理控制台DMS（Data Management Service），查看诊断报告或者当前实例会话，查看慢查询语句，例如发现大量这样的语句：

SELECT DISTINCT `jing
  

　　最近还在设法降低Drupal网站的MySQL负载，前些天尝试了安装entity cache，一般情况下可以把一个页面的70-120个mysql查询减少10个左右，然后把memcache使用的内存从1G增加到2G，应该会有一些帮助。

　　今天再次打开devel查询，发现多语言网站的页面中drupal_lookup_path特别多，50种语言就需要有50个这种查询，而且每个查询的语言代码不同，不能很好利用MySQL的查询缓存机制。

　　其实这个查询语句：

SELECT alias FROM url_alias WHERE
  

　　2015年下半年到2016年初我们集中把以前的Drupal 6网站都升级到Drupal 7了，记得当时还是花费了相当大的时间精力来做这些事情。这已经过去近2年时间了，升级后的Drupal 7网站也都运行正常，有些升级后遗留的模块和数据库中的表我们也没有多管，数据库空间不够就加空间。

　　最近设置Drupal 7网站支持UTF8MB4的时候，发现转换过程中也会造成数据库空间的增大，不想再继续购买扩大空间了，就想到把以前的Drupal 6遗留数据表进行清理，在网上也查了一下资料（例如：Table cleanup after Content Migration is d

　　Drupal网站对数据库服务器的压力由来已久，特别是Views做成的页面是最可能导致负载升高的原因，无论是以前自己服务器上的MySQL还是换用阿里云的RDS。

　　以前也采取一些缓存的措施来降低负载，但偶尔会出现一些问题，我翻看以前的博客中记录有《Drupal网站Views生成页面Title改为变量的问题》、《一个Drupal网站Views消失的排查》。

　　后来Drupal 6升级Drupal 7后似乎有些变化，但我一直也没有深究，基本上都是把Views的查询缓存设置为6天，把显示缓存设置为0，在系列网站的xxx.views_default.

　　我们这边从一开始使用Drupal就是利用的其本身的数据库结构，page, node, taxonomy, term等等都是使用Drupal本身的概念，很少直接操作数据，需要大量已有数据（一般是csv格式文件）导入网站的时候，就用第三方模块node_import (Drupal 6)或者feeds (Drupal 7)来设置和进行导入，形成页面以及分类，再辅助设置Views进行需要的列表。

　　以上的办法相对来说简单易行，特别是在使用Drupal初期，我们对PHP程序和MySQL数据库不很熟悉的情况下。但在一些需要实现复杂一些功能的时候，这样的办法就有局限

　　今年以来将我们以前托管或者租用的服务器全面转向阿里云，除了采用ECS服务器以外，还有一项重要的是采用了RDS数据库服务器，这对于服务的稳定性、各项指标的监控、调优等都有帮助。

　　不过随着近期更多数据