对于我们这种数据量很大的网站，面临的一个麻烦是总有人来采集，以前多使用过人工检查、屏蔽的办法，这种办法有效果但太费精力，前段时间也找了插件来自动限制最大连接数，但存在误屏蔽搜索引擎的问题，最近老夫下决定亲自操刀写程序，把这些采集者都斩草除根，虽然

　　6月份放置jamesqi.com这个站点的服务器出了一些问题，一直没有搞好，站点临时转移到其它服务器上，所以也没有写什么日志，现在依然没有搞好，但还是先写日志吧。

　　我们有些系列网站数量多，再加上多语言后，xmlsitemap网站地图的数量就更多了，例如50子网站*50种语言后就是2500个网站地图，生成就需要很长时间，中途还可能遇到各种报错，而生成后人工检查也难以进行，7月1日编写了一个简单的脚本来进行自动检查、记录：

checksitemap.sh

#!/bin/bash

DB=(zip ak al ar az ca
  

　　Drupal网站中用Views可以显示需要的各种列表，有时希望把列表的结果保存为另外的文件，当结果数量很大（超过几十、几百）时，用人工复制粘贴的办法就不合适了，需要有自动批量处理的办法。尝试了2种办法可用：

1、从PHPMyAdmin导出

　　昨天尝试了一个办法：在Views的设置中打开SQL语句显示，将语句复制出来，根据需要进行修改，然后再放到PHPMyAdmin中对应的数据库中运行，将得到的结果（也类似Views的结果）导出成CSV文件。这个过程有点麻烦，特别是需要对复制的SQL语句进行一些修改，最好能懂得一些SQL才好操作。优点是运行速

　　Drupal网站搭建好、数据导入或者编辑完成后，如果需要大批量修改内容，可以有多种办法：

1、最原始：MySQL语句

　　找到MySQL数据库中需要修改的内容放置的字段，用MySQL UPDATE语句来直接替换，其运行效率最高，但实现不方便、出错后无法挽回、页面时间没有变化；

2、最傻瓜：Scanner模块

　　今天找到一个用于search和replace的模块Scanner，安装试了一下，很容易使用，替换后是生成一个新的版本，如果有问题可以批量还原，选项也很丰富：大小写敏感查找、全词查询、加前后缀设

　　今年初在搭建Profile Report网站时写了一篇《系列网站之间相同主题内页的互相链接》，当时主要是用VB编写程序来对导出的两个csv文件进行比较，然后计算出可以链接的node id，再用PHP程序或者人工的办法来添加链接，整个过程比较繁琐、自动化程序不高。

　　此后又尝试了添加更多的数据到这个站，并进行按照省份分类等工作，就采取了PHP程序+MySQL数据库的方式，搜索匹配的效率大大提高，运行时间缩短很多。

　　近期我们新增了一下几个网站：

• China Exporters of Canton Fair 11

　　以前的Drupal 6版本中使用函数drupal_set_title来修改页面Title是页面的HTML标题和页面显示<h1></h1>中的标题都一起变化，但Drupal 7版本中再调用这个函数的时候发现只是页面HTML标题变更了，但页面显示在<h1></h1>中间的标题却没有变，这在有些情况下其实更好，但在确实需要页面显示标题也变化的时候就不行了，还得想另外的办法。

　　下面一段代码放在my_module.module中就可以实现对原来的title进行翻译然后显示在页面中：

/*
* 
  

　　Drupal网站在Site information的设置中有一个404错误页面可以定制到自己希望的网址，如果你在日志中发现大量404错误，而其中很多都是同一个类型可以引导到对用户更有帮助的内容页面，那么就可以在这个定制的404错误网址中进行判断、导向。

　　我做的例子是http://ak.postcodebase.com/not_found ，因为来自外部网站的链接中，有一部分是这个站内找不到或者错误的邮编，就可以根据URI进行判断：

• 如果访问9位邮编页面不存在但前面5位邮编分类页面存在，则转到5位邮编分类页面；

　　我们很多年前开始做网站就一直遇到被采集的问题，很多次都是让我们服务器不堪负重，需要排除、采取针对性措施来屏蔽，所以我一直对采集这种方式很排斥。另外，国内太多用采集做成的复制网站、山寨网站、垃圾网站了，在搜索引擎中也不会有长期良好表现，违反了SEO的原则，所以我们一直都没有用采集的方式来获取数据。

　　但这两年也一直有尝试采集软件的想法，我们不会去复制网站，但可以用来获取需要的一些数据，然后再做处理利用，去年也提过但一直没有实施，今年初再次提到这个想法，我也去看过、比较过一些采集软件，火车头采集软件在这方面比较领先，最近同事去详细了解、试用，感觉还不错，我们就干脆去购买

　　从开封返回郑州已经是下午4点多，打车会宾馆拿东西，又先让的哥把几位要到郑州火车站坐4点40分火车的跑友送过去，再返回到秦朝宾馆，拿了行李后再打车去郑州东站坐高铁回家。在东站的面馆里再次吃了一大碗羊肉烩面，还遇到另外三位跑友又一起吃了一只道口烧鸡。

　　回来的高铁列车稍慢一些，6点40上车到汉口站是9点20，然后在火车站内及周边又打不到出租车，害得我拖着行李箱走了有一站路在另外一个路口才等到一辆出租车，回家已经是晚上10点了。回来给老婆孩子讲了些趣闻趣事、洗澡休息。

　　周一早上就恢复送儿子上学、自己上班了，腿又酸了两天，到周三基本上好了，晚上去打了羽毛

　　早上5点刚过就起来了，洗澡、如厕、换衣、换鞋、早餐、收拾行李退房，这次同房间一起住的是武汉的跑友“三一慢跑”，他比我起得更早，烧好开水，还给我也冲了一碗麦片和一碗蜂蜜水喝，蜂蜜水很浓很甜，喝起来倒是不错，只是没有想到后来出了点问题。

　　郑开马拉松的最大特点是在两个城市之间跑，要凑好42.195公里的距离，终点设在开封的大梁门附近，起点就在郑开大道的白沙检查站，早上选手都是集中在紫荆山公园附近集合，由组委会提供的大巴运送到白沙检查站，这个过程也需要大半个小时。

　　整个10车道的郑开大道全部封闭了，白沙检查站附近也没有特别的车和