这段时间我们有个网站不断更新内容，流量在不断增长的同时，也引来了大量采集者，现在的采集者已经非常专业了，IP池不断更换，User Agent也随机变化，甚至Referer也做了不同的伪装，让我们花了很多时间来分析Apache日志，不断修改屏蔽条件，斗智斗勇。先以为是百度爬虫太快，把百度爬虫进行了专门的临时503处理，360爬虫干脆全部屏蔽了，但发现还是不行，非正规搜索引擎的采集者带来的麻烦依然不断。🤔

　　为了不影响用户访问，下血本把阿里云服务器从8核16G升级为16核32G，基本可以解决ECS负载飙升的问题，但RDS数据库服务器还是会遇到查询语句堆积的情况，我们

　　前一阵子Google AdSense大中华区客户经理鲍珍娜告诉我，我在他们谷歌AdSense/AdMob成功故事评选中荣获全球第一名，真是一个大惊喜！然后约好本月来进行宣传视频的拍摄。这个星期Google的Juliana和Van从新加坡专门飞到武汉，除了拍摄视频以外，也组织了一次武汉发布商的研讨活动，我准备了名为《用心去做，你就赢了！》的PPT，10月10日已经演讲，现在把PPT内容整理放在博客中供大家参考：

　　我们从去年开始新做的Drupal网站基本上没有再采用新建内容类型的方式了，不使用node页面，而是采用在MySQL中自建table的方式，这样在数据量大的情况下，对于速度的提升很明显。

　　但涉及到老的网站已经用node建立了很多页面，想要改为table的方式，就需要读取node中的信息，转移到table中去，可以采用php调用Drupal API，但效率不高，数据量大的情况下需要很长时间运行，后来尝试用MySQL语句，也可以顺利进行，现在来补充做个笔记，下面是Drupal 7网站迁移数据的MySQL语句示例：

INSERT INTO 
  

　　感谢一些朋友对《AdSense实战宝典》第二版的关注，8月份已经交稿给出版社后，我和电子工业出版社博文视点公司负责审校的张彦红老师、石悦老师密切联系，感谢他们认真负责的态度和专业的水准，对我的初稿进行了非常仔细的阅读，提出了多达200多处的修改意见，大到章节段落的安排，小到一些语句不好理解，这些问题的指出对于提高该书质量很有帮助。

　　下面举几个截图例子：

　　很多年前我们Drupal网站采用了Bartik主题作为电脑版、Mobile主题作为手机版，两个版本采用不同的网址可以互相跳转切换，后来进行了改版，把电脑版、手机版合二为一做成了响应式版本，使用的主题是Responsive Bartik。投放广告则采用了Google AdSense的响应式广告代码。

　　最近因为国内浏览器、运营商对AdSense屏蔽太狠，所以部分国内站改用了百度联盟的广告，并试用了反广告屏蔽代码，效果还不错。但百度联盟一直都没有响应式格式广告代码可用，只能分为手机、电脑两种版本来创建广告单元、获取代码。

　　在MediaWiki

　　前段时间进行改造MediaWiki网站符合百度熊掌号验证的时候接触到ld+json数据，这是加到head里面的一种结构化数据，用来告诉搜索引擎一些关于页面更新时间等元素。

　　后来在Google Search Console里面收到这样的报错提示“检测到了新的AMP问题：必需的结构化数据元素有误”，仔细查看是“所链接到的 AMP 版本有效，但收到了警告
It is eligible for some AMP-specific features in Google Search results, but is not

　　Drupal站的Views带参数可以形成页面，前些年我们一直在使用，但更多是使用创建内容类型添加node方式生成新页面，最近建的站点更多采取Drupal站内不创建内容类型而是直接建表，在用Views带参数形成页面，这样的好处是结构简单、数据库效率高。

　　但默认情况下，当带的参数查询不到内容时，是显示一个标题出来，没有实际内容，给出的状态码是200，这也容易导致形成了无意义页面，可能导致搜索引擎的降权。

　　原来就发现这个问题但没有引起重视，最近把工商名录的上千万条数据从node改为table，对于有人要求删除的内容，还显示一个标题出来、给出2

　　Drupal的Views是一个强大的工具，其中的FILTER CRITERIA用于设置过滤条件。最近在创建一个中文成语英文解释词典的时候，原始数据包含了英文和中文字词，但我们在列表的时候只希望出现4字以上中文成语，就需要设置过滤条件，用正则表达式更方便来设置条件，我们试了一阵子，最后这样设置：

　　过滤条件设置了两条：

　　我们使用LAMP结构搭建网站已经有12年了，前面很多年PHP都是没有加缓存优化，CPU很吃力，只能拿硬件扛，16核CPU算是一般的配置。2014年我们才安装了PHP代码缓存的APC模块，还在Drupal单服务器设置Memcache缓存，APC对Web服务器CPU的压力降低了很多，Memcache对于MySQL的压力降低了很多。

　　再后来服务器搬迁到阿里云，系统安装的PHP版本是5.6.x，自带了OPCache，只需要在php.ini中开启就可以，使用起来效果也不错。

　　安装和配置办法我就不复制过来了。我们自己最近遇到CPU占比持续达到100

　　Memcache几年前我们就开始在Drupal站上启用，对于降低数据库负载的作用很明显，偶尔会出现Memcache自己停了需要重启Memcache服务的情况，但很少很少，几个月也难得一次。

　　6月底开始申请熊掌号后，重新提交URL、提交MIP版本/AMP版本，带来大量百度爬虫，服务器负载明显增高，另外其它采集者也多起来了，导致我们网站有一阵子总是卡住，甚至随机出现白屏打不开的情况，这种白屏故障会一直持续，直到用drush cc all清理缓存后恢复。

　　这对网站的访问影响太大了，如果没有及时发现，可能几个小时、半天都打不开，仔细查看RDS的