Sitemap

在前几天写的一篇博文《为网站添加图片网站地图》中我提到有三种办法来实现网站地图：

• 专门写的php程序，与.htaccess的rewrite配合重写网址（详见《Drupal网站Views生成页面的XML网站地图构建》）
• 用module文件中的menu路径来生成（详见《Drupal中用module文件中的menu路径来生成sitemap.xml》）
• 用views中的xml views来生成（现在来写这篇博客文章来介绍）

以前很早就想过用views来做xml sitemap，替代

在刚刚写的一篇博文《为网站添加图片网站地图》中我提到有三种办法来实现：

• 专门写的php程序，与.htaccess的rewrite配合重写网址（详见《Drupal网站Views生成页面的XML网站地图构建》）
• 用module文件中的menu路径来生成（现在写的这篇博客文章来介绍）
• 用views中的xml views来生成（这个办法我也再专门写一篇博客文章来介绍）

其实用module文件中menu路径来生成网址是Drupal的标准做法，我们用这种做法生成过普通html页面以及p

好些年前，我们的网站就用PHP程序来动态生成robots.txt和sitemap.xml，其中网站地图用php来动态生成而没有保存成文件，因为有些站网址太多，怕sitemap文件过多、过大而占用磁盘空间。虽然动态生成会对数据量很大的数据库有一定影响，但经过一些优化还是可以承受的。但URL很多的网站还存在另外一个问题，就是sitemap被大量爬取，占用带宽，这个问题因为不是很普遍、很迫切，所以就一直放着没有动，只是把有一个站的php程序中添加了延时来让爬虫慢一点。

　　2016年我们重建了IP查询这个网站，包括多语言：

• العربية
• Deutsch
• English
• Español
• Français
• Italiano
• 日本語
• 한국어
• Português
• Русский
• 中文简体‎
• 中文繁体‎
• 等等<

　　2017年底開始搭建《為台灣網民新做的四個國語辭典類網站》，2018年1月份基本完成后開放訪問，因爲數據資料的質量本身不錯，加上我們的精心搭建、在以前的網站上進行宣傳，所以還吸引到一些用戶訪問，流量也逐步增加中。

　　除了用Drupal的Views來搭建各種列表方便用戶使用以外，後來還在自定義模塊中添加了一些MySQL查詢語句，以便實現Views無法進行的查詢，例如多音字的拼音查找等。

　　近期在排除MySQL數據庫服務器負載過高的問題中，發現一些問題，進行了新增數據庫表的壓縮轉換，還對sitemap.php中的查詢語句進行了優化，今天順便對這

　　去年就发现我们有的网站在Google Search Console里面提交的网站地图一直都是“待定”状态（英文界面是“Pending”），重新提交也没有效果，前几天又和同事一起查看，发现有两个域名的系列网站全部都是网站地图处在“待定”状态，这应该有好多个月了，很是令人郁闷。

　　先以为是网站地图本身有问题，但打开都是正常的，用Google Search Console里面的“用Google方式打开”也可以正常获取内容，在其它验证网站地图的地方也可以通过验证，肯定不是网站

　　我们一直很重视网站地图对搜索引擎的提交，以前的MediaWiki自带生成sitemap的程序，Drupal也有专门的第三方扩展XML Sitemap程序。

　　但Drupal的这个扩展只能对node, user, taxonomy term, menu等生成网站地图，也可以手工添加custom网址加入地图中，但却无法把Views批量做成的页面都加进去。这个问题以前不算很突出、很重要，因为主要页面都是node页面或者分类页面，但采取“在Drupal中直接导入、使用数据库”的办法以后，一个网站的主要页面基本上都是Views生成的，这时Drupa

　　在向百度站长平台提交MIP (Mobile Instant Page - 移动网页加速器) 网址的时候，我们采用了《百度MIP版本链接的批量提交》一文中的办法，这样确实可以定时自动提交，不过要整理出需要提交的网址文本这个过程很耗时，特别是我们一些站点的网址数量庞大，用浏览器一页一页访问sitemap页面、保存、合并、替换、上传等每个环节都需要手工操作并苦苦等待。

　　今天下午干脆花了一些时间来编写了一个PHP程序，设置一些参数后，自动读取预设的sitemap网址、下载数据并进行替换、合并、保存到指定文件名下，整个过程无需手工操作，即使读取sitemap网址依然比较

　　刚才记录了一篇《自己编写的网站监控程序》，可以实现比较复杂的多系列网站巡检，设置第二个参数为sitemap.xml就可以检查网站地图。

　　不过看到以前还写过一个更简单的sitemap.xml检查程序monitor_xmlsitemap.php，也把PHP源代码贴出来：

<?php
function check($host) {
    //$keyword = 'xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"';
    $keyw
  

　　2013年8月份写了一篇博文《Drupal网站多语言版的站点地图自动转换》，是修改xmlsitemap.page.inc程序来实现多种语言网站的sitemap，这是多种语言网站提供对应的多种sitemap，博文中提到Google推荐的另外一种办法《通过站点地图指明备选语言网页》（英文版Use a sitemap to indicate alternate language pages， Multilingual and multinational site annotations in Sitemaps ，注意目前需要翻墙访问），是多种语言网站提供一个sitema