網站地圖

以前一直知道有專門的圖片網站地圖這個事情，但一直都沒有去嘗試。最近為多個網站添加了很多有特色的圖片，所以又想起了圖片網站地圖這個事情，就專門去查閱了資料，主要是Google支持：

• 圖片站點地圖
• Google 圖片最佳做法

其實Image Sitemap就是普通Sitemap的一種擴展，幾個要點：

• 圖片網站地圖可以單獨出現（與普通網站地圖分開出現和提交），也可以添加到普通網站地圖中
• 每條url頁面中可以包含最多1000個圖片元素

好些年前，我們的網站就用PHP程序來動态生成robots.txt和sitemap.xml，其中網站地圖用php來動态生成而沒有保存成文件，因為有些站網址太多，怕sitemap文件過多、過大而占用磁盤空間。雖然動态生成會對數據量很大的數據庫有一定影響，但經過一些優化還是可以承受的。但URL很多的網站還存在另外一個問題，就是sitemap被大量爬取，占用帶寬，這個問題因為不是很普遍、很迫切，所以就一直放着沒有動，隻是把有一個站的php程序中添加了延時來讓爬蟲慢一點。

　　去年就發現我們有的網站在Google Search Console裡面提交的網站地圖一直都是“待定”狀态（英文界面是“Pending”），重新提交也沒有效果，前幾天又和同事一起查看，發現有兩個域名的系列網站全部都是網站地圖處在“待定”狀态，這應該有好多個月了，很是令人郁悶。

　　先以為是網站地圖本身有問題，但打開都是正常的，用Google Search Console裡面的“用Google方式打開”也可以正常獲取内容，在其它驗證網站地圖的地方也可以通過驗證，肯定不是網站

　　我們一直很重視網站地圖對搜索引擎的提交，以前的MediaWiki自帶生成sitemap的程序，Drupal也有專門的第三方擴展XML Sitemap程序。

　　但Drupal的這個擴展隻能對node, user, taxonomy term, menu等生成網站地圖，也可以手工添加custom網址加入地圖中，但卻無法把Views批量做成的頁面都加進去。這個問題以前不算很突出、很重要，因為主要頁面都是node頁面或者分類頁面，但采取“在Drupal中直接導入、使用數據庫”的辦法以後，一個網站的主要頁面基本上都是Views生成的，這時Drupa

　　在向百度站長平台提交MIP (Mobile Instant Page - 移動網頁加速器) 網址的時候，我們采用了《百度MIP版本鍊接的批量提交》一文中的辦法，這樣确實可以定時自動提交，不過要整理出需要提交的網址文本這個過程很耗時，特别是我們一些站點的網址數量龐大，用浏覽器一頁一頁訪問sitemap頁面、保存、合并、替換、上傳等每個環節都需要手工操作并苦苦等待。

　　今天下午幹脆花了一些時間來編寫了一個PHP程序，設置一些參數後，自動讀取預設的sitemap網址、下載數據并進行替換、合并、保存到指定文件名下，整個過程無需手工操作，即使讀取sitemap網址依然比較

　　剛才記錄了一篇《自己編寫的網站監控程序》，可以實現比較複雜的多系列網站巡檢，設置第二個參數為sitemap.xml就可以檢查網站地圖。

　　不過看到以前還寫過一個更簡單的sitemap.xml檢查程序monitor_xmlsitemap.php，也把PHP源代碼貼出來：

<?php
function check($host) {
    //$keyword = 'xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"';
    $keyw
  

　　2013年8月份寫了一篇博文《Drupal網站多語言版的站點地圖自動轉換》，是修改xmlsitemap.page.inc程序來實現多種語言網站的sitemap，這是多種語言網站提供對應的多種sitemap，博文中提到Google推薦的另外一種辦法《通過站點地圖指明備選語言網頁》（英文版Use a sitemap to indicate alternate language pages， Multilingual and multinational site annotations in Sitemaps ，注意目前需要翻牆訪問），是多種語言網站提供一個sitema

　　以前托管服務器或者租用的服務器一般都是100M共享的帶寬，很少出現機器帶寬被占滿的情況，去年開始采用阿裡雲平台後，帶寬就是一個不得不考慮的成本因素，我們一般都是每台ECS購買的10M左右帶寬，每年費用已經不少了，而投入使用後很輕易就會被占滿，關鍵是網站的流量并沒有特别提升，廣告收入沒有增加，成本卻在大幅提高，還導緻正常用戶訪問變慢、困難。

　　同事在Linux服務器上安裝了一個iftop來查看帶寬占用情況，很容易就發現了是搜索引擎的爬蟲抓取sitemap.xml這樣的網址占用了很大帶寬，我們網站系列多、頁面多、還有多語言或者手機版，網站地圖就特别的多，如果爬蟲來得

　　9月份在搭建我們的第一個适合智能手機、平闆電腦的移動版本網站“手機版郵編庫”的時候，我們根據Google移動網站地圖的規範，對Drupal自動生成的xmlsitemap進行了相應的人工修改，提供給搜索引擎抓取。昨天再次查看這個手機版本郵編庫網站地圖時，發現10月份這個地圖進行了自動更新，生成的新地圖沒有人工修改來符合Google移動網站地圖規範，于是今天早上再次修改，并将一些要點記錄如下。

　　外部資料鍊接：

• Google 移動網址
• 向站點地圖添加移動網址信息

　　這個星期把前期導入的各國企業名錄網站都初步搭建好了以後，抽空開始把以前的網站的sitemap提交到百度站長平台。在使用百度站長平台的時候，還使用了其“URL優化建議”的功能來檢查我們網站，顯示缺少meta description，雖然這不是一個至關重要的問題，但我們這次也順便一起進行添加。

　　我們的網站主要有兩種平台：去年以前的使用MediaWiki，今年的都是使用Drupal。MediaWiki在服務器上是每個子網站一個單獨的目錄，而Wiki的頁面編輯中也無法添加description，所以我們采用了上傳bdsitemap.tx