這是 Sitemap 分類的頁面，點擊下面标題查看詳細文章内容：
以前托管服務器或者租用的服務器一般都是100M共享的帶寬，很少出現機器帶寬被占滿的情況，去年開始采用阿裡雲平台後，帶寬就是一個不得不考慮的成本因素，我們一般都是每台ECS購買的10M左右帶寬，每年費用已經不少了，而投入使用後很輕易就會被占滿，關鍵是網站的流量并沒有特别提升，廣告收入沒有增加，成本卻在大幅提高，還導緻正常用戶訪問變慢、困難。
同事在Linux服務器上安裝了一個iftop來查看帶寬占用情況，很容易就發現了是搜索引擎的爬蟲抓取sitemap.xml這樣的網址占用了很大帶寬，我們網站系列多、頁面多、還有多語言或者手機版，網站地圖就特别的多，如果爬蟲來得
我們做的Drupal網站數據量都比較大，幾年前一開始就遇到cron運行報錯的情況，主要就是因為cron運行期間要生成xmlsitemap，遇到php的内存限制或者運行時間限制導緻出錯無法正常執行，我們當時采取的辦法是修改“Minimum sitemap lifetime（sitemap最小存在時間）”為10年（drush vset xmlsitemap_minimum_lifetime "315360000"，并且還要修改modules/xmlsitemap/xmlsitemap.admin.inc中的内容，增加10年這個表單選項
Google Webmaster Tools我們很早就在用，去年也開始使用其API，寫過一篇記錄《調用Google Webmaster Data API批量提交sitemap》，Bing和Yahoo的類似Webmaster工具我們也很早就注冊、嘗試過，後來Yahoo搜索并入Bing後，我們也沒有多關注。
上個月接到微軟必應搜索部門客戶經理的郵件，推薦使用Bing Toolbox Webmaster，想到我們現在的網站以外文、國外浏覽者為主要發展方向，而Bing在美國的市場占有率也達到20%多，還是有必要去多了解、利用的，而且Bing去年也推出了新的API便于批量操
多語言Drupal網站的站點地圖有一個名為xmlsitemap_i18n (XML sitemap internationalization)的插件，安裝後就可以用為網站添加、生成各種語言相應的xmlsitemap，這個功能很強，特别是對于各種語言版本有不同的網址、不同的内容、不同的頁面數量的複雜情況，都可以适用。
但我們在實際使用中，因為網站的數據量大（頁面數達到幾十萬甚至上百萬）、語言多（50種語言）、子網站多（一個系列可能有幾十甚至幾百個子網站），生成站點地圖需要很長時間，而我們網站的多語言沒有頁面數量不同的情況，每個頁面的每種語言都有一一對應的頁面，生成的
6月份放置jamesqi.com這個站點的服務器出了一些問題，一直沒有搞好，站點臨時轉移到其它服務器上，所以也沒有寫什麼日志，現在依然沒有搞好，但還是先寫日志吧。
我們有些系列網站數量多，再加上多語言後，xmlsitemap網站地圖的數量就更多了，例如50子網站*50種語言後就是2500個網站地圖，生成就需要很長時間，中途還可能遇到各種報錯，而生成後人工檢查也難以進行，7月1日編寫了一個簡單的腳本來進行自動檢查、記錄：
checksitemap.sh
#!/bin/bash DB=(zip ak al ar az ca
很長時間沒有更新drupal 網站的sitemap了，近期用drush xmlsitemap-regenerate命令來批量更新，但在遇到數據量大的網站時，有時會遇到類似這樣的報錯：
Fatal error: Maximum execution time of 240 seconds exceeded in /mnt/gb2/htdocs/drupal.mingluji.com/includes/path.inc on line 115 Drush command terminated abnormally due to an unrecoverable
用Drupal搭建網站中，我們通常是初期導入大量數據，後來再反複修改分類、Views、顯示模闆、菜單等項目來改善用戶體驗，特别是顯示模闆可能會在幾個月、幾年後多次修改，甚至是重要的全面修改，顯示内容已經面目全非了，但搜索引擎的快照中還是以前的内容，沒有及時重新抓取、更新排名。
搜索引擎應該是基本參照網站的xmlsitemap中的頁面最後修改時間lastmod、更新頻率changefreq來決定是否回來抓取、多長時間回來抓取的，而Drupal生成的sitemap中某個頁面的最後更改時間很可能就是當初創建的時間，但顯示内容因為模闆修改而早就不同了，造成修改後的内容無法
前幾天在為系列網站提交網站地圖的時候，發現提交多語言、包含手機版的上百個sitemap實在是太痛苦了，不停地click+copy&paste做多了直讓人犯困，算了一下，至少需要幾十個小時來做這種極度無聊的工作。
了解到Google Webmaster Data API是可以用于批量提交sitemap的，但不知道如何使用，查了一些資料也沒有找到突破頭緒就先擱置了，後來嘗試用robots.txt提交，但這種辦法隻能提交網站更目錄下的sitemap（例如http://che.postcodebase.com/sitemap.xml），無法識别子目錄（或者說子
近期集中為以前的一些網站添加了手機版，為了讓搜索引擎優化的效果更佳，我們為手機版都添加了Mobile XML Sitemap，在MediaWiki網站中是逐一對電腦版中的地圖文件進行人工修改保存，而在Drupal網站中我們采用的辦法是自動實時轉換，下面記錄幾個要點：
近期為一些MediaWiki網站添加了手機版，在設置和修改完成後，可以向搜索引擎提交手機版的專門網站地圖，以便讓搜索引擎抓取更全面的内容并帶來更多的流量。
因為此前的MediaWiki網站内容變化不大，所以可以複制電腦版的xml sitemap，并人工進行一些修改就可以，把原來的sitemap文件逐個打開，替換下面這些地方：
2002-2023 v11.7 a-j-e-0
