隻要是建有數據量比較多的網站，幾乎不可避免采集的情況，這方面我們已經有多年的對付經驗，主要是通過分析Web訪問日志，找到采集的規律，相應來設置屏蔽IP地址或者URL網址來解決。
國内的Linux服務器上我們都安裝了Squid作為Apache的前端緩存，所以我們遇到采集的情況就分析Squid的日志，在squid.conf文件中進行設置屏蔽，然後重啟Squid服務就可以。
近期租用的國外Linux服務器上默認是沒有Squid的，我們也就隻用了Apache作為Web服務器，修改了httpd.conf來讓Apache的日志文件顯示更詳細的虛拟主機域名、
我們用MediaWiki搭建的網站中，一些頁面需要用到内部搜索結果，我們以前的辦法是采用Google Search API，嵌入JavaScript代碼後就可以顯示Google已經收錄的相關頁面，這個辦法簡單易行，缺點是沒有被收錄的頁面無法出現，已經展示的JS内容不會被搜索引擎發現内容。
十八大前後這一陣子Google搜索一直不正常，也影響到我們網站上含有Google搜索代碼的頁面，間歇性會出現打不開或者打開極慢的情況，影響用戶正常訪問我們的頁面。這個問題有可能長期存在，所以必須設法解決了，否則隻好把相關頁面删除。
昨天試了一些辦法，後
上個月還獲得了一批最新的進出口企業名錄，本月也搭建成了網站供免費浏覽，簡介如下：
進出口企業名錄屬于名錄集旗下子網站，提供截止2012年底的進出口外貿企業名單、聯系方式，包括單位名稱、地址、郵編、負責人、職務、電話、傳真、郵箱、網址、成立時間、雇員人數、主要産品等資料。
如需購買下載名錄數據，請進入進出口名錄-商業數據庫超市。
該
上個月獲得11萬多的外貿企業名錄，這個月把站點建立起來了，簡介如下：
外貿名錄屬于名錄集旗下子網站，提供11萬多家外貿進出口企業名單、聯系方式，包含單位名稱、負責人、地址、電話、郵箱、網址、所屬行業、産品或服務、詳細介紹等資料。
如需購買下載名錄數據，請進入外貿名錄-商業數據庫超市。
前年公司技術部做了一個名錄集配套的銷售網站(http://xiaoshou.mingluji.com/)，支持支付寶在線付款，并用QQ/MSN做在線銷售客服咨詢，用了一年多，效果還不錯，後來信息服務部自行用Drupal搭建了新版本的名錄購買超市(http://goumai.mingluji.com/)，能讓客戶自行下單、付款和下載，進一步方便了客戶的購買。
但兩種方式一直并存也讓部分客戶感到疑惑，于是我們上個月做了合并，10月11日将DNS修改，xiaoshou.mingluji.com的A記錄從58.49.59.191改為219.140.165.17，在新服務器
前幾天在為系列網站提交網站地圖的時候，發現提交多語言、包含手機版的上百個sitemap實在是太痛苦了，不停地click+copy&paste做多了直讓人犯困，算了一下，至少需要幾十個小時來做這種極度無聊的工作。
了解到Google Webmaster Data API是可以用于批量提交sitemap的，但不知道如何使用，查了一些資料也沒有找到突破頭緒就先擱置了，後來嘗試用robots.txt提交，但這種辦法隻能提交網站更目錄下的sitemap（例如http://che.postcodebase.com/sitemap.xml），無法識别子目錄（或者說子
Drupal系統本身支持多站點，默認情況下，這些系列網站都是用同一個robots.txt文件，這在多數情況下都很方便，但我們發現在robots.txt中添加過多的Sitemap:标簽來提交站點地圖的時候，Google Webmaster Tools會因為robots.txt文件過大而進行變換、截取，從而這些提交無效。
以前知道有個RobotsTxt的插件，但為了讓系統保持精簡就沒有安裝過，這兩天嘗試了安裝這個模塊，還是比較方便的，可以在菜單中編輯每個站點自己的robots.txt，而且會自動在底部添加一個sitemap提交。
我們的多語言網站可
6月份寫了一篇《網站擴展100倍：50種語言x(電腦版＋手機版)》，之後幾個月逐步獲得更多數據、搭建更多網站、導入更多數據，現在基本上完成了初步的工作，可以推出這100多個國家地區的多語言郵編網站：
去年下半年開始就以做外文網站為主，少有中文網站推出，最近把積累的一些數據與同事一起整理，準備逐步再添加網站推出。除了很老舊的工商企業名錄以外，我們去年也新添了一些更新數據，先隻是在名錄集數據超市進行銷售，現在添加了最新幾個月的數據後也做成了網站：
新工商名錄
| 省份 |
Pagination站内搜索2002-2023 v11.7 a-j-e-0 |
|---|
