修改Drupal網站的robots.txt來避免搜索引擎蜘蛛直接爬取cache路徑的内容
前些天收到Google Webmaster Tools的提醒郵件：
Googlebot 發現您的網站中包含大量的網址：http://jilin.youbianku.com/
October 24, 2011
您在這裡
蜘蛛
這是蜘蛛分類的頁面，點擊下面标題查看詳細文章内容：
人民網的狗搜蜘蛛Gosospider被我們網站屏蔽
這是蜘蛛分類的頁面，點擊下面标題查看詳細文章内容：
前些天收到Google Webmaster Tools的提醒郵件：
Googlebot 發現您的網站中包含大量的網址：http://jilin.youbianku.com/
October 24, 2011