修改Drupal網站的robots.txt來避免搜索引擎蜘蛛直接爬取cache路徑的内容
前些天收到Google Webmaster Tools的提醒郵件:
Googlebot 發現您的網站中包含大量的網址:http://jilin.youbianku.com/
October 24, 2011
這是蜘蛛分類的頁面,點擊下面标題查看詳細文章内容:
前些天收到Google Webmaster Tools的提醒郵件:
Googlebot 發現您的網站中包含大量的網址:http://jilin.youbianku.com/
October 24, 2011