当前位置

robots.txt

这是robots.txt分类的页面,点击下面标题查看详细文章内容:

Drupal系列网站用robotstxt模块生成独立robots.txt

James Qi 在 2012年10月24日 - 12:15 提交

  Drupal系统本身支持多站点,默认情况下,这些系列网站都是用同一个robots.txt文件,这在多数情况下都很方便,但我们发现在robots.txt中添加过多的Sitemap:标签来提交站点地图的时候,Google Webmaster Tools会因为robots.txt文件过大而进行变换、截取,从而这些提交无效。

修改Drupal网站的robots.txt来避免搜索引擎蜘蛛直接爬取cache路径的内容

James Qi 在 2011年10月31日 - 10:31 提交

  前些天收到Google Webmaster Tools的提醒邮件:

Googlebot 发现您的网站中包含大量的网址:http://jilin.youbianku.com/

October 24, 2011

订阅 RSS - robots.txt