你在这里


robots.txt

动态生成robots.txt的PHP程序

James Qi 2013年8月30日 - 15:32 发布

  以前尝试过《Drupal系列网站用robotstxt模块生成独立robots.txt》,可以实现多站点的每个站点都有不同的robots.txt,但缺点是需要逐个编辑,当子站数量多、修改次数多的时候,依然显得麻烦。

  后来也尝试过程序动态生成robots.txt,但一直没有成功,昨天还尝试了在自定义module中编写,但显示的内容包含在html.tpl.php, page.tpl.php等模板之中,也不行。

  再多查了一些网上的资料并反复测试,终于是可以实现了,步骤如下:

  1. 删除原来的robots.txt;
  2. 编写一个robots.php,用PHP程序来动态输出内容;
  3. 修改.htaccess,让用户访问robots.txt的时候重定向到robots.php的输出内容。

  一个robots.php的例子:

自由标签:

Drupal系列网站用robotstxt模块生成独立robots.txt

James Qi 2012年10月24日 - 12:15 发布

  Drupal系统本身支持多站点,默认情况下,这些系列网站都是用同一个robots.txt文件,这在多数情况下都很方便,但我们发现在robots.txt中添加过多的Sitemap:标签来提交站点地图的时候,Google Webmaster Tools会因为robots.txt文件过大而进行变换、截取,从而这些提交无效。
  以前知道有个RobotsTxt的插件,但为了让系统保持精简就没有安装过,这两天尝试了安装这个模块,还是比较方便的,可以在菜单中编辑每个站点自己的robots.txt,而且会自动在底部添加一个sitemap提交。
  我们的多语言网站可能会在一个站点就生成几十、上百个站点地图需要提交,人工在Google Webmaster Tools中逐个提交非常费时,试用Google Webmaster Data API也不知道如何弄,希望通过这个robots.txt来提交,刚安装、修改,效果待观察。

修改Drupal网站的robots.txt来避免搜索引擎蜘蛛直接爬取cache路径的内容

James Qi 2011年10月31日 - 10:31 发布

  前些天收到Google Webmaster Tools的提醒邮件:

Googlebot 发现您的网站中包含大量的网址:http://jilin.youbianku.com/

October 24, 2011

订阅 RSS - robots.txt