当前位置

Drupal系列网站用robotstxt模块生成独立robots.txt

James Qi 在 2012年10月24日 - 12:15 提交
内容摘要:Drupal系统本身支持多站点,默认情况下,这些系列网站都是用同一个robots.txt文件,这在多数情况下都很方便,但我们发现在robots.txt中添加过多的Sitemap:标签来提交站点地图的时......

  Drupal系统本身支持多站点,默认情况下,这些系列网站都是用同一个robots.txt文件,这在多数情况下都很方便,但我们发现在robots.txt中添加过多的Sitemap:标签来提交站点地图的时候,Google Webmaster Tools会因为robots.txt文件过大而进行变换、截取,从而这些提交无效。
  以前知道有个RobotsTxt的插件,但为了让系统保持精简就没有安装过,这两天尝试了安装这个模块,还是比较方便的,可以在菜单中编辑每个站点自己的robots.txt,而且会自动在底部添加一个sitemap提交。
  我们的多语言网站可能会在一个站点就生成几十、上百个站点地图需要提交,人工在Google Webmaster Tools中逐个提交非常费时,试用Google Webmaster Data API也不知道如何弄,希望通过这个robots.txt来提交,刚安装、修改,效果待观察。

评论

-- 发自IP地址: 61.183.172.40 (位置 | 谁是)

写在robots.txt的sitemap还可以被bing等其他支持这种方式的搜索引擎发现,如果只是针对google,就直接在webmaster tools中提交

James Qi / 祁劲松

添加新评论

Plain text

  • 不允许使用HTML标签。
  • 自动将网址与电子邮件地址转变为链接。
  • 自动断行和分段。
验证码
本问题用于测试您是否为人类访问者,避免自动垃圾发贴。
图形验证
键入显示在图片中的字符