Drupal系统本身支持多站点,默认情况下,这些系列网站都是用同一个robots.txt文件,这在多数情况下都很方便,但我们发现在robots.txt中添加过多的Sitemap:标签来提交站点地图的时候,Google Webmaster Tools会因为robots.txt文件过大而进行变换、截取,从而这些提交无效。
以前知道有个RobotsTxt的插件,但为了让系统保持精简就没有安装过,这两天尝试了安装这个模块,还是比较方便的,可以在菜单中编辑每个站点自己的robots.txt,而且会自动在底部添加一个sitemap提交。
我们的多语言网站可能会在一个站点就生成几十、上百个站点地图需要提交,人工在Google Webmaster Tools中逐个提交非常费时,试用Google Webmaster Data API也不知道如何弄,希望通过这个robots.txt来提交,刚安装、修改,效果待观察。
自由标签
评论2
sitemap不一定非要写在robots里边吧
sitemap不一定非要写在robots里边吧,直接在webmaster tools里边提交就行了。写在robots
写在robots.txt的sitemap还可以被bing等其他支持这种方式的搜索引擎发现,如果只是针对google,就直接在webmaster tools中提交