Drupal系統本身支持多站點,默認情況下,這些系列網站都是用同一個robots.txt文件,這在多數情況下都很方便,但我們發現在robots.txt中添加過多的Sitemap:标簽來提交站點地圖的時候,Google Webmaster Tools會因為robots.txt文件過大而進行變換、截取,從而這些提交無效。
以前知道有個RobotsTxt的插件,但為了讓系統保持精簡就沒有安裝過,這兩天嘗試了安裝這個模塊,還是比較方便的,可以在菜單中編輯每個站點自己的robots.txt,而且會自動在底部添加一個sitemap提交。
我們的多語言網站可能會在一個站點就生成幾十、上百個站點地圖需要提交,人工在Google Webmaster Tools中逐個提交非常費時,試用Google Webmaster Data API也不知道如何弄,希望通過這個robots.txt來提交,剛安裝、修改,效果待觀察。
自由标簽
评论2
sitemap不一定非要寫在robots裡邊吧
sitemap不一定非要寫在robots裡邊吧,直接在webmaster tools裡邊提交就行了。寫在robots
寫在robots.txt的sitemap還可以被bing等其他支持這種方式的搜索引擎發現,如果隻是針對google,就直接在webmaster tools中提交