GZ

好些年前，我們的網站就用PHP程序來動态生成robots.txt和sitemap.xml，其中網站地圖用php來動态生成而沒有保存成文件，因為有些站網址太多，怕sitemap文件過多、過大而占用磁盤空間。雖然動态生成會對數據量很大的數據庫有一定影響，但經過一些優化還是可以承受的。但URL很多的網站還存在另外一個問題，就是sitemap被大量爬取，占用帶寬，這個問題因為不是很普遍、很迫切，所以就一直放着沒有動，隻是把有一個站的php程序中添加了延時來讓爬蟲慢一點。