- 主題:本站内容主要是本人關注的互聯網行業及個人愛好方面的主題,包括AdSense💲、MediaWiki👨💻、Drupal💻、馬拉松🏃、架子鼓🥁等。
- 書訊:本人新書2018年12月出版《Google AdSense實戰寶典 - 第二版📘》,歡迎關注。
好些年前,我們的網站就用PHP程序來動态生成robots.txt和sitemap.xml,其中網站地圖用php來動态生成而沒有保存成文件,因為有些站網址太多,怕sitemap文件過多、過大而占用磁盤空間。雖然動态生成會對數據量很大的數據庫有一定影響,但經過一些優化還是可以承受的。但URL很多的網站還存在另外一個問題,就是sitemap被大量爬取,占用帶寬,這個問題因為不是很普遍、很迫切,所以就一直放着沒有動,隻是把有一個站的php程序中添加了延時來讓爬蟲慢一點。