我們很多年前開始做網站就一直遇到被采集的問題,很多次都是讓我們服務器不堪負重,需要排除、采取針對性措施來屏蔽,所以我一直對采集這種方式很排斥。另外,國内太多用采集做成的複制網站、山寨網站、垃圾網站了,在搜索引擎中也不會有長期良好表現,違反了SEO的原則,所以我們一直都沒有用采集的方式來獲取數據。
但這兩年也一直有嘗試采集軟件的想法,我們不會去複制網站,但可以用來獲取需要的一些數據,然後再做處理利用,去年也提過但一直沒有實施,今年初再次提到這個想法,我也去看過、比較過一些采集軟件,火車頭采集軟件在這方面比較領先,最近同事去詳細了解、試用,感覺還不錯,我們就幹脆去購買