您在這裡

人民網的狗搜蜘蛛Gosospider被我們網站屏蔽

James Qi 在 2011年4月7日 - 23:20 發表

  前段時間更換服務器後,将各種限制都打開了,讓各種爬蟲也都自由訪問,包括各種搜索引擎或者采集軟件。但這兩天發現新服務器都不堪重負,同事在Squid的日志中找到大量來自1.202.218.*, 1.202.219.*, 1.202.220.*, 1.202.221.*的訪問,查看User-Agent信息是gosospider Mozilla/5.0 (compatible; GosoSpider; +http://www.goso.cn/aboutus.html),原來是偉大、光榮、正确的“狗搜”來訪,雖然有受寵若驚的感覺,但也讓我們服務器的鴨梨過大。

  以前Sosospider曾經讓我們的服務器負載過高,現在換成這個Goso了,它們都是心急火燎地希望馬上把你的網站上的内容全部爬光的那種,放出的大量蜘蛛以極快的速度多路同時抓取,即使把你網站搞癱瘓也全然不顧。沒有辦法,咱們沒有這個福分享受鄧亞萍同志領銜的國家級權威服務,還是都屏蔽掉吧。

回應

發表新回應

Plain text

  • 不允許使用 HTML 標籤。
  • 自動將網址與電子郵件地址轉變為連結。
  • 自動斷行和分段。