前段时间更换服务器后，将各种限制都打开了，让各种爬虫也都自由访问，包括各种搜索引擎或者采集软件。但这两天发现新服务器都不堪重负，同事在Squid的日志中找到大量来自1.202.218.*, 1.202.219.*, 1.202.220.*, 1.202.221.*的访问，查看User-Agent信息是gosospider Mozilla/5.0 (compatible; GosoSpider; +http://www.goso.cn/aboutus.html)，原来是伟大、光荣、正确的“狗搜”来访，虽然有受宠若惊的感觉，但也让我们服务器的鸭梨过大。
以前Sosospider曾经让我们的服务器负载过高，现在换成这个Goso了，它们都是心急火燎地希望马上把你的网站上的内容全部爬光的那种，放出的大量蜘蛛以极快的速度多路同时抓取，即使把你网站搞瘫痪也全然不顾。没有办法，咱们没有这个福分享受邓亚萍同志领衔的国家级权威服务，还是都屏蔽掉吧。
评论1
同样遭遇表示同情
gosospider|Slurp China|YoudaoBot|Sogou web spider
这几个都是流氓啊