当前位置

采集

这是采集分类的页面,点击下面标题查看详细文章内容:

反查主机域名来屏蔽爬虫采集

James Qi 在 2018年12月14日 - 15:56 提交

  最近新增了一些网站内容,结果正常的访问者还没有开始来,采集的爬虫就来了,真像是嗜血的鲨鱼,发现哪里有美味马上就盯上了😰。

  近期也看了一些关于反采集的文章,世上没有完美、一劳永逸的反采集办法,成了与采集者的对峙,双方不断变换对抗办法,成了一种体力活。

热烈欢迎百度飓风算法,坚决支持打击恶劣采集

James Qi 在 2017年8月1日 - 12:20 提交

  我们的部分中文站点流量比较大,以前做百度联盟都是黄金、白金会员,也因此被加入了百度官方建的几个QQ群:“百度站长平台大咖群”、“百度SSP黄金会员⑥群”,我平时不太看群里的消息,偶尔看一下近年来也多是晒穷、诉苦、抱怨、唱衰的居多。

自己编写网站防采集程序

James Qi 在 2013年7月9日 - 15:02 提交

  对于我们这种数据量很大的网站,面临的一个麻烦是总有人来采集,以前多使用过人工检查、屏蔽的办法,这种办法有效果但太费精力,前段时间也找了插件来自动限制最大连接数,但存在误屏蔽搜索引擎的问题,最近老夫下决定亲自操刀写程序,把这些采集者都斩草除根,虽然编程麻烦但效果好。

页面

订阅 RSS - 采集