当前位置

采集

这是采集分类的页面,点击下面标题查看详细文章内容:

自己编写网站防采集程序

James Qi 在 2013年7月9日 - 15:02 提交

  对于我们这种数据量很大的网站,面临的一个麻烦是总有人来采集,以前多使用过人工检查、屏蔽的办法,这种办法有效果但太费精力,前段时间也找了插件来自动限制最大连接数,但存在误屏蔽搜索引擎的问题,最近老夫下决定亲自操刀写程序,把这些采集者都斩草除根,虽然编程麻烦但效果好。

最近购买了火车头采集软件

James Qi 在 2013年4月17日 - 11:31 提交

  我们很多年前开始做网站就一直遇到被采集的问题,很多次都是让我们服务器不堪负重,需要排除、采取针对性措施来屏蔽,所以我一直对采集这种方式很排斥。另外,国内太多用采集做成的复制网站、山寨网站、垃圾网站了,在搜索引擎中也不会有长期良好表现,违反了SEO的原则,所以我们一直都没有用采集的方式来获取数据。

自由标签:

Apache中设置屏蔽IP地址和URL网址来禁止采集

James Qi 在 2012年11月23日 - 11:31 提交

  只要是建有数据量比较多的网站,几乎不可避免采集的情况,这方面我们已经有多年的对付经验,主要是通过分析Web访问日志,找到采集的规律,相应来设置屏蔽IP地址或者URL网址来解决。

订阅 RSS - 采集