- 主题:本站内容主要是本人关注的互联网行业及个人爱好方面的主题,包括AdSense💲、MediaWiki👨💻、Drupal💻、马拉松🏃、架子鼓🥁等。
- 书讯:本人新书2018年12月出版《Google AdSense实战宝典 - 第二版📘》,欢迎关注。
最近新增了一些网站内容,结果正常的访问者还没有开始来,采集的爬虫就来了,真像是嗜血的鲨鱼,发现哪里有美味马上就盯上了😰。
近期也看了一些关于反采集的文章,世上没有完美、一劳永逸的反采集办法,成了与采集者的对峙,双方不断变换对抗办法,成了一种体力活。
我们现在也不得不采取更严格的反采集措施,看到很多采集IP都来自amazon云计算,这就可以用hostname反查来进行屏蔽,以前曾经做过测试,今天再次测试并记录。
在apache的httpd.conf文件中添加一行:
HostnameLoo