- 主題:本站内容主要是本人關注的互聯網行業及個人愛好方面的主題,包括AdSense💲、MediaWiki👨💻、Drupal💻、馬拉松🏃、架子鼓🥁等。
- 書訊:本人新書2018年12月出版《Google AdSense實戰寶典 - 第二版📘》,歡迎關注。
反采集一直都是我們需要進行的工作,特殊是國内互聯網行業抄襲風氣太盛,其實我們不介意這些采集者把我們原創内容采過去,反正采集者也影響不了我們自己多少,但老是導緻我們服務器資源過載就很煩了。
以前一般用“Apache中設置屏蔽IP地址和URL網址來禁止采集”,高級一些的用法記錄在“識别User Agent屏蔽一些Web爬蟲防采集”,中途還專門“自己編寫網站防采集程序”,但用起來也有些不完善。
這兩個月提交百度熊掌号、MIP/AMP後,正常的爬蟲多起來,流量也多一些,跟着