這段時間我們有個網站不斷更新内容，流量在不斷增長的同時，也引來了大量采集者，現在的采集者已經非常專業了，IP池不斷更換，User Agent也随機變化，甚至Referer也做了不同的僞裝，讓我們花了很多時間來分析Apache日志，不斷修改屏蔽條件，鬥智鬥勇。先以為是百度爬蟲太快，把百度爬蟲進行了專門的臨時503處理，360爬蟲幹脆全部屏蔽了，但發現還是不行，非正規搜索引擎的采集者帶來的麻煩依然不斷。🤔
為了不影響用戶訪問，下血本把阿裡雲服務器從8核16G升級為16核32G，基本可以解決ECS負載飙升的問題，但RDS數據庫服務器還是會遇到查詢語句堆積的情況，我們