最近有外地的一位合作伙伴告诉我,发现我们网站百度无法访问、收录下降、快照不更新。关于百度的一些SEO指标什么我关注都不太多,这几年都以发展外文网站为重点去了,以前的中文网站只要看流量、收入变化不大、还正常就可以,有的时候看到一些下降也认为是正常波动不太关注。
这位朋友反复提醒我多次需要注意,我就仔细看了,百度搜索的site某个网站域名,显示“连通率0%”,进入百度站长平台,发现抓取压力在4月19日左右突然断崖式下降,再用模拟抓取工具,发现PC端和移动端都无法读取我们网站,而且奇怪的是显示的IP都不是我们的IP地址,甚至是错误的、一看就不可能的IP。
这真是奇怪了,我自己访问网站都正常,从流量统计上来看,最近有些下降,但也幅度不算很大,也没有用户反映无法访问我们网站。但从百度站长平台的后台模拟抓取来看,百度的蜘蛛明显是无法访问我们网站,分析原因只有一个:防火墙对百度蜘蛛获取的DNS数据进行了篡改,导致百度蜘蛛无法或者真实IP地址,因而不能抓取我们网站,从而认为我们网站不能访问,然后是快照无法更新、网页权重下降、网站流量下降!
在网上搜索了一些信息,也有站长遇到类似问题,但也没有说清楚是否现象完全一样、是否彻底解决。只好自己来想办法,既然是对国外DNS解析数据做了篡改,那就改为国内的DNS好了,于是把在Godaddy注册的域名从使用默认的Godaddy提供的域名解析服务器改为国内DNSPod提供的免费解析服务器,这个工作我们以前也曾经做过,但不影响的时候又还原为国外的了,现在看来要长期稳定服务用户,还是得用国内的DNS解析。
修改了DNS设置后,已经看到生效了,从百度站长平台的模拟抓取已经变为成功,再过了几天后,site域名也显示“连通率100%”了,压力反馈在逐步回升中,快照也开始更新。也就是说一切都在恢复正常的过程中,但流量和收入还需要一段时间才会恢复到以前的水平。以前从来没有想到过GFW竟然会针对一部分域名的一部分访问者篡改DNS解析,特别是让普通用户可以访问却让百度爬虫无法访问,真是太奇葩的做法了,不知道这些脑残在干什么!
这几年来,不时有些奇怪的网络新问题出现,很多时候都是GFW在搞些什么调整或者测试吧,我们这种完全无害网站也跟着遭殃,也投诉无门,只好自己想办法来避免损失。我们这几年也大规模把为国外用户服务的网站搬迁到国外服务器上去了,对改善国外的访问还是有很明显的效果。现在看来在未来比较长的时间内,国家对墙的管制还会加强、技术上也做不到好坏分清,所以为了避免或者减少误伤对付的策略应该是按网站服务的浏览者地域进行技术调整,服务器、DNS解析尽量在国内、国外之间区别看来。
补充一点,如果以前在中文网站中使用了国外(例如Google)的一些服务,如AdSense、Analytics、DoubeClick DFP、Google Maps等,如果要作为关键应用使用,也需要密切监视运行情况,一旦有异常需要设法查找原因、找出对策。当然,还有一个办法,就是全部改用国内(例如百度)提供的替换性的服务。
评论