当前位置

常见搜索引擎爬虫IP地址段

James Qi 在 2018年12月14日 - 12:08 提交

  我们在采用《使用Apache模块mod_qos反采集》的办法以后,确实有一些效果,但从apache报错日志中看到也有百度、Google等搜索引擎的IP被屏蔽了,现在来收集整理一下常见搜索引擎的IP地址段,以便加入白名单中:

Googlebot:

  • 66.249.
  • 203.208.60.
  • 216.239.
  • 66.102.
  • 64.233.
  • 72.14.

Baiduspider:

  • 123.125.
  • 220.181.108.
  • 220.181.124.
  • 220.181.125.
  • 111.206.

Msnbot:

  • 207.46.13.
  • 157.55.39.
  • 40.77.167.

Sogouspider:

  • 106.120.173.
  • 106.38.241.
  • 111.202.100.
  • 123.126.113.

Yandex:

  • 37.9.113.
  • 37.9.87.
  • 93.158.161.
  • 178.154.244.
  • 213.180.203.
  • 141.8.142.
  • 5.255.250.

  网上也看到其它一些帖子有类似的搜索引擎爬虫IP段收集,但可能有些过时了。我这上面都是在自己的服务器apache日志中看到的,供大家参考,以后还会更新。

自由标签:

添加新评论

Plain text

  • 不允许使用HTML标签。
  • 自动将网址与电子邮件地址转变为链接。
  • 自动断行和分段。