被爬虫爬了,大家反爬一般有什么好的手段措施

1次阅读

共计 441 个字符,预计需要花费 2 分钟才能阅读完成。

之前写了一个小玩具,放到了公网上面,平时几乎没什么人访问,最近流量突增,并且 来来回回就是那几个 ip。

而且这几个 ip 直接访问的是接口,没有通过页面访问,大概是 50-60 个不同的 ip,然后间隔一段时间访问 (不是短时间内 猛刷接口),把 50-60ip 封了,又换了另外一批

而且间隔几分钟,突然请求一波,间隔几分钟,突然请求一波。看起来像是肉鸡 ip,大家对于这种爬虫,有没有什么好的手段可以防止的?

我的初步想法是,每个 ip 一天之内访问 xx 此,用一个 map 或者 redis 记录一下,超过多少次就封禁,但怕容易封错,咨询一下大家的意见

1: ip: 16.163.109.41
2: ip: 18.162.143.19
3: ip: 16.162.55.213
4: ip: 18.166.70.237
5: ip: 43.198.17.104
6: ip: 18.166.67.209 
7: ip: 18.162.191.172
8: ip: 18.162.133.58 
9: ip: 16.162.255.138
10: ip: 16.162.160.93 
正文完
 0