毒瘤,绝对是毒瘤!Semrush被屏蔽还是坚持爬取导致服务器瘫痪!

125次阅读

共计 220 个字符,预计需要花费 1 分钟才能阅读完成。

最近发现 火鸟 门户网站只要一运行,就会占用大量带宽资源,甚至可以说是完全跑满。

去年或者早些年的时候,看到是大量外国 IP 访问导致,所以很早之前就已经屏蔽了国外 IP 的访问,返回 444。

但是,就是在返回 444 的前提下,Semrush还是坚持不懈,一直爬取。

整整 2G 的网站日志!!!全部都是 Semrush 爬取的,而且还是在返回 444 的前提下,就这样还占用了所有服务器资源。

毒瘤,绝对是毒瘤!Semrush 被屏蔽还是坚持爬取导致服务器瘫痪!

上图没有任何处理,看右侧的条,看右下角的数据。

全是 Semrush 的访问!!!

 

正文完
 0