最近看了看网站监控报表发现出现大量502错误

71次阅读

共计 354 个字符,预计需要花费 1 分钟才能阅读完成。

仔细分析了下, 发现是一个爬虫不定时大量爬我的网站导致的, 间歇性的 502 导致网站有时候访问不了

爬虫访问一次就换一次 ip, 幸好 ua 没有变动, 还能屏蔽, 我发出来看 mjj 有没有遇到过

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32

网友回复:

注册 百度了下 Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32,发现很多爬虫教程用的这个 ua – -,我去,

wwt654 这样屏蔽这个 UA 没有任何意义啊。随便更换

wwt654 啥网站被采集发来看看

mjjok 什么监控?PS 上杜甫。。。

正文完
 0