共计 443 个字符，预计需要花费 2 分钟才能阅读完成。
日均 DNS 解析数量有 3K，打开 Nginx log 一看，全是爬虫? youhei 2023-05-16 10:30 2 怎么分析出是爬虫的，他们带了什么头吗 Yzindex 2023-05-16 10:31 3 差不多吧……以后说不定也就 AI 爬取内容了。机长 2023-05-16 10:31 4 统计要以 js 的为准 CF 的只能看看 imes 2023-05-16 10:47 5youhei 发表于 2023-5-16 10:30 怎么分析出是爬虫的，他们带了什么头吗 UA 会声明自己是爬虫，比如 compatible; Miniflux/2.0.37; +https://miniflux.appcompatible; MJ12bot/v1.4.8; http://mj12bot.comhttps://api.slack.com/robots imes 2023-05-16 10:48 6Yzindex 发表于 2023-5-16 10:31 差不多吧……以后说不定也就 AI 爬取内容了。对，我都感觉以后只有 AI 会看，用户问 AI 问题，AI 汇总之后直接告诉用户
正文完
