共计 823 个字符，预计需要花费 3 分钟才能阅读完成。
robots.txt 设置了不允许任何爬虫了，但是百度还是抓取我，我想从 CDN 层阻止掉所有网络爬虫，做私密站的? lamb 2023-01-26 23:27 2 有的，在防火墙那里，很方便的 toot 2023-01-26 23:29 35 秒盾。拦截一切机器人 httpd 2023-01-26 23:29 4lamb 发表于 2023-1-26 23:27 有的，在防火墙那里，很方便的那边只有一个允许合法机器人通过，在我眼里网络上就没有合法与不合法，是蜘蛛是爬虫都阻止掉！httpd 2023-01-26 23:30 5toot 发表于 2023-1-26 23:295 秒盾。拦截一切机器人这个的话就影响到正常访问了呀 ChiHao 2023-01-26 23:37 6 内容最后由 ChiHao 于 2023-1-26 23:39 编辑 ua 拦啊 11111111111111111111111111111111111111 好像是 Baiduspider？asdii 2023-01-26 23:37 7httpd 发表于 2023-1-26 23:29 那边只有一个允许合法机器人通过，在我眼里网络上就没有合法与不合法，是蜘蛛是爬虫都阻止掉！… 可以阻止合法机器人 httpd 2023-01-26 23:59 8asdii 发表于 2023-1-26 23:37 可以阻止合法机器人我是要阻止所有机器人爬虫蜘蛛，不管合法与不合法我都不想让它们爬取我的网站半字节内容 jqbaobao 2023-01-27 00:01 9ua 带 baidu /sogou/bingip china 直接 js 盾 httpd 2023-01-27 00:05 10jqbaobao 发表于 2023-1-27 00:01ua 带 baidu /sogou/bingip china 直接 js 盾 (http.user_agent contains "baidu") 这样对的吗？主菜单 2023-01-27 00:09 11 合法机器人就是搜索引擎 squalll 2023-01-27 00:18 12 直接关键字带 bot 就行
