共计 319 个字符，预计需要花费 1 分钟才能阅读完成。
|
完全不按套路来啊 |
网友回复：
注册 ： 你确定是百度蜘蛛的 IP？
zhongziso： 你是百度你也这样
Do.： 基本确定啊。正常用户看小说会一页一页往下翻嘛。爬虫就不会这样了
ela： 你这样确认不准确
zhongziso： 百度蜘蛛要看 IP 地址，除了北京和山西其他都是假的
ela： 所有搜索引擎都会这招, 会模拟用户访问, 看看不同 ua 和 referer 页面会不会有变化. 关键很多 ua 会跟垃圾爬虫的 ua 重复, 比如: SM-G900P, 搜狗就会用. 也有别的.
委员 ： 你不认为是别人的爬虫？
Do.： 没错。
zhongziso： 假蜘蛛吧 发个 IP 看看
注册 ： 亲测, 禁止这些对权重没有任何影响. 比如我就把 SM-G900P, 和 andorid 5 以下的全给禁了. 看了影响心情.
注册 ： 已发了
正文完
