淘宝允许搜索引擎抓取了?

122次阅读

共计 291 个字符,预计需要花费 1 分钟才能阅读完成。

我记得之前显示不允许抓取

淘宝热卖也做了百度竞价

网友回复:

注册 https://www.taobao.com/robots.txt

uov site 出来好几万 是咋回事 爬虫强爬吗

小号专用马甲 不知道 百度可以可以更换 ua 爬 但是结果应该不会放出来,不然就违反 robots.txt 了 具体咋回事不知道  我用 bing 也可以搜到淘宝商品 可能是淘宝流量不好 放开了一点吧

uov 感觉有点淘宝做不过拼夕夕

小号专用马甲 现在电脑看个东西都要登录 隔壁强子就不需要 还有某多多根本没 pc 端

antbt 抓了也没用,看个商品还要登录

DogeLee2 淘宝越来越不行了

sky170 淘宝其他二级域名有些页面允许抓取的。

正文完
 0