共计 195 个字符,预计需要花费 1 分钟才能阅读完成。
火车头虽然简单,但好累啊 数据处理好烦 没耐性 还有 300 多个网站要采集 |
网友回复:
注册 : 采集什么啊,采集这么多站
Uscnc: 还是 python 好使,300 多个目标站,开 10 个线程爬虫放出去,全爬完
g9rt.com:
委员 : 计划任务
kubest: python 协程爬可能更快,再快那就协程发送请求 多进程做正则匹配之类,好像称为分布式爬虫
hanweizhe: 有 300 多个资源站的会员 干脆采集过来做个网站算了
正文完