火车头虽然简单,但好累啊

98次阅读

共计 195 个字符,预计需要花费 1 分钟才能阅读完成。

火车头虽然简单,但好累啊
数据处理好烦 没耐性
还有 300 多个网站要采集

网友回复:

注册 采集什么啊,采集这么多站

Uscnc 还是 python 好使,300 多个目标站,开 10 个线程爬虫放出去,全爬完

g9rt.com

委员 计划任务

kubest python 协程爬可能更快,再快那就协程发送请求 多进程做正则匹配之类,好像称为分布式爬虫

hanweizhe 有 300 多个资源站的会员 干脆采集过来做个网站算了

正文完
 0