昨天坛友让帮忙爬的秀人,今天来分享了

117次阅读

共计 3189 个字符,预计需要花费 8 分钟才能阅读完成。

https://hostloc.com/thread-1013618-1-1.html
@akkba

源站是这个
[url][url]xiurenb.net[/url][/url]

我分成了两个部分爬的,一个是秀人,一个是其他分类

秀人的 29 万多张,近 80g

all 的是其他分类,27 万多张,近 70g

下面两个都是 txt 链接地址,wget -i txt 名 即可食用

http://141.94.115.57:81/xiuren.zip

http://141.94.115.57:81/all.zip

欢迎楼下大佬分流 txt 以及图包

网友回复:

注册 给大家来个 PowerShell 的下载命令吧,方便大家在 Windows 下直接下载。可以直接按 uploadfile 后面的路径自动建文件夹,保留楼主的目录结构:$urls = Get-Content “E:/xiuren.txt” $lastPath = “” $currentPath = “” $outputFile = “” foreach ($url in $urls){$outputFile = $url.replace(“https://p.xiurenb.net/uploadfile”,”E:/target”)         $currentPath = $outputFile.Substring(0,$outputFile.length-16)         if($lastPath -ne $currentPath){$lastPath = $currentPath                 mkdir -p $currentPath}         Invoke-WebRequest -Uri $url -OutFile $outputFile } 复制代码 使用方法,新建个 down.txt 文件,把这段代码复制进去,保存。修改扩展名为 ps1,也就是 down.ps1 然后打开 PowerShell7,输入这个 down.ps1 的完整路径回车就可以运行了。注意:1,这段代码是在 PowerShell7 中测试 ok 的;2,代码中 ”E:/xiuren.txt”,”E:/target” 这两个路径自己酌情修改。3,下载很慢,还是需要改成多线程下载才行

etc 小号 不错 还是 wget 行 我是 win 本机下 使用这个 https://eternallybored.org/misc/wget/

stuazt 1. 不下载 2. 给小鸡花钱加硬盘 3. 换一个硬盘更大的小鸡 4. 挂载 od 或者 gd 云盘然后下载 5. 等其他大佬分享成品 6. 直接在源站观赏

qingseyouran 用 fultter 写了个 app,  有没有要的

etc 小号 只有链接没意思呀,图包的名都没有了

huifukejian 感谢分享

好鸭 不错 支持一下

b66667777 在下载了 谢谢大佬

tinysiri 你的速度怎么样。我这大概 5m/ s 的样子

wissmiss 大佬到时候分享一个阿里云盘吧

etc 小号 小鸡硬盘不够大怎么下载?

jue 这两个 zip 文件下载不了大佬

lewss 我这没问题啊,你那显示什么

注册 感谢大佬分享,辛苦辛苦

注册 https://musetransfer.com/s/q24i7frku(有效期至 5 月 16 日)|【Muse】你有一份文件待查收,请点击链接获取文件

lucky_qq 已经保存,感谢大佬(LSP)

zxxx 只有链接没意思呀,图包的名都没有了

冬雷 高清原图无水印吗

好鸭 没多大兴趣 感谢提供

听风的歌 水印应该是没有的,高清不高清就不清楚了

huanx 大佬牛逼!

etc 小号 光是文件列表,对我这样的小白来说,搞不定啊。直接图片打包到云盘撒。最好按主题分类,全在一个包里,电脑肯定扛不住。

KDE 楼主能来点视频嘛,我想要萌白酱

注册 没那么大硬盘了,蛋疼,等大佬传一份阿里或者谷歌吧

注册 原图来我这 acg.ng mjj 私我打折

yanzhiling2002 啥都不显示,没那么大硬盘,等大佬下好了我转存一份吧

canxunhulian 老哥确实牛

yanzhiling2002 蹲一个网盘打包

akkba 老哥,别删,明天白天下

Reverie IDM 批量导入,直接卡死

pxy185 有的有水印

qingseyouran 不错 还是 wget 行 我是 win 本机下 使用这个 https://eternallybored.org/misc/wget/

zxxx 我这双开下载 3 到 5m

注册 没速度,等大佬分享了

注册 下载中

cpxxx 这种图片站 需要什么样的小鸡合适

younghwan 请教下大佬,。这个怎么在后台自动下载啊。我一关闭 xshell 它就停了

andox        下载没那么大盘 去你网站看去了

pxy185 有没有大佬下载完成了呀

year 等一个打包

zxxx wget 都会了,开 screen 呀!

thaizxj 刚刚以为没有开启,结果发现已经自动下载了

5004589 格式太不友好了,建个鸡拉下来,还要打包,鸡的 io 那么差

注册 老哥网站挺好看的,你这是什么程序?

注册 给大家来个 PowerShell 的下载命令吧,方便大家在 Windows 下直接下载。可以直接按 uploadfile 后面的路径自动建文件夹,保留楼主的目录结构:$urls = Get-Content “E:/xiuren.txt” $lastPath = “” $currentPath = “” $outputFile = “” foreach ($url in $urls){$outputFile = $url.replace(“https://p.xiurenb.net/uploadfile”,”E:/target”)         $currentPath = $outputFile.Substring(0,$outputFile.length-16)         if($lastPath -ne $currentPath){$lastPath = $currentPath                 mkdir -p $currentPath}         Invoke-WebRequest -Uri $url -OutFile $outputFile } 复制代码 使用方法,新建个 down.txt 文件,把这段代码复制进去,保存。修改扩展名为 ps1,也就是 down.ps1 然后打开 PowerShell7,输入这个 down.ps1 的完整路径回车就可以运行了。注意:1,这段代码是在 PowerShell7 中测试 ok 的;2,代码中 ”E:/xiuren.txt”,”E:/target” 这两个路径自己酌情修改。3,下载很慢,还是需要改成多线程下载才行

张大牛 求全站打包

stuazt WP+ 子比

peter0802 谢谢老哥

canxunhulian 用 fultter 写了个 app,  有没有要的

张大牛 先收藏了看看!

huifukejian 附件为 php 版本下载图片,自取 运行方式 windows 命令行下 php ./doall.php,没有环境变量的自己配 doall.zip 昨天 19:46 上传 点击文件名下载附件 556 Bytes, 下载次数: 6

招财猫 大佬你好,带文件结构吗

wangjianjilei 可以球写一个 py 的采集规则吗

注册 不好意思哈,我用的火车头 py 只会很简单的 request 和 bs4,爬这种网站还是很吃力的

注册 带的,看代码就知道了

etc 小号 单线程速度太慢,能不能弄个多线程的

wangjianjilei 把 txt 分割了,手动 10 线程

qingseyouran 不是不行,主要是他的文件有点问题,我下午写的时候没法一次读然后分割,他的分割点好像有点字符乱码,最后我不得以才这么做的,明天无聊的话看看怎么搞

qingseyouran 求问大佬,这个网站有反扒吗,比如下多了图片会自动触发反扒,让你下载都是同一张图片,大佬是怎么处理反扒的。

wangjianjilei 没有,直接爬就行

正文完