共计 3189 个字符,预计需要花费 8 分钟才能阅读完成。
https://hostloc.com/thread-1013618-1-1.html @akkba 源站是这个 我分成了两个部分爬的,一个是秀人,一个是其他分类 秀人的 29 万多张,近 80g all 的是其他分类,27 万多张,近 70g 下面两个都是 txt 链接地址,wget -i txt 名 即可食用 http://141.94.115.57:81/xiuren.zip http://141.94.115.57:81/all.zip 欢迎楼下大佬分流 txt 以及图包 |
网友回复:
注册 : 给大家来个 PowerShell 的下载命令吧,方便大家在 Windows 下直接下载。可以直接按 uploadfile 后面的路径自动建文件夹,保留楼主的目录结构:$urls = Get-Content “E:/xiuren.txt” $lastPath = “” $currentPath = “” $outputFile = “” foreach ($url in $urls){$outputFile = $url.replace(“https://p.xiurenb.net/uploadfile”,”E:/target”) $currentPath = $outputFile.Substring(0,$outputFile.length-16) if($lastPath -ne $currentPath){$lastPath = $currentPath mkdir -p $currentPath} Invoke-WebRequest -Uri $url -OutFile $outputFile } 复制代码 使用方法,新建个 down.txt 文件,把这段代码复制进去,保存。修改扩展名为 ps1,也就是 down.ps1 然后打开 PowerShell7,输入这个 down.ps1 的完整路径回车就可以运行了。注意:1,这段代码是在 PowerShell7 中测试 ok 的;2,代码中 ”E:/xiuren.txt”,”E:/target” 这两个路径自己酌情修改。3,下载很慢,还是需要改成多线程下载才行
etc 小号: 不错 还是 wget 行 我是 win 本机下 使用这个 https://eternallybored.org/misc/wget/
stuazt: 1. 不下载 2. 给小鸡花钱加硬盘 3. 换一个硬盘更大的小鸡 4. 挂载 od 或者 gd 云盘然后下载 5. 等其他大佬分享成品 6. 直接在源站观赏
qingseyouran: 用 fultter 写了个 app, 有没有要的
etc 小号: 只有链接没意思呀,图包的名都没有了
huifukejian: 感谢分享
好鸭: 不错 支持一下
b66667777: 在下载了 谢谢大佬
tinysiri: 你的速度怎么样。我这大概 5m/ s 的样子
wissmiss: 大佬到时候分享一个阿里云盘吧
etc 小号: 小鸡硬盘不够大怎么下载?
jue: 这两个 zip 文件下载不了大佬
lewss: 我这没问题啊,你那显示什么
注册: 感谢大佬分享,辛苦辛苦
注册: https://musetransfer.com/s/q24i7frku(有效期至 5 月 16 日)|【Muse】你有一份文件待查收,请点击链接获取文件
lucky_qq: 已经保存,感谢大佬(LSP)
zxxx: 只有链接没意思呀,图包的名都没有了
冬雷: 高清原图无水印吗
好鸭: 没多大兴趣 感谢提供
听风的歌: 水印应该是没有的,高清不高清就不清楚了
huanx: 大佬牛逼!
etc 小号: 光是文件列表,对我这样的小白来说,搞不定啊。直接图片打包到云盘撒。最好按主题分类,全在一个包里,电脑肯定扛不住。
KDE: 楼主能来点视频嘛,我想要萌白酱
注册: 没那么大硬盘了,蛋疼,等大佬传一份阿里或者谷歌吧
注册: 原图来我这 acg.ng mjj 私我打折
yanzhiling2002: 啥都不显示,没那么大硬盘,等大佬下好了我转存一份吧
canxunhulian: 老哥确实牛
yanzhiling2002: 蹲一个网盘打包
akkba: 老哥,别删,明天白天下
Reverie: IDM 批量导入,直接卡死
pxy185: 有的有水印
qingseyouran: 不错 还是 wget 行 我是 win 本机下 使用这个 https://eternallybored.org/misc/wget/
zxxx: 我这双开下载 3 到 5m
注册: 没速度,等大佬分享了
注册: 下载中
cpxxx: 这种图片站 需要什么样的小鸡合适
younghwan: 请教下大佬,。这个怎么在后台自动下载啊。我一关闭 xshell 它就停了
andox: 下载没那么大盘 去你网站看去了
pxy185: 有没有大佬下载完成了呀
year: 等一个打包
zxxx: wget 都会了,开 screen 呀!
thaizxj: 刚刚以为没有开启,结果发现已经自动下载了
5004589: 格式太不友好了,建个鸡拉下来,还要打包,鸡的 io 那么差
注册: 老哥网站挺好看的,你这是什么程序?
注册 : 给大家来个 PowerShell 的下载命令吧,方便大家在 Windows 下直接下载。可以直接按 uploadfile 后面的路径自动建文件夹,保留楼主的目录结构:$urls = Get-Content “E:/xiuren.txt” $lastPath = “” $currentPath = “” $outputFile = “” foreach ($url in $urls){$outputFile = $url.replace(“https://p.xiurenb.net/uploadfile”,”E:/target”) $currentPath = $outputFile.Substring(0,$outputFile.length-16) if($lastPath -ne $currentPath){$lastPath = $currentPath mkdir -p $currentPath} Invoke-WebRequest -Uri $url -OutFile $outputFile } 复制代码 使用方法,新建个 down.txt 文件,把这段代码复制进去,保存。修改扩展名为 ps1,也就是 down.ps1 然后打开 PowerShell7,输入这个 down.ps1 的完整路径回车就可以运行了。注意:1,这段代码是在 PowerShell7 中测试 ok 的;2,代码中 ”E:/xiuren.txt”,”E:/target” 这两个路径自己酌情修改。3,下载很慢,还是需要改成多线程下载才行
张大牛: 求全站打包
stuazt: WP+ 子比
peter0802: 谢谢老哥
canxunhulian: 用 fultter 写了个 app, 有没有要的
张大牛: 先收藏了看看!
huifukejian: 附件为 php 版本下载图片,自取 运行方式 windows 命令行下 php ./doall.php,没有环境变量的自己配 doall.zip 昨天 19:46 上传 点击文件名下载附件 556 Bytes, 下载次数: 6
招财猫: 大佬你好,带文件结构吗
wangjianjilei: 可以球写一个 py 的采集规则吗
注册: 不好意思哈,我用的火车头 py 只会很简单的 request 和 bs4,爬这种网站还是很吃力的
注册: 带的,看代码就知道了
etc 小号: 单线程速度太慢,能不能弄个多线程的
wangjianjilei: 把 txt 分割了,手动 10 线程
qingseyouran: 不是不行,主要是他的文件有点问题,我下午写的时候没法一次读然后分割,他的分割点好像有点字符乱码,最后我不得以才这么做的,明天无聊的话看看怎么搞
qingseyouran: 求问大佬,这个网站有反扒吗,比如下多了图片会自动触发反扒,让你下载都是同一张图片,大佬是怎么处理反扒的。
wangjianjilei: 没有,直接爬就行