一个文件夹下上亿个HTML文件可行吗?

90次阅读

共计 510 个字符,预计需要花费 2 分钟才能阅读完成。

想弄个采集站,采集上亿个文章,想全部放在同一个目录下(不创建子文件夹目录),这样可行吗?会不会出问题呢?比如效率会更差之类的?

网友回复:

注册 别放同一个文件夹下,同一个目录也别太多文件夹

会翻车吗 简单分个 2 层目录即可

251768938 有什么劣势可以告诉我吗

yc260982 建议 hash 分到多个子文件夹

会翻车吗 我电脑,三星 ssd,一个文件夹下 42w 多文件就卡半天

acpp 估计电脑都崩溃了

我是坏虫 你试试我再告诉你

海的尽头 我假设你用的 linux 系统,linux 下每个文件系统有一个 inode 数,可以通过 df - i 复制代码查看,大概可以理解为能存储的文件数量上限,一般这个数量都是几千万,也就是说,别说放一个文件夹了,你放一个文件系统里都放不下几亿个文件。再假设你通过一些设置,改大了这个上限,可以存储这么多文件了,这样的话其实单个文件夹和多个文件夹区别不大,都会很卡,因为 inode 总数过大,查找缓慢。这种大量小文件存储,可以考虑用 leveldb 或者 rocksdb 来做,原理大概是把很多小文件整合成一个大文件。

251768938 基本上不可能。

注册 迅雷都是按照 hash 分的。

注册 你不入库吗?直接生成 html 保存?

正文完
 0