关于海量的大数据文件传输问题

19次阅读

共计 517 个字符,预计需要花费 2 分钟才能阅读完成。

有这么一个问题,一直很困扰,就是关于海量的大数据文件传输问题。
环境:
企业局域网传输,数据文件都在华为的分布式存储里,然后通过 CIFS 进行共享工作。
由于某个项目文件夹需要迁移,而这个文件夹内容几乎达到了 100TB 的内容,现在将这部分文件夹冻结进行迁移出这个分布式存储,然后就尴尬了。

传输速度峰值也就 250M 左右,用的是第三方工具叫 fastcopy 程序,这样大家也可以理解,是通过客户端,使用第三方软件,再到分布式存储共享文件夹,迁移到另一个异地环境,当然网络还是在同一个局域网里。

因为是分布式存储,我们也无法使用 rsync 这样的工具来进行镜像同步。问了售后的官方华为,给的方案也不是很理想,靠第三方工具来进行传输,而华为自家的传输工具也只能在同等环境下进行传输,也就是迁移的对象也是分布式存储系列。

然后,文件夹的内容是杂乱的,大大小小的都有,当然这里面的内容也不用去管它,我曾想过进行压缩,但这么多的海量文件,压缩起来也是非常耗时的。

不知道在 v2 的各位有什么好的建议吗?


我现在只能寄托于网络上进行找突破,在客户端设备硬盘条件 OK 的情况下,用堆叠网线来进行传输。当然用光纤也是不行,即使我的客户端设备有光纤网卡,但分布式存储环境并不支持。

正文完
 0