同时读取多个文件是个好主意吗？

Question

我们公司的一台服务器有 32 个 CPU，我们有 1000 多个非常大的文件要处理。 我不确定同时读取 32 个文件是否是个好主意，这样所有内核也可以同时执行独立计算。 谁能简单解释一下硬盘的工作原理？ 如果我同时读取 32 个文件，会不会降低读取速度？ 谢谢！

Answer 1

硬盘传统上是一种机械数据存储设备。 我假设服务器使用机械​​硬盘，而不是较新的 SSD 类型的硬盘，后者没有移动部件。 我还假设有如此多的数据和处理能力，正在使用多个硬盘（RAID 或 NAS）。这些细节会显着影响性能，并可能导致以下大部分内容不准确。

硬盘作为机械设备，内部有一个旋转的光盘，就像老式的唱机或 CD。 它涂有一种可以记录和回放微小磁脉冲的材料。 一个可定位的“读写”磁头在每个磁盘的表面上方飞行，通常在磁盘的两侧，准备在每个磁盘的表面上移动以定位、读取和写入这些磁脉冲。 旋转和移动都需要时间。 磁盘要做的“工作”越多，完成所需的时间就越长，这仅仅是因为它必须在磁盘表面上物理定位更多的微观区域。

也就是说，假设有 29 名员工被分配阅读大英百科全书的所有 29 卷。 （当然是 3 个主管。）每个卷都存储在一个硬盘上，因此有 29 个硬盘。 有两种方式可以阅读整件事：

1. 拿起第一卷，然后让每位员工一次阅读一页，直到所有卷都读完。 主管在处理所有页面时收集并重新排序，一次一卷。
2. 同时拿起所有 29 卷，并尝试随机阅读页面（最终效果），直到所有卷都读完。 主管在处理过程中收集并重新排序 29 个随机章节中的所有页面......

选项#1 似乎“过时”，但是关于这种方法的一个重要事情是其他 28 个磁盘根本没有被使用。 只有一个是。 硬盘在顺序读取数据方面比随机读取数据要好得多。 这是因为顺序读取避免了读写头来回寻找造成的延迟。

选项#2 可行，而且听起来很合理，但它并不理想，原因有两个：a) 几乎没有顺序读取，以及 b) 所有磁盘都在使用中。 这会使用更多的电力，并对服务器提出更大的要求以同时运行所有这些磁盘。

所以是的，如果您尝试同时处理 32 个大文件，那么这会给磁盘带来巨大的负载，并且它们可能会缓慢爬行。 更复杂，但可能是更好的解决方案，让 32 个内核一次“轮流”处理这些大文件中的一个，直到它们全部处理完毕。 （“轮流”是指将其分解为更小、更易于管理的块。）同样，目标是使磁盘尽可能按顺序读取，并避免随机来回查找。

实现这一点的软件必须是多线程的，这意味着用户只启动一个程序，但它会为其他 CPU 内核创建 31 个新的“工作线程”。 主程序开始按顺序读取数据，并将这些传入数据拆分成块，供其他线程（内核）处理。 然后所有这些都“轮流”处理整个数据文件的一小部分，直到它被完全处理。