在hadoop HDFS中存储大文件？

Question

我需要在HDFS上存储大约10TB的大文件。 我需要了解的是HDFS如何存储此文件。 说，群集的复制因子为3，我有一个10节点群集，每个节点上的磁盘空间超过10 TB，即群集总容量超过100 TB。

现在，HDFS是否会随机选择三个节点并将文件存储在这三个节点上。 因此，这听起来很简单。 请确认？

还是HDFS拆分了文件 -分成10个1TB的拆分，然后将每个拆分存储在随机选择的3个节点上。 拆分也是可能的，如果是，则是启用它的配置方面。 而且，如果HDFS必须拆分二进制文件或文本文件，则如何拆分。 只需按字节。

Answer 1

是的，它将拆分文件（默认情况下为128mb块）。 每个块将存储在3个随机节点上。 结果，您将在10个节点上平均分配30TB数据。