在hadoop HDFS中存儲大文件？

Question

我需要在HDFS上存儲大約10TB的大文件。 我需要了解的是HDFS如何存儲此文件。 說，群集的復制因子為3，我有一個10節點群集，每個節點上的磁盤空間超過10 TB，即群集總容量超過100 TB。

現在，HDFS是否會隨機選擇三個節點並將文件存儲在這三個節點上。 因此，這聽起來很簡單。 請確認？

還是HDFS拆分了文件 -分成10個1TB的拆分，然后將每個拆分存儲在隨機選擇的3個節點上。 拆分也是可能的，如果是，則是啟用它的配置方面。 而且，如果HDFS必須拆分二進制文件或文本文件，則如何拆分。 只需按字節。

Answer 1

是的，它將拆分文件（默認情況下為128mb塊）。 每個塊將存儲在3個隨機節點上。 結果，您將在10個節點上平均分配30TB數據。