HDFS-与块大小有关

Question

我只有10 MB的文件。我认为在HDFS中，第一个文件消耗10 MB，其余的54 MB释放给广告以可用空间。 我的问题是-

1. 10 MB的第二个文件（或下一个10 MB的文件序列）是否会继续添加到此文件，直到变为64 MB？ 例如-如果总共消耗2个每个64 MB的块和20个3rd块的块，那么输入拆分将给出3个输出2 64MB和1 20MB？ 是真的吗

Answer 1

来自Hadoop的参考-权威指南 ：

HDFS无法有效地存储小文件， 因为每个文件都存储在一个block中 ，并且块元数据由namenode保留在内存中。 因此，大量的小文件会占用namenode上的大量内存。 （不过，请注意， 小文件所占用的磁盘空间不会超过存储文件原始内容所需的磁盘空间 。例如，以块大小为128 MB存储的1 MB文件将使用1 MB磁盘空间，不是128 MB。）

因此，您说得对，“ HDFS的第一个文件占用10 MB，其余的54 MB释放给广告以可用空间。”

但是，HDFS块不是物理存储分配单元，而是逻辑存储分配单元，因此它不希望继续添加到该块，直到它变为64 MB或块大小为止（随着释放的磁盘空间被添加）到可用存储空间）

映射器的数量取决于输入拆分的数量，作业客户端根据运行作业时指定的HDFS上输入路径中的数据计算输入拆分。 因此，按照您的示例，它将创建3个输入拆分，分别为2个64MB和1个20MB（假设默认HDFS块大小）。

Answer 2

块大小（64MB或128MB）是指文件拆分大小的最大值。 即使您的文件大小小于64，也意味着它将被视为阻止/拆分。

将“块大小”考虑为64MB，然后假设您要保存10MB的文件，则仅占用10MB，即文件的块/碎片。 如果假设您要保存70MB的文件，则意味着您的文件将在存储中将其拆分为64MB和6MB块/拆分。 没有什么比块应该有64MB或128MB。