如何在datanode中命名文件| datanode hadoop中文件的命名约定

Question

请让我知道如何在datanode中命名文件？

我对一个大于64MB的文件进行了copyFromLocal操作，发现它创建了两组文件。 元文件和实际文件的一部分。

在datanode中如何命名文件？ hadoop体系结构用来命名该文件的算法是什么？ blk_-861882337543881015_1251.meta
blk_-861882337543881015
blk_-1127355763020627217_1252.meta
blk_-1127355763020627217

Answer 1

通常将两种类型的文件写入到datanode中。 一个将包含文件名为blk_<64 bit block ID>的实际原始数据。 它只是该块ID的一种表示法。

另一个文件将包含带有标头的元数据信息，该标头包含诸如版本，类型和校验和之类的信息。 当对该块执行读取操作时，此校验和将很有用；而如果读取操作与此校验和不匹配，则将引发错误。 文件名将被命名为blk_<64 bit blockid>_<file_generation_stamp>.meta 。

文件生成标记用于告知数据块是在最后一个NameNode“ fsimage”检查点之前还是之后创建的。 如果在最后一个检查点之前，则此数字将小于“ fsimage”二进制文件中存储的数字。 当启动时将fsimage中的内容提交到namenode时，此信息将很有帮助。

因此，假设您的复制因子为3。因此，您的数据将存储在3个数据节点中，因此每个块都有一个图元文件。 因此，总共有3个副本（原始数据文件）+ 3个元文件。