HDFS Block相关问题

Question

我有两个问题可以帮助我了解HDFS在块环境中的工作方式。

1.您可以使用hadoop fs -put命令使用HDFS块大小为64 MB写入300 MB文件。 该命令完成200 MB此文件的写入后，另一个用户在尝试访问该文件时会看到什么？

答：当他们尝试访问该文件时，他们会看到Hadoop抛出ConcurrentFileAccessException。

B.他们会看到文件的当前状态，直到命令写入的最后一位为止。

C.他们将在最后一个完成的块中看到文件的当前状态。

D.在整个文件写入并关闭之前，他们将看不到任何内容。

正如我所看到的，因为文件被拆分为多个块，所以当每个块放入HDFS时它都可用，所以我的答案是C，但是我确实需要对其进行验证...

2.您需要将名为“ weblogs”的文件移动到HDFS中。 当您尝试复制文件时，不能这样做。 您知道您的DataNode上有足够的空间。 您应该采取什么措施缓解这种情况并在HDFS中存储更多文件？
A.增加HDFS中所有当前文件的块大小。

B.增加剩余文件的块大小。

C.减少剩余文件的块大小。

D.增加NameNode的内存量。

E.增加NameNode的磁盘数量（或大小）。

F.减小HDFS中所有当前文件的块大小。

我对此的处理方法是文件可能足够小，可以容纳，但会为其分配更大的块，因此，如果减小块大小，则会“整理”一些间隙-我无法弄清楚但是，如果对其余文件或所有文件执行此操作是一种好方法……或者即使我的方法是正确的

谢谢！！

Answer 1

1. 如果编写器尚未使用Hflush，则由于块尚未完成，因此读者将看到错误。 所以我会和D在一起的。

这是此https://issues.apache.org/jira/browse/HDFS-1907 Hadoop HDFS的两个链接：读取正在写入的序列文件

2. 这种情况下的错误之一是“名称”节点不知道HDFS中的空格。 因此，在这种情况下，我将选择E。

链接： 将文件从本地文件系统复制到Hadoop中的HDFS时出错

Answer 2

对于第一个问题，请参见另一个SO问题中的讨论。 在该讨论中，答案可能是C或D，具体取决于问题要询问的内容。 文件是逐块复制的，从技术上讲，有一种方法可以查看通过最后一个块写入的文件，但是该文件位于名称不同的文件下。

对于第二种方法，一种方法（答案C）是让其余文件填补已经存在的文件块之间的空白。 您以为小文件分配了大块的假设是不正确的-文件仅占用所需的空间。 根据Hadoop：权威指南

与单个磁盘的文件系统不同，HDFS中小于单个块的文件不会占用整个块的基础存储。