hadoop - HDFS文件分发

Question

我刚刚开始使用Hadoop而且我有以下疑问：我们很清楚Namenode有关于输入块的“MetaData”信息。 现在我的问题是：

1. 如何查看或查询元数据？
2. 我怎么看 - 我的输入文件是如何被阻止和分发的？
3. 如何确保我的输入文件在HDFS中被阻止和分发？

PS：我已经推荐了以下网站：

http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/

谢谢！

Answer 1

1. 如何查看或查询元数据？

   您可以在Offline Image Viewer的帮助下完成此操作。 它是一种将fsimage文件的内容转储为人类可读格式的工具，以便允许离线分析和检查Hadoop集群的命名空间。

   用法：

   bin / hdfs oiv -i fsimage -o fsimage.txt

   你可以在这里找到更多相关信息 。

2. 我怎么看 - 我的输入文件是如何被阻止和分发的？

   最简单的方法是将您的Web浏览器指向HDFS webUI ，即namemnode_machine：50070 。 然后浏览到相关文件并单击以打开它。 向下滚动，您可以看到此文件的每个块的位置。

   或者，您可以使用FileSystem API提供的getFileBlockLocations（FileStatus文件，long start，long len） 。 它返回一个数组，其中包含给定文件的主机名，偏移量和部分大小。

3. 如何确保我的输入文件在HDFS中被阻止和分发？

   你可以使用fsck来做到这一点。 它将向您显示所有必要的内容，例如与特定文件相关的总块，最小复制块，欠复制块等。

Answer 2

Namenode的元数据存储在名为“fsimage”的文件中。 您可以浏览以下链接以供参考

fsimage hdfs的内容