hadoop - HDFS文件分發

Question

我剛剛開始使用Hadoop而且我有以下疑問：我們很清楚Namenode有關於輸入塊的“MetaData”信息。 現在我的問題是：

1. 如何查看或查詢元數據？
2. 我怎么看 - 我的輸入文件是如何被阻止和分發的？
3. 如何確保我的輸入文件在HDFS中被阻止和分發？

PS：我已經推薦了以下網站：

http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/

謝謝！

Answer 1

1. 如何查看或查詢元數據？

   您可以在Offline Image Viewer的幫助下完成此操作。 它是一種將fsimage文件的內容轉儲為人類可讀格式的工具，以便允許離線分析和檢查Hadoop集群的命名空間。

   用法：

   bin / hdfs oiv -i fsimage -o fsimage.txt

   你可以在這里找到更多相關信息 。

2. 我怎么看 - 我的輸入文件是如何被阻止和分發的？

   最簡單的方法是將您的Web瀏覽器指向HDFS webUI ，即namemnode_machine：50070 。 然后瀏覽到相關文件並單擊以打開它。 向下滾動，您可以看到此文件的每個塊的位置。

   或者，您可以使用FileSystem API提供的getFileBlockLocations（FileStatus文件，long start，long len） 。 它返回一個數組，其中包含給定文件的主機名，偏移量和部分大小。

3. 如何確保我的輸入文件在HDFS中被阻止和分發？

   你可以使用fsck來做到這一點。 它將向您顯示所有必要的內容，例如與特定文件相關的總塊，最小復制塊，欠復制塊等。

Answer 2

Namenode的元數據存儲在名為“fsimage”的文件中。 您可以瀏覽以下鏈接以供參考

fsimage hdfs的內容