HDFS Block相關問題

Question

我有兩個問題可以幫助我了解HDFS在塊環境中的工作方式。

1.您可以使用hadoop fs -put命令使用HDFS塊大小為64 MB寫入300 MB文件。 該命令完成200 MB此文件的寫入后，另一個用戶在嘗試訪問該文件時會看到什么？

答：當他們嘗試訪問該文件時，他們會看到Hadoop拋出ConcurrentFileAccessException。

B.他們會看到文件的當前狀態，直到命令寫入的最后一位為止。

C.他們將在最后一個完成的塊中看到文件的當前狀態。

D.在整個文件寫入並關閉之前，他們將看不到任何內容。

正如我所看到的，因為文件被拆分為多個塊，所以當每個塊放入HDFS時它都可用，所以我的答案是C，但是我確實需要對其進行驗證...

2.您需要將名為“ weblogs”的文件移動到HDFS中。 當您嘗試復制文件時，不能這樣做。 您知道您的DataNode上有足夠的空間。 您應該采取什么措施緩解這種情況並在HDFS中存儲更多文件？
A.增加HDFS中所有當前文件的塊大小。

B.增加剩余文件的塊大小。

C.減少剩余文件的塊大小。

D.增加NameNode的內存量。

E.增加NameNode的磁盤數量（或大小）。

F.減小HDFS中所有當前文件的塊大小。

我對此的處理方法是文件可能足夠小，可以容納，但會為其分配更大的塊，因此，如果減小塊大小，則會“整理”一些間隙-我無法弄清楚但是，如果對其余文件或所有文件執行此操作是一種好方法……或者即使我的方法是正確的

謝謝！！

Answer 1

1. 如果編寫器尚未使用Hflush，則由於塊尚未完成，因此讀者將看到錯誤。 所以我會和D在一起的。

這是此https://issues.apache.org/jira/browse/HDFS-1907 Hadoop HDFS的兩個鏈接：讀取正在寫入的序列文件

2. 這種情況下的錯誤之一是“名稱”節點不知道HDFS中的空格。 因此，在這種情況下，我將選擇E。

鏈接： 將文件從本地文件系統復制到Hadoop中的HDFS時出錯

Answer 2

對於第一個問題，請參見另一個SO問題中的討論。 在該討論中，答案可能是C或D，具體取決於問題要詢問的內容。 文件是逐塊復制的，從技術上講，有一種方法可以查看通過最后一個塊寫入的文件，但是該文件位於名稱不同的文件下。

對於第二種方法，一種方法（答案C）是讓其余文件填補已經存在的文件塊之間的空白。 您以為小文件分配了大塊的假設是不正確的-文件僅占用所需的空間。 根據Hadoop：權威指南

與單個磁盤的文件系統不同，HDFS中小於單個塊的文件不會占用整個塊的基礎存儲。