繁体   English   中英

HDFS Block相关问题

HDFS Block related questions

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有两个问题可以帮助我了解HDFS在块环境中的工作方式。

1.您可以使用hadoop fs -put命令使用HDFS块大小为64 MB写入300 MB文件。 该命令完成200 MB此文件的写入后,另一个用户在尝试访问该文件时会看到什么?

答:当他们尝试访问该文件时,他们会看到Hadoop抛出ConcurrentFileAccessException。

B.他们会看到文件的当前状态,直到命令写入的最后一位为止。

C.他们将在最后一个完成的块中看到文件的当前状态。

D.在整个文件写入并关闭之前,他们将看不到任何内容。

正如我所看到的,因为文件被拆分为多个块,所以当每个块放入HDFS时它都可用,所以我的答案是C,但是我确实需要对其进行验证...

2.您需要将名为“ weblogs”的文件移动到HDFS中。 当您尝试复制文件时,不能这样做。 您知道您的DataNode上有足够的空间。 您应该采取什么措施缓解这种情况并在HDFS中存储更多文件?
A.增加HDFS中所有当前文件的块大小。

B.增加剩余文件的块大小。

C.减少剩余文件的块大小。

D.增加NameNode的内存量。

E.增加NameNode的磁盘数量(或大小)。

F.减小HDFS中所有当前文件的块大小。

我对此的处理方法是文件可能足够小,可以容纳,但会为其分配更大的块,因此,如果减小块大小,则会“整理”一些间隙-我无法弄清楚但是,如果对其余文件或所有文件执行此操作是一种好方法……或者即使我的方法是正确的

谢谢!!

2 个回复
  1. 如果编写器尚未使用Hflush,则由于块尚未完成,因此读者将看到错误。 所以我会和D在一起的。

这是此https://issues.apache.org/jira/browse/HDFS-1907 Hadoop HDFS的两个链接:读取正在写入的序列文件

  1. 这种情况下的错误之一是“名称”节点不知道HDFS中的空格。 因此,在这种情况下,我将选择E。

链接: 将文件从本地文件系统复制到Hadoop中的HDFS时出错

对于第一个问题,请参见另一个SO问题中的讨论。 在该讨论中,答案可能是C或D,具体取决于问题要询问的内容。 文件是逐块复制的,从技术上讲,有一种方法可以查看通过最后一个块写入的文件,但是该文件位于名称不同的文件下。

对于第二种方法,一种方法(答案C)是让其余文件填补已经存在的文件块之间的空白。 您以为小文件分配了大块的假设是不正确的-文件仅占用所需的空间。 根据Hadoop:权威指南

与单个磁盘的文件系统不同,HDFS中小于单个块的文件不会占用整个块的基础存储。

1 HDFS-与块大小有关

我只有10 MB的文件。我认为在HDFS中,第一个文件消耗10 MB,其余的54 MB释放给广告以可用空间。 我的问题是- 10 MB的第二个文件(或下一个10 MB的文件序列)是否会继续添加到此文件,直到变为64 MB? 例如-如果总共消耗2个每个64 MB的块和20个3rd块的 ...

3 hdfs和hive有何关系?

我有psudeo分布式hadoop环境,并使用sqoop和hive进行数据导入和分析。 我使用了sqoop从mysql到hive导入数据,它起作用了,我在hive的位置( /user/hive/warehouse/获得了数据,并且我能够在hive表中看到数据。 我的怀疑是: ...

4 HDFS可视化块分配

我正在尝试创建集群的HDFS块分布的可视化。 我计划使用Tableau创建此数据库,但想知道哪种类型的可视化可以使您了解哪些节点需要重新平衡,以及将服务器日志数据导入Tableau的有效方法? ...

5 HDFS块创建

我想如何创建一个块。 它是在文件系统上默认创建64MB块还是根据文件传输活动创建 假设我已经设置了一个10节点群集设置。 我正在所有节点上安装hadoop。 现在如何创建块。 一旦启动hdfs服务,该块便会在linux系统上创建。 是否创建了一个4k块的64 MB物理块? (基 ...

6 HDFS块大小选择

3台计算机(1个主机),44 MB文件。 如果HDFS块大小= 32 MB,则文件将分为两个块:32 MB和12 MB。 这是否意味着一个从站可以处理32 MB,而另一个可以并行处理12 MB? 如果HDFS块大小= 16 MB,则文件将分为三个块:16 MB,16M ...

7 HDFS块大小混乱

由于HDFS的默认块大小为64MB。因此,例如200MB Data。 根据HDFS的块大小,将其分为4个块,分别为64Mb,64MB,64MB和8MB。 我的问题是,为什么不将数据分成50MB的4个块,以便将它们每个保存为64MB的块大小。 ...

2016-07-26 12:41:13 2 341   hadoop
8 hdfs群集中损坏的块

下面添加的屏幕快照显示了hdfs fsck /的输出。 它显示“ /”目录已损坏。 这是我的Hadoop集群的主节点。 该怎么办? ...

9 HDFS Block Split

我的Hadoop知识是4周大。 我正在使用带有Hadoop的沙箱。 根据该理论,当文件被复制到HDFS文件系统时,它将被分成128 MB块。 然后将每个块复制到不同的数据节点,然后复制到数据节点。 题: 当我将数据文件(~500 MB)从本地文件系统复制到HDFS(pu ...

10 删除HDFS块池

我在Hadoop群集上运行Spark。 我尝试运行Spark作业,发现我遇到了一些问题,最终通过查看数据节点的日志了解到其中一个datanode的文件系统已满 我查看了hdfs dfsadmin -report来确定这一点。 剩余的DFS类别为0B,因为使用的非DFS很大(155GB的 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM