我正在使用 hadoop，对辅助名称节点的 memory 要求有点好奇......与 Namenode 相比 ...
我每小时都会收到过时的警报，如果 Data 节点和 Namenode 之间的最后接触点超过 30 秒，我们会收到这些警报。 我无法找到这种缓慢的根本原因，我有 32 个核心系统，但是当在 htop hdfs 中生成此警报时，使用率更高，但并非所有核心都 100% 被使用。 数据节点健康摘要 D ...
我需要使用 Hadoop 进行数据分析。因此我安装了 Hadoop 并进行了如下配置。 但是 localhost:9870 不工作。 甚至我每次使用它时都有格式名称节点。 这个论坛的一些文章和答案提到9870是50070的更新版本。我有win 10。我也在这个论坛中提到了答案，但没有一个有效。 设置 ...
我的目标我想通过 KnoxSSO 访问 Namenode UI 并在没有 Ambari 的情况下浏览 hdfs 文件。 我已经做了什么我已经使用 QJM 设置了安全集群和HDFS HA 。 Apache Knox 使用Pac4J 提供程序通过 Openid Connect 对用户进行身份验证。 ...
我试图了解通过 HDFS 集群外部的名称服务（连接活动名称节点 - 高可用性名称节点）连接 HDFS 的工作程序和非工作程序的上下文。 不工作的程序： 当我读取两个配置文件（core-site.xml 和 hdfs-site.xml）并访问 HDFS 文件时，它会抛出错误 错误：我们看到未知主机异 ...
运行命令“hdfs namenode -format”以在 windows 上安装 hadoop 时出现以下错误 11. 有人对此有解决方案吗？ 还尝试了所有编写文件夹路径的方法。 ...
每当我重新启动我的 ubuntu 系统 (Vbox) 并启动我的 Hadoop 时，我的名称节点都无法正常工作。 为了解决这个问题，每次我重新启动系统时，我必须始终保存namenode和datanode的文件夹并格式化 Hadoop。 由于 2 天我试图解决这个问题，但它不起作用。 我尝试再次将权限 ...
我已经在 4 台 linux 机器、hadoop1(master)、hadoop2、hadoop3 和 hadoop4 上安装了 hadoop 3.1.0 集群。 我运行start-dfs.sh和start-yarn.sh ，只看到 namenodes 和 datanodes 与jps一起运行。 ...
我有一个关于 hadoop hdfs 块复制的问题。 假设一个块写在一个datanode上，DFS的复制因子为3，namenode需要多长时间才能将这个块复制到其他datanode上？ 是瞬间的吗？ 如果不是，在将块写入数据节点后，假设该数据节点上的磁盘发生故障且无法恢复，这是否意味着该块将永远丢 ...
在我们的 HDP 集群中 - 版本 2.6.5，带有 ambari 平台我们注意到/hadoop/hdfs/journal/hdfsha/current/文件夹包含巨大的文件和超过 1000 个文件 为了最小化日志编辑日志，我们可以使用以下内容作为 HDFS ( hdfs-site.xml ) 的一 ...
我们有 ambari 集群，HDP 版本2.6.5 集群包括两个名称节点的管理（一个是活动的，一个是备用的） 和 65 台数据节点机器我们对未启动的备用名称节点有问题，从名称节点日志中我们可以看到以下内容 目前活动的名称节点已启动，但备用名称节点已关闭 关于 解决此问题的首选解决方案是什么？ ...
我试图安装 Hadoop 并且在格式化名称节点时出现此错误 我参考了许多不同的文章，但无济于事这些是我的配置 请指导我 ...
我发现我的 Impala swarm 性能不稳定，一般只需要几秒（不到 10 秒）就可以完成一个查询，但偶尔会超过 40 秒（这种情况会持续几分钟），而当那个碰巧，根据配置文件，TotalRawHdfsOpenFileTime 非常高，这意味着大部分时间都花在打开 HDFS 文件上。 那么可能的原 ...
我想禁用 HDFS web UI http://localhost:50070。 我试图通过下面的配置禁用它，但它仍然可以访问。 ...
我正在处理一个用例，我必须处理大量数据（多个表），并且我试图将其作为批处理作业提交给 Dataproc 集群（PySpark）。 我的代码看起来像这样from pyspark import SparkContext from pyspark.sql import SQLContext from p ...
我正在使用 Hadoop-2.7.6 并希望构建完全分布式的。 我给了 3 台虚拟机服务器，它们只能使用 32222 端口。 在 /etc/hosts 中， 然后在core-site.xml中， 但是当我执行hdfs dfs -ls时， 出现此错误消息。 此外，当我执行start-all.sh 然 ...
我们有 7 台数据节点机器的 HDP 集群在/hadoop/hdfs/namenode/current/下我们可以看到超过1500个编辑文件，每个文件大约7M到20M ，如下所示 是否可以通过一些HDFS配置来最小化文件大小？ （或最小化编辑文件数量）因为我们有小磁盘并且磁盘现在是100% ...
我们使用了 Kerberized Hadoop 环境（HDP 3.1.4 与 Spark 2.3.2 和 Ambari 2.7.4）很长一段时间，到目前为止一切顺利。 现在我们启用了 NameNode 高可用性并遇到以下问题：当我们想使用 Spark SQL 读取数据时，我们首先必须写入一些（其他） ...
我是 hadoop 的新手，并试图在 windows 中创建一个独立的 hadoop 集群。 启动名称节点时出现错误，如下所示。 但是，在为使用端口 50070 的进程检查 windows 时，我找不到任何进程 Hadoop 错误： Windows 端口检查： C:\work\hadoop-2. ...
我在使用/etc/hosts使用本地域配置的 7 个节点上有一个 hadoop 设置。 看起来像这样 现在的问题是，在某些节点上， hadoop-slave-1映射错误，即某些节点将hadoop-slave-1映射到1.2.3.12而不是1.2.3.4 。 Namenode 具有正确的映射 ...