我开始使用这个yarn application -appStates RUNNING运行应用程序，然后我从列表中获得一个applicationID 。 然后我可以通过以下方式获取应用程序的状态： yarn application -status 我想在命令行上获取作业配置信息。 有可能的？ ...
如何通过 HTTP 或 JAVA Z8A5DA52ED1206447D8AAZ70 从远程客户端获取 HDFS 中一个或多个键的值？ 例如，下面的文件有一百万个键和值。 我只想获取“电话”和“玩具”键的值。 我的文件： ...
下面是用于从 HBase 获取数据的示例代码片段。 这适用于 Spark 3.1.2。 但是升级到 Spark 3.2.1 后，它不起作用，即返回的 RDD 不包含任何值。 此外，它不会抛出任何异常。 此外，如果我们不使用 NewAPIHadoopRDD 直接使用 Scan 获取，它就可以工作。 ...
我已经安装了开源 hadoop 集群和 Nifi。 当我每天早上检查服务状态时：状态如下。 但未响应 ping 请求重新启动服务后：状态如下：可以正常工作一天。 ...
首先，我使用 hive 将本地文件中的数据加载到未分区的表中创建原始数据文件： 创建未分区表 然后我将文件中的数据加载到源表中将数据加载到源表： 我确认数据是否在表中 现在，我在同一个数据库中创建分区表 之后，我尝试将数据插入到新表中，同时考虑到分区。 我认为每件事都很顺利。 以下是我在构建/执行过 ...
我想在 hadoop 中创建（或至少采用）一个新的“定制”调度程序。 我在网上看到了一堆调度算法，如下所述。 Hadoop 调度算法我知道我们可以在 yarn-server 中从 resourcemanager/scheduler/ class 扩展类并编写我们自己的调度算法。 但是有人可以给我一 ...
我想问一下，Hadoop数据仓库中可以存储各种类型的数据吗？ 像 RDBMS、JSON Doc、Cassandra Keyspace、txt、CSV 等数据？ 它们都存储在 HDFS 中吗？ ...
我有以下项目结构， （即一个python文件merge.py和“work_directory”目录下的一个目录a_package ） 我在 merge.py 中使用 MRJob 编写了一个 MapReduce 作业，其中我需要导入a_package ，例如from a_package imp ...
我正在尝试以以下格式获取数据。 有人可以帮我获得一个用于 spark 和 Scala. 我是新来的。 有人可以帮忙吗？ 我期待的输出是字符串输出 如果它在数组中有延续值，它应该继续请帮助我，非常重要的任务 ...
当我们从 hive 命令行触发插入语句时，问题与 MapReduce 作业的工作有关。 在将记录插入 hive 表时：由于在插入内部 hive 表时不涉及聚合，为什么还会调用减速器。 它应该只是一个映射器工作。 减速机在这里的作用是什么。 ...
例如：我在路径/home/doc/data/中有10多个文件：202012.txt, 202101.txt, 202102.txt....... 如果我想加载2021的所有文件，我必须使用： 有没有什么有效的方法来避免代码冗余？ ...
我已经安装了 Hadoop 文件，我正在尝试在终端中运行 MapReduce 示例，但是收到命令未找到消息，有人可以帮我解决这个问题，谢谢。 Ismails-MacBook-Pro:mapreduce korir$ hadoop jar hadoop-mapreduce-examples-2.7. ...
在我的实验室中，HBase 存档预写日志，即 oldWALs 文件没有被删除，oldWALs 目录以 TB 为单位快速增长。 尝试以下选项进行清理； 但没有运气。 更新的复制在 hbase master 上是错误的并重新启动将 ttl 减少到 1 秒没有同行多次重新启动 HBase 组件。 ...
我有一个 Hadoop 集群，它使用 Apache Spark 来查询保存在 Hadoop 上的镶木地板文件。 例如，当我使用以下 PySpark 代码在 parquet 文件中查找单词时： 运行此代码后，我 go 以触发应用程序 UI，阶段选项卡。 我看到任何地方级别的摘要设置Any. 相反，由于 ...
我有如下数据。 我试图通过我开发的查询获得以下结果。 预期成绩 但它给出了以下结果。 不确定查询有什么问题，可以让我知道如何获得预期的结果。 实际结果 非常感谢您的帮助。 谢谢，巴布 ...
我的脚本由于处理太多分区的堆空间问题而失败。 为避免此问题，我尝试将所有分区插入单个分区，但遇到以下错误失败：语义异常 [错误 10044]：第 1:23 行无法插入目标表，因为列号/类型不同“2021-01-16”：表 insclause-0 有 78 列，但查询有 79 列。 ...
我们在使用安全的 mapr 集群设置 oozie 服务时遇到了问题。 我们正在使用 MapR 安装程序来设置 MapR 集群。 以下是我们遵循的配置和步骤。 MapR 版本 - 6.1 操作系统-Ubuntu 16.04 身份验证 - Kerberos 节点 - 单节点我们使用安装程序中的Enab ...
在 Docker 桌面上使用 Hortonworks HDP 3.0.1 和 HDF 沙盒我已登录 HDP，并尝试将文件从 /user/maria_dev/tutorials/test.csv 复制到 HDF 的 /sandbox/tutorial-files/640/nifi/input 但这不 ...
我正在使用 Hbase 版本 2.0.2 和 phoenix V5.0.0。 我有一个 HBase 表，我们使用以下步骤创建了 Phoenix 视图 然后我在 HBase 表的顶部创建了一个凤凰视图。 从凤凰视图中选择数据时，出现以下错误。 ...