我正在使用 Hadoop 2.6.0 和 oozie 5.2.0 版本。 尝试运行示例 Map 减少 oozie 中的作业但低于错误。 error screenshot不确定我是否必须更改任何配置。 我尝试在 job.properties 文件而不是 localhost 中提供 public d ...
我有一个具有以下格式的 oozie 工作流程： 此工作流实施了一个决策，即如果出现错误，则它会运行一个名为 killJobAction 的操作。 现在我想要实现的是根据 scala class 内部变量的值更改代码流。假设一个 boolean 变量调用 varWF=true/false。 是否可以？ ...
我是 oozie 的新手，并试图了解 dataset.xml。 我有以下数据集并试图了解 oozie 究竟想在这里验证什么。 初始实例的含义是什么以及uri-template在这里做了什么（在oozie文档上不清楚） 同样，在协调器中，我有以下输入和输出数据集。 这里 current(-5) 和 ...
我试图在我的 Oozie 工作流中创建一个条件，其中应仅在星期一（在工作流结束时）执行操作。 到目前为止，我在工作流中添加了一个决策节点，并将当前日期作为协调器中的参数，我需要测试星期几。 协调员.xml workflow.xml 我没有找到有关如何使用 EL 函数获取星期几的信息。 任何帮助表示 ...
我想在带有特殊库的 OOzie 工作流中运行 Python 脚本。 但是，我想在不将这些特殊库安装到 Hadoop 个节点的情况下运行此脚本。 我尝试使用 virtualenv 运行但失败了。 有谁知道如何在不在服务器端安装任何库的情况下运行这个 Python 脚本？ 谢谢：） ...
我使用 CDH 6.3.2 hadoop 是医管局我制作了一个带有色调火花的工作流程运行这个工作流程我得到一个错误 在我的 hdfs-site.xml 我可以在 hue 中使用 hive 运行工作流我可以运行 spark-shell --jars hdfs://nameservice1/spar ...
在决策节点中传递变量时遇到问题。 该参数在全局配置下声明 但是当在Decision节点下使用“currentDate”时，它无法解析。 我收到的错误错误代码：EL_ERROR 错误消息：变量 [currentDate] 无法解析我的第一个 oozie worflow.. 可能犯了愚蠢的错误。 请帮帮 ...
我有一个工作流程，分为 3 个动作。 三个路径启动一系列操作，每个操作都可能失败。 我觉得微不足道的事情是创建以下 DAG。 join后，其他动作随之而来。 下面 DAG 的问题是，如果我到达一个kill节点，例如在顶部路径，所有其他路径也将在到达join之前被杀死。 但是，这不是所需的流程。 ...
作为 Oozie 工作流程的一部分，我有一个 Hive SQL 脚本/动作。 我正在做一个 CREATE TABLE AS SELECT 到 output 结果。 我想使用用户名加上附加的字符串（例如“User123456_output_table”）来命名表，但似乎无法获得正确的语法。 这不起作 ...
我面临着非常奇怪的问题。 我有工作流 xml，其中包含 20 个 fork-join 节点，每个节点包含 4-8 个 actions 。 当我提交此工作流程时，它等待 5-6 分钟，抛出 但实际上在后台发生的是它在 10 分钟后提交一个工作流，12 分钟后提交另一个工作流。 所以它最终会触发它两 ...
我正在使用 Apache oozie。 我想在我的 oozie 工作流中将其中一个 shell 操作的状态标记为 OK。 它处于运行状态。 我们能否分享在 Apache Oozie 中使用的命令来执行此操作。 ...
我有一个不能通过 Oozie 运行的简单火花作业。 相同的火花作业通过火花提交运行。 我提交作业工作流并收到以下错误： 这是job.properties： 这是工作流 XML： 同一个集群可以毫无问题地运行其他操作和工作流。 一旦 spark 操作成为工作流的一部分，此错误就会导致启动器 ...
我正在尝试根据 oozie id 从 unix 获取 spark 应用程序 id。 当我尝试使用oozie -info <oozie_id>@<action_name>时，我能够获得 map 减少作业 ID。 如何获取火花应用程序 ID ...
SO上有一些与此类似的问题。 然而，没有什么对我有用。 所以我发布了这个问题。 我正在使用 CDH 6.2.1 我有一个具有 map-reduce 操作的工作流。 map-reduce 作业会创建很多计数器（我认为 m/r 作业会产生约 300 个计数器）。 我已将 cdh/yarn/conf ...
我有一个 shell oozie 动作，它接受了许多 arguments 传递给 shell 脚本的操作。 我想每次使用不同的 arguments 多次触发该操作。 一个示例 dag 看起来像： 是否有可能在没有大量重复操作的情况下实现这一目标？ ...
我有超过 10 个 oozie 工作流程。 每个 workflow.xml、coordinator.properties 和 xml 加上 lib 文件夹都在一个单独的文件夹中。 所有的工作流程都有一些共同的 jars 大约 6mb 大小，我必须在每个 lib 文件夹中复制相同的 jar。 您能否告 ...
我有一个工作流按需运行的要求。但是有一个任务（ curl 命令）要在将来触发。 ...
我在 oozie 中有一个属性文件，并从 shell 脚本中获取值，如下所示： 在 Shell 脚本中 它不是读取整个值，而是读取到 filter_cond=record 请帮我。 ...
我们正在将 EMR 集群迁移到 Dataproc，并且我们依靠 Oozie 来运行我们的工作流。 第一个挑战是如何从 Cloud Storage 存储桶加载workflow.xml 。xml。 我们曾经使用 S3 来做到这一点： 尝试在 GCS 上使用相同的方法根本不起作用 当我尝试运行 Oozie ...
我在通过 ooze 执行火花动作时遇到了这个异常。 有时工作运行良好，有时我得到这个异常。 真的很奇怪，不知道为什么会这样。 我在 oozie lib 和我的应用程序 jar 中检查了 spark jar 的版本，它是相同的（无冲突） 任何可能导致这种行为的建议。 ...