您好,我正在尝试运行这段代码,但它在另一个 EC2 Azkaban 实例中运行良好,但在另一个实例中没有给出以下错误。 “Kafka 异常 java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.TimeoutE ...
您好,我正在尝试运行这段代码,但它在另一个 EC2 Azkaban 实例中运行良好,但在另一个实例中没有给出以下错误。 “Kafka 异常 java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.TimeoutE ...
CDH 6.3.2 阿兹卡班 3.90.0 我想在 azkaban 中运行 hive 作业,但出现错误 在commonprivate.properties 在 hive/private.properties 中 ...
我在 azkaban 中运行 python 脚本。 在 test.flow 文件中 运行后执行此流程大约二十分钟时,系统变得非常缓慢并且执行失败。 和 azkaban-web-server 下的 azkaban-webserver.log 任何人都可以帮助解决它吗? ...
环境: CentOS8 mysql 版本 8.0.17 java 版本“1.8.0_261” 阿兹卡班 v3.90.0。 当我尝试安装 Azkaban Executor Server 然后运行: 在 executorServerLog__2020-07-24+17:59:49.out 所以我 ...
环境:CentOS 8.1 64bit,azkaban 3.90.0,java 14.0.1 当我跑步时 它说 并在文件/home/azkaban/azkaban/gradle/wrapper/gradle-wrapper.properties:distributionUrl=https\://se ...
我的阿兹卡班地址是 192.168.72.130:8443 我设置了主机 我可以使用 IP 正常访问 Azakaban Web 客户端访问正常但是当我用域名访问Azakaban web客户端时,不行不行 Chrome 向我展示 Azkaban web 服务器日志: ...
我正在尝试将 Azkaban(hadoop 的作业调度程序)与我当地的 mysql 连接起来。 azkaban 的配置文件如下所示: 我的 MySql 有一个名为“azkaban”的数据库,我可以使用以下命令登录 mysql: mysql 也在端口 3306 上工作,我已经验证过了。 我仍然无 ...
我们使用azkaban大约4个月,发现h2.mv.db文件这么大。 这是一个需要解决的问题吗? 我们如何减小 h2 的大小? 有什么办法可以转成mysql吗? 非常感谢! ...
我正在尝试构建Azkaban 单服务器,但执行时出现错误./gradlew build installDist 我尝试使用此处描述的方法跳过测试,但也会引发错误。 在根项目“azkaban”上找不到 arguments [ALL] 的方法 distributionType()。 任何人都可以帮我弄 ...
根据官方网站的说法, Azkaban仅提供运行时间的年月日,例如: 是否可以为前一天添加参数? ...
Ubuntu 14.04.5 LTS 当运行./gradlew clean build时,它返回: 失败:构建失败,发生异常。 * 什么地方出了错: 无法解析配置':azkaban-common:compileClasspath'的所有文件。 无法下载hadoop-hd ...
我们的项目中有一个Azkaban属性,看起来像这个date" : "$(new("org.joda.time.DateTime").parse(...).toString("yyyy-MM-dd"))用作火花作业的参数。 该命令(在流日志中)已经评估了表达式,但是生成的Azkaban文件(因为 ...
我有一个作业A,需要将Azkaban流“ F”作为依赖项进行调用。 如何提及作业A对流程F的依赖性? 这是我现在与获取远程存储流“ F”有关的内容: 现在我有了node_id,它是流F中最后一个作业的名称,如何在作业A中添加流F的依赖关系? 是这样吗? 进行以下操作会使 ...
我想在以下用例中使用气流: 计算给定网站(约150个要处理的网站)的每日报告。 每个报告的计算方式如下: 一组应在网站级别运行的任务, 一组应该在页面级别运行的任务,每个网站包含约1万个页面。 完成以上两组任务后,将运行第三组任务以汇总结果并 ...
用例: Azkaban开始Spark工作 火花工作以某种方式失败 预期结果: Hadoop ResourceManager表示作业的最终状态为FAILED 实际结果: Hadoop RM表示工作最终状态为SUCCESSFUL 有谁知道如何解决? ...
我计划使用Azkaban https://azkaban.github.io/运行批处理作业。 根据CI的想法,我们几乎没有开发,测试,阶段,生产等环境,当然,每个环境的作业也应具有不同的配置。 根据Azkaban文档http://azkaban.github.io/azkaban/do ...
给定以下具有1个流,包含3个作业的Azkaban配置,默认情况下如何禁用Job2? 是否有参数/配置? 我知道我可以进入UI并手动禁用作业。 但是,我希望默认情况下禁用Job2,并且可能仅在需要时才从UI启用它。 ...
我有一个使用 spark-submit 脚本手动运行的 Spark Streaming 作业。 我想安排它每天运行。 Azkaban、Airflow、Oozie、Crontab、Spark-jobserver、Quartz 或 Luigi 哪一个更好。 任何建议表示赞赏! ...
我在 Azkaban 中使用 shell 命令,并将 Sqoop 命令放在 shell 脚本中。 今天,一个 Sqoop 任务无缘无故卡住了, sqoop_task1 。 它发生在另一个 sqoop 任务上几天,我们称之为 sqoop_task2。 sqoop_task1和sqoop_tas ...