Kafka 管理客戶端為 ListTopic 提供超時錯誤
[英]Kafka Admin Client giving Timeout Error for ListTopic
您好，我正在嘗試運行這段代碼，但它在另一個 EC2 Azkaban 實例中運行良好，但在另一個實例中沒有給出以下錯誤。 “Kafka 異常 java.util.concurrent.ExecutionException：org.apache.kafka.common.errors.TimeoutE ...
java.lang.ClassNotFoundException：azkanban hive 作業中的 org.apache.hadoop.conf.Configuration
[英]java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration in azkanban hive job
CDH 6.3.2 阿茲卡班 3.90.0 我想在 azkaban 中運行 hive 作業，但出現錯誤 在commonprivate.properties 在 hive/private.properties 中 ...
azkaban run selenium automatic python 腳本流在執行大約二十分鍾后失敗，系統變得非常慢
[英]azkaban run selenium automatic python script flow failed when after execute about twenty miniutes,and the system becomes very slowly
我在 azkaban 中運行 python 腳本。 在 test.flow 文件中 運行后執行此流程大約二十分鍾時，系統變得非常緩慢並且執行失敗。 和 azkaban-web-server 下的 azkaban-webserver.log 任何人都可以幫助解決它嗎？ ...
centos8安裝azkaban加載class`com.mysql.jdbc.Driver'。 這已被棄用。 新的驅動程序 class 是`com.mysql.cj.jdbc.Driver'
[英]centos8 install azkaban Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'
環境： CentOS8 mysql 版本 8.0.17 java 版本“1.8.0_261” 阿茲卡班 v3.90.0。 當我嘗試安裝 Azkaban Executor Server 然后運行： 在 executorServerLog__2020-07-24+17:59:49.out 所以我 ...
azkaban 安裝 gradlew 指定 java 位置
[英]azkaban install gradlew specify java location
環境：CentOS 8.1 64bit，azkaban 3.90.0，java 14.0.1 當我跑步時 它說 並在文件/home/azkaban/azkaban/gradle/wrapper/gradle-wrapper.properties：distributionUrl=https\://se ...
如何使用域名訪問azkaban web接口？
[英]How to access the azkaban web interface using the domain name?
我的阿茲卡班地址是 192.168.72.130:8443 我設置了主機 我可以使用 IP 正常訪問 Azakaban Web 客戶端訪問正常但是當我用域名訪問Azakaban web客戶端時，不行不行 Chrome 向我展示 Azkaban web 服務器日志： ...
MySql 與 azkaban 連接時出現錯誤“無法創建 PoolableConnectionFactory（無法創建與數據庫服務器的連接。）”？
[英]MySql error “Cannot create PoolableConnectionFactory (Could not create connection to database server.)” while connecting with azkaban?
我正在嘗試將 Azkaban（hadoop 的作業調度程序）與我當地的 mysql 連接起來。 azkaban 的配置文件如下所示： 我的 MySql 有一個名為“azkaban”的數據庫，我可以使用以下命令登錄 mysql： mysql 也在端口 3306 上工作，我已經驗證過了。 我仍然無 ...
azkaban h2.mv.db 太大了，這是一個問題嗎？
[英]azkaban h2.mv.db is too big and is that a problem?
我們使用azkaban大約4個月，發現h2.mv.db文件這么大。 這是一個需要解決的問題嗎？ 我們如何減小 h2 的大小？ 有什么辦法可以轉成mysql嗎？ 非常感謝！ ...
Azkaban gradle 的構建失敗 TestTimedOutException
[英]Azkaban gradle's build fails TestTimedOutException
我正在嘗試構建Azkaban 單服務器，但執行時出現錯誤./gradlew build installDist 我嘗試使用此處描述的方法跳過測試，但也會引發錯誤。 在根項目“azkaban”上找不到 arguments [ALL] 的方法 distributionType()。 任何人都可以幫我弄 ...
昨天的Azkaban運行時參數
[英]Azkaban runtime parameter for yesterday
根據官方網站的說法， Azkaban僅提供運行時間的年月日，例如： 是否可以為前一天添加參數？ ...
azkaban構建失敗：無法解析配置'：azkaban-common：compileClasspath'的所有文件
[英]azkaban build failed: Could not resolve all files for configuration ':azkaban-common:compileClasspath'
Ubuntu 14.04.5 LTS 當運行./gradlew clean build時，它返回： 失敗：構建失敗，發生異常。 * 什么地方出了錯： 無法解析配置'：azkaban-common：compileClasspath'的所有文件。 無法下載hadoop-hd ...
Azkaban物業評估
[英]Azkaban Property evaluation
我們的項目中有一個Azkaban屬性，看起來像這個date" : "$(new("org.joda.time.DateTime").parse(...).toString("yyyy-MM-dd"))用作火花作業的參數。 該命令（在流日志中）已經評估了表達式，但是生成的Azkaban文件（因為 ...
如何使用Azkaban Python API將流添加為Azkaban作業的依賴項？
[英]How to add a flow as a dependency for an Azkaban job using the Azkaban Python API?
我有一個作業A，需要將Azkaban流“ F”作為依賴項進行調用。 如何提及作業A對流程F的依賴性？ 這是我現在與獲取遠程存儲流“ F”有關的內容： 現在我有了node_id，它是流F中最后一個作業的名稱，如何在作業A中添加流F的依賴關系？ 是這樣嗎？ 進行以下操作會使 ...
具有可變依賴性的用例的氣流損失的定義
[英]definition of airflow dag for a use case with variable dependencies
我想在以下用例中使用氣流： 計算給定網站（約150個要處理的網站）的每日報告。 每個報告的計算方式如下： 一組應在網站級別運行的任務， 一組應該在頁面級別運行的任務，每個網站包含約1萬個頁面。 完成以上兩組任務后，將運行第三組任務以匯總結果並 ...
失敗的Azkaban Spark作業具有成功最終狀態，而不是失敗
[英]Failed Azkaban Spark Job has Success final status in stead of Failure
用例： Azkaban開始Spark工作 火花工作以某種方式失敗 預期結果： Hadoop ResourceManager表示作業的最終狀態為FAILED 實際結果： Hadoop RM表示工作最終狀態為SUCCESSFUL 有誰知道如何解決？ ...
每個環境的Azkaban作業配置
[英]Azkaban job configuration per environment
我計划使用Azkaban https://azkaban.github.io/運行批處理作業。 根據CI的想法，我們幾乎沒有開發，測試，階段，生產等環境，當然，每個環境的作業也應具有不同的配置。 根據Azkaban文檔http://azkaban.github.io/azkaban/do ...
默認情況下禁用Azkaban作業的參數
[英]Parameter to disable Azkaban job by default
給定以下具有1個流，包含3個作業的Azkaban配置，默認情況下如何禁用Job2？ 是否有參數/配置？ 我知道我可以進入UI並手動禁用作業。 但是，我希望默認情況下禁用Job2，並且可能僅在需要時才從UI啟用它。 ...
調度 Spark Streaming 作業
[英]Scheduling a Spark Streaming Job
我有一個使用 spark-submit 腳本手動運行的 Spark Streaming 作業。 我想安排它每天運行。 Azkaban、Airflow、Oozie、Crontab、Spark-jobserver、Quartz 或 Luigi 哪一個更好。 任何建議表示贊賞！ ...
為什么我在 Azkaban 中的 Sqoop 任務在選擇列后卡住了？
[英]Why is my Sqoop task in Azkaban stuck after columns are selected?
我在 Azkaban 中使用 shell 命令，並將 Sqoop 命令放在 shell 腳本中。 今天，一個 Sqoop 任務無緣無故卡住了， sqoop_task1 。 它發生在另一個 sqoop 任務上幾天，我們稱之為 sqoop_task2。 sqoop_task1和sqoop_tas ...