使用 Oozie 使用 Hive/Hadoop 安排臨時查詢

Question

Oozie 是否支持用戶調度，通過 REST API，即席 Hive 查詢？

我們正在構建一個系統，用戶可以在其中搜索 Hadoop 中的文檔，支持用戶（可選）指定要搜索的數據的某些屬性，使用 Hive 執行針對 Hadoop 的查詢。 由於對可選字段的這種支持，我們無法提前知道 Hive 查詢會是什么樣子（就 Hive 查詢中將使用哪些表而言）。 我們有一個服務，在運行時，我們處理用戶的查詢以生成相應的 Hive 查詢。

我們希望能夠通過 Oozie 安排這些查詢，但我一直無法找到有關如何通過 Oozie 執行此操作的文檔。 我認為這是可能的。 是否有可用於描述如何執行此操作的示例 Java 代碼？

Answer 1

使用Oozie的協調調度工作，Apache文檔這里和示例這里的Oozie的協調員。 此外，看一看阿茲卡班（ 1 ， 2進行調度）。

Answer 2

通過 REST API 的代理 Hive 作業提交允許用戶提交作業而無需在 HDFS 上創建工作流 XML：

• https://oozie.apache.org/docs/5.1.0/WebServicesAPI.html#Proxy_Hive_Job_Submission

您還可以使用 FluentAPI 以編程方式構建工作流：

• https://oozie.apache.org/docs/5.1.0/DG_FluentJobAPI.html#A_More_Verbose_Example
• https://github.com/apache/oozie/blob/master/fluent-job/fluent-job-api/src/test/java/org/apache/oozie/fluentjob/api/action/TestHive2ActionBuilder.java

如上所述，Oozie Coordinator 可用於安排和定期執行工作流。 除了時間依賴之外，您還可以定義數據依賴（例如 HDFS 上特定文件的存在）以啟動工作流。