是否可以在 Flink 的 Job Manager 中运行一个简单的作业？

Question

我编写了一个 Flink 作业，它从 Kafka 读取数据并写入 HIVE 的 ORC 格式的 hdfs 文件（使用 20 个执行程序）。 我需要运行一个简单的作业，每小时将分区插入 HIVE 表。 是否可以在作业管理器中运行这个简单的分区添加作业？

Answer 1

作业经理仅起协调/监督作用。 您必须至少有一个任务管理器。

然而，运行一个简单的工作可以做的是使用一个“迷你集群”，它与客户端/应用程序完全在同一个 JVM 中运行。 你想要的是一个LocalStreamEnvironment ，由

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();

或LocalEnvironment ，如果您使用的是 DataSet (batch) API：

ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();