REST API与Spark交互

Question

我正在尝试将我的Spark上下文与REST API连接起来。 所以我的流程就是这样，我从我的UI-nodejs发送请求到REST API，它需要与spark上下文（Spark作业在hive表之上工作）进行交互，其中包含所需的响应并将其发送回UI进行显示。 有没有办法实现这个目标？ UI < - > REST API < - > Spark（HDFS）

Answer 1

您可以使用Apache Livy 。 它专为此用例而设计。 我们过去曾使用它来控制Spark集群上的批处理和常规作业。