Apache Livy - 休息 API

Question

我的要求：从 Web 应用程序触发 Yarn 中的 Spark 作业并将结果显示回网页。 spark 作业接受很少的参数并使用需要返回到 Web 应用程序的值计算数据集。

在网上浏览了一番后，我认为 Livy 可以用于此目的。

Livy 已经安装了 HDP 2.5。 所以我使用 POST/Sessions 创建了新的 Livy 会话并包含我的 jar 文件。

{"kind":"spark","name":"livy","jars":["/xyz.jar"],"proxyUser":"livy"}

（我必须包含标题“x-requested-by”，因为启用了 csrfPrevention。）注意：- jar 必须放在 HDFS 中才能工作

根据 Livy 示例：- https://livy.apache.org/examples/我可以将代码片段作为“data = {'code': '1 + 1'}”传递我不明白如何调用该方法在我的班级中。根据 Livy Rest API 文档，我没有“className”选项 - https://livy.apache.org/docs/latest/rest-api.html

如果我使用 POST/Batch 创建会话，我可以指定一个 jar 和我的主类。但是这样做我不会在我的 Web 应用程序中返回我的结果。

我的 jar 文件中的 Java 代码：

public class LivySample {


    public String executeSampleLivy(SparkContext sc,String input){
        JavaSparkContext jsc = new JavaSparkContext(sc);
        List<String> listNames = Arrays.asList("abc","def","ghi");
        JavaRDD<String> rdd =  jsc.parallelize(listNames);
        return rdd.filter(l->l.contains(input)).collect().get(0);
    }

}

我尝试在 Livy url 上将以下代码作为 POST 运行 - session/20/statements '''

{
  "code": "import LivySample;LivySample lv = new LivySample();lv.executeSampleLivy(sc, \"abc\")"
}

调用 GET session/21/statements/0 时出现错误：

  {
"id": 2,
"state": "available",
"output": {
"status": "error",
"execution_count": 2,
"ename": "Error",
"evalue": "<console>:1: error: '.' expected but ';' found. import LivySample;LivySample lv = new LivySample();lv.executeSampleLivy(sc, "chris"); ^",
"traceback": [],
}
}

我无法调试此错误。请您告诉我我在这里做错了什么。

我可以像我在此处指定的那样在 LivyRest API 中使用 Java。

谢谢！

Answer 1

我更熟悉批处理 API，但我相信在会话 API 中，您的应用程序 JAR 应该在请求的files字段中提供，而不是jars （自相矛盾）。

无论如何，Livy 会话基本上是一个交互式 spark-shell 会话。 因此，如果您想使用会话，您将逐行逐步执行您的程序（为每一行向RunStatement端点提交请求）。 然后最后你会向GetSessionStatement(s)端点询问结果。

或者（也许更容易），您可以使用批处理 API，只需将输出写入某个持久位置，并在批处理达到“成功”状态时让您的 Web 应用程序公开它。