从 ZD52387880E1EA22817A892D375921 调用 Apache Livy REST API

Question

我们使用 Apache Livy 从 Spark 集群中的 object 存储中读取数据。

Apache Livy API：POST http://server:port/sessions/{sessionId}/statements 请求负载：

{"code":" val df = spark.read.option(\"header\", true).json(\"xxx://somebucket@somenamespace/xyz\"); \n    df.toJSON.collect.mkString(\"[\", \",\", \"]\")"}

我看到上述与 postman 一起使用没有问题。 我们需要从 Java 调用这个 API。 When we tried to call the above API from Java App using a Jersey Client(version 2.30.1 on Java 11), Apache Livy server returns 'Internal Server Error' (500). Jersey 客户端代码如下所示：

JSONObject payLoad = new JSONObject();
String codeBlock = "val df = spark.read.option(\"header\", true).json(\"xxx://somebucket@somenamespace/xyz\"); \n    df.toJSON.collect.mkString(\"[\", \",\", \"]\")";
payLoad.put("code", codeBlock);

// In this e.g, session id: '0' is created before calling the below API
String apacheLivyUrl = "http://localhost:8998/sessions/0/statements";
Response response = ClientBuilder.newBuilder().build().target(apacheLivyUrl)
        .request(MediaType.APPLICATION_JSON)
        .accept(MediaType.APPLICATION_JSON)
        .post(Entity.json(payLoad.toString()));

知道这里出了什么问题吗？ 谢谢你的时间

Answer 1

它发生在以下场景：我们有一个 Java API 来执行语句，它执行以下操作：

1. 通过调用 Livy /sessions REST API 创建 session
2. 然后通过使用 Livy REST API POST //statements 传递上一步中的 session id 创建一个语句。 在这种情况下，步骤 2 给出 500 错误代码。

通过查看 POST /session api 调用的响应（第 1 步），注意到响应正文中有一个“状态”标志（当它以状态 500 失败时，它是 state='starting'）。 Apparently, one need to check the status of the state flag before proceeding with Step 2. There is a GET /sessions/ Levy REST API to check the state status (till it changes from 'starting') to proceed further with statement creation.