如何通过 livy 杀死火花/纱线工作

Question

我正在尝试使用rest api通过livy提交spark作业。 但是，如果我多次运行相同的脚本，它会运行具有不同作业 ID 的作业的多个实例。 我正在寻找一种在开始新工作之前终止以相同名称运行的火花/纱线工作的方法。 Livy 文档说 ( https://github.com/cloudera/livy#batch ) 删除批处理作业，但 livy 会话不返回应用程序名称，只返回应用程序 ID。

有没有另一种方法可以做到这一点？

Answer 1

您可以使用 LivyClient API 使用 Livy Server 提交 Spark 作业。 LivyClient API 有一个停止方法，可用于终止作业。

LivyClient.close(true);

Answer 2

对于 Livy 0.7.0 版，以下工作。

您要停止的会话 ID 是1 ：

• 蟒蛇

import requests
headers = {'Content-Type': 'application/json'}
session_url = 'http://your-livy-server-ip:8998/sessions/1'
requests.delete(session_url, headers=headers)

• 壳

curl -X DELETE http://your-livy-server-ip:8998/sessions/1

见https://livy.incubator.apache.org/docs/latest/rest-api.html

Answer 3

Livy 服务器停止时处于活动状态的会话可能需要手动终止。 使用集群管理器中的工具来实现这一点（例如，yarn 命令行工具）。

运行以下命令以查找通过 Livy 启动的交互式作业的应用程序 ID。

纱线应用列表

运行以下命令来终止这些作业。

纱线应用程序-杀死“应用程序ID”

请参阅：“ https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-known-issues#livy-leaks-interactive-session ”。