使用PySpark退出Azure HDInsight上的Java网关

Question

我正在使用Azure HDInsight和PySpark。 现在，以前工作的代码段失败，但异常

“在发送驱动程序端口号之前退出了Java网关进程”。 pyspark源代码此时包含注释“在Windows中，请确保在退出Python后Java子进程不会停留”。 即使重新启动HDInsight实例也不能解决该问题。

你们其他人有个解决办法吗？

Answer 1

我遇到了同样的问题，我通过RDP登录到HDInsight群集并重新启动了IPython服务。 这似乎已经解决了问题。