"在 Kubernetes spark 集群上运行 PySpark 作业"

Question

我正在尝试在托管在 kubernetes 上的单独主 Spark 服务器上运行 Spark 作业，但端口转发报告以下错误：

E0206 19:52:24.846137   14968 portforward.go:400] an error occurred forwarding 7077 -> 7077: error forwarding port 7077 to pod 1cf922cbe9fc820ea861077c030a323f6dffd4b33bb0c354431b4df64e0db413, uid : exit status 1: 2022/02/07 00:52:26 socat[25402] E connect(16, AF=2 127.0.0.1:7077, 16): Connection refused

Answer 1

在稍微修改之后，我在启动 Apache Spark 的 helm 图表时注意到了这个输出** IMPORTANT: When submit an application from outside the cluster service type should be set to the NodePort or LoadBalancer. ** ** IMPORTANT: When submit an application from outside the cluster service type should be set to the NodePort or LoadBalancer. ** 。

这让我对 Kubernetes 网络进行了更多研究。 要提交作业，仅转发端口 7077 是不够的。相反，集群本身需要分配一个 IP。 这需要使用以下命令启动 helm 图表以设置 Spark 配置值helm install my-release --set service.type=LoadBalancer --set service.loadBalancerIP=192.168.2.50 bitnami/spark 。 我的主机 IP 地址在上面，并且可以通过 Docker 容器访问。

分配 LoadBalancer IP 后，Spark 将使用提供的示例代码运行。

回顾：不要使用端口转发来提交作业，需要分配集群 IP。