如何使用Spark-Submit群集模式进行身份验证？

Question

我想从本地计算机远程运行spark-submit，以将作业提交给spark集群（集群模式）。 我要使用哪种方法对群集进行身份验证？

Answer 1

您需要在spark客户端计算机上才能提交作业。 一旦进入Spark Client并且提交作业后，您将通过提交作业的用户ID进行身份验证。 如果您的用户ID对群集具有权限，它将自动得到照顾。 对于启用了kerberos的服务器，您需要首先为该会话和用户生成密钥表，以通过集群进行身份验证。