如何使用Spark-Submit群集模式進行身份驗證？

Question

我想從本地計算機遠程運行spark-submit，以將作業提交給spark集群（集群模式）。 我要使用哪種方法對群集進行身份驗證？

Answer 1

您需要在spark客戶端計算機上才能提交作業。 一旦進入Spark Client並且提交作業后，您將通過提交作業的用戶ID進行身份驗證。 如果您的用戶ID對群集具有權限，它將自動得到照顧。 對於啟用了kerberos的服務器，您需要首先為該會話和用戶生成密鑰表，以通過集群進行身份驗證。