如何從 Jenkins 將 Spark 作業部署到 EMR 紗線集群？

Question

我在 EMR 集群上有幾個使用紗線的 Spark 作業，這些作業必須定期運行並從 Jenkins 提交。 目前，Jenkins 機器將通過 ssh 連接到 EMR 上的主節點，其中代碼的副本已准備好在要執行的文件夾中。 我希望能夠將我的 repo 克隆到 jenkins 工作區並提交來自 Jenkins 的代碼以在集群上執行。 有沒有一種簡單的方法可以做到這一點？ 從 Jenkins 部署 Spark 的最佳方法是什么？

Answer 1

您可以使用這個rest api從 Jenkins 調用 http 請求來啟動/停止作業

Answer 2

如果你在 Jenkins 中有 Python，那么使用Boto3實現腳本是一個很好的、簡單的、靈活的和強大的選擇。

您可以管理 EMR (So Spark)，創建完整集群或向現有集群添加作業。 此外，使用同一個庫，您可以管理所有 AWS 服務。