如何遠程提交Spark作業

Question

我有未安裝spark的Node.js服務器，並且在其他服務器中使用YARN設置有spark。

要求是從Nodejs服務器遠程運行spark作業。 有人可以幫忙嗎？

感謝您的及時答復。

Answer 1

不可能遠程生成進程。 我建議您通過以下方式，

1. 在運行Node服務器的位置安裝spark，並將其用作客戶端以指向實際的spark集群。 您的節點服務器可以使用此客戶端在遠程集群上以客戶端模式觸發作業。
2. 您可以在spark集群上設置rest api，並讓您的節點服務器點擊該api的端點，這將觸發作業。

詳細說明以上答案，選項1涉及在兩個系統上都安裝了spark-一個帶有節點服務器和實際spark集群的系統。 節點服務器上的Spark充當主Spark集群的客戶端。 選項2專注於創建一個處理觸發器的rest API，這些觸發器直接在主集群上啟動spark作業，這節省了2次安裝。

希望這可以幫助。