Spark Jobserver高可用

Question

我有一個只有幾個節點的獨立Spark集群。 我能夠通過zookeeper獲得它的高可用性。 我正在使用Spark Jobserver spark-2.0-preview，並且已經使用可用的spark URL配置了jobserver env1.conf文件，如下所示：

spark://<master1>:<port>,<master2>:<port>

一切正常，因此，如果master1關閉，則作業服務器將連接到master2。

• 但是，如果安裝Jobserver的計算機崩潰了怎么辦？
• 有沒有辦法做像我對spark所做的事情？ 如果在2個服務器上有2個作業服務器實例，則機器和Zookeeper可以分開管理，如果其中一個失敗。
• 還是我需要自己處理這種情況？

Answer 1

我會選擇第三個解決方案。 我曾經使用過Spark Jobserver，不在HA中使用，但那時我正在尋找解決方案。 讓我給你我的意見：

• 如果Spark Jobserver僅部署在一台計算機上，則默認情況下這是故障點，以防計算機崩潰。
• Spark Jobserver不使用Zookeeper來進行節點協調（至少在我使用它的那一刻），而是使用Akka框架中實現的actor模型。
• 我認為最好的方法是自己處理。 這里的方法可能是：一種簡單的方法是在指向同一數據庫並在它們前面的代理的不同機器上啟動多個Spark Jobserer實例。 現在問題將轉移到數據庫服務器的HA（可能更容易解決）

我建議檢查Spark Jobserver github存儲庫，使他們對此進行討論。 （ https://github.com/spark-jobserver/spark-jobserver/issues/42 ）