Apache Spark。 Spark客戶端的高可用性

Question

我正在努力尋找有關Spark應用程序客戶端的高可用性實踐的任何指南或手冊。 我可以通過ZooKeeper找到Spark master HA的建議，但這是不同的。

問題是，如果您運行連接到spark的應用程序的多個實例，則必須在所有實例之間分配可用的群集資源，這實在太過分了。

有什么需要的指南嗎？

Answer 1

這取決於您的母版設置。 如果您使用yarn-client，則高可用性是免費的或免費的。 如果您在yarn-client或本地模式下運行該設備，那么您的工作就完成了。 現在，實際上歸結為您要嘗試做的事情。 如果您想將計算資源與hadoop數據節點分開，我將研究mesos群集。 這是進行特定的/長期運行的工作的好方法，而又不會鎖定紗線資源。

您的數據源是什么，您要完成什么？