HDinsight上運行的Spark中的故障恢復

Question

我正嘗試按照http://azure.microsoft.com/zh-cn/documentation/articles/hdinsight-hadoop-spark-install/中的步驟在Azure HDinsight上運行Apache Spark。

我想知道是否必須自己管理主/從故障恢復，否則HDinsight會照顧它。

Answer 1

我還在Azure HDInsight上的Spark Streaming應用程序上工作。 在Spark作業中，Spark和Yarn可以為Master和Slave提供一些容錯功能。

1. 但是有時，驅動程序和工作程序也會由於用戶代碼錯誤，引發內部問題以及Azure HDInsight問題而崩潰。 因此，我們需要進行自己的監視/守護進程 ，並保持恢復 。
2. 對於流方案，它甚至更難。 作為需要保持7 * 24運行的Spark Streaming Job，存在着一種擔憂，即如何在計算機重新啟動和重新映像時保持作業恢復。