HDinsight上运行的Spark中的故障恢复

Question

我正尝试按照http://azure.microsoft.com/zh-cn/documentation/articles/hdinsight-hadoop-spark-install/中的步骤在Azure HDinsight上运行Apache Spark。

我想知道是否必须自己管理主/从故障恢复，否则HDinsight会照顾它。

Answer 1

我还在Azure HDInsight上的Spark Streaming应用程序上工作。 在Spark作业中，Spark和Yarn可以为Master和Slave提供一些容错功能。

1. 但是有时，驱动程序和工作程序也会由于用户代码错误，引发内部问题以及Azure HDInsight问题而崩溃。 因此，我们需要进行自己的监视/守护进程 ，并保持恢复 。
2. 对于流方案，它甚至更难。 作为需要保持7 * 24运行的Spark Streaming Job，存在着一种担忧，即如何在计算机重新启动和重新映像时保持作业恢复。