Spark 高可用性

Question

我在三個節點上使用 spark 1.2.1，這些節點運行三個具有從屬配置的工作程序並使用以下方法運行日常作業：

./spark-1.2.1/sbin/start-all.sh

//crontab configuration:
./spark-1.2.1/bin/spark-submit --master spark://11.11.11.11:7077 --driver-class-path home/ubuntu/spark-cassandra-connector-java-assembly-1.2.1-FAT.jar --class "$class" "$jar"

我想讓 spark master 和 slave workers 始終可用，即使它失敗了，我也需要像服務一樣重新啟動它（就像 cassandra 那樣）。

有什么辦法嗎？

編輯：

我查看了 start-all.sh 腳本，它只包含 start-master.sh 腳本和 start-slaves.sh 腳本的設置。 我試圖為它創建一個主管配置文件，但只得到以下錯誤：

11.11.11.11: ssh: connect to host 11.11.11.12 port 22: No route to host
11.11.11.13: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first.
11.11.11.11: ssh: connect to host 11.11.11.12 port 22: No route to host
11.11.11.12: ssh: connect to host 11.11.11.13 port 22: No route to host
11.11.11.11: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first.
11.11.11.12: ssh: connect to host 11.11.11.12 port 22: No route to host
11.11.11.13: ssh: connect to host 11.11.11.13 port 22: No route to host
11.11.11.11: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first.

Answer 1

有像 monit 和 supervisor（甚至 systemd）這樣的工具可以監控和重啟失敗的進程。