如何在計算機關閉的情況下在后台運行python的spark應用程序？

Question

添加部署模式時，我總是收到以下錯誤消息：

錯誤：獨立群集上的python應用程序當前不支持群集部署模式。

dse spark-submit --master spark://localhost:7077 \
  --deploy-mode cluster --executor-memory 4G --total-executor-cores 2 \
  --driver-memory 1G \
  --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1 \
   --jars /root/spark-streaming-kafka_2.10-1.4.1.jar \
   /root/pythonspark/com/spark/articles_axes.py weibo_article weibohao

Answer 1

例如，您可以使用在運行Spark master的同一台計算機上啟動的分離GNU Screen會話來提交應用程序：

screen -dmS spark dse spark-submit --master spark://localhost:7077 \
  --executor-memory 4G --total-executor-cores 2 \
  ...