如何在计算机关闭的情况下在后台运行python的spark应用程序？

Question

添加部署模式时，我总是收到以下错误消息：

错误：独立群集上的python应用程序当前不支持群集部署模式。

dse spark-submit --master spark://localhost:7077 \
  --deploy-mode cluster --executor-memory 4G --total-executor-cores 2 \
  --driver-memory 1G \
  --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1 \
   --jars /root/spark-streaming-kafka_2.10-1.4.1.jar \
   /root/pythonspark/com/spark/articles_axes.py weibo_article weibohao

Answer 1

例如，您可以使用在运行Spark master的同一台计算机上启动的分离GNU Screen会话来提交应用程序：

screen -dmS spark dse spark-submit --master spark://localhost:7077 \
  --executor-memory 4G --total-executor-cores 2 \
  ...