如何使用 python 脚本执行多个 spark-submit 命令

Question

如何使用 python 脚本执行多个 spark-submit 命令。

前任：

spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar

spark-submit --class com.demo.DemoApplication3 --master local[2] Demo2.jar

spark-submit --class com.demo.DemoApplication3 --master local[2] Demo3.jar

Answer 1

您可以使用 os.system() 使用 python 运行命令，如下所示：

import os
os.system('command')

所以你可能可以像这样使用它：

import os
os.system('spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar')
os.system('spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar')