如何使用 python 腳本執行多個 spark-submit 命令

Question

如何使用 python 腳本執行多個 spark-submit 命令。

前任：

spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar

spark-submit --class com.demo.DemoApplication3 --master local[2] Demo2.jar

spark-submit --class com.demo.DemoApplication3 --master local[2] Demo3.jar

Answer 1

您可以使用 os.system() 使用 python 運行命令，如下所示：

import os
os.system('command')

所以你可能可以像這樣使用它：

import os
os.system('spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar')
os.system('spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar')