並行運行Python Trainer腳本

Question

我有一個python3命令，它接受輸入

• trainer.py腳本文件名
• 日期
• 輸入數據文件
• 輸出參數文件

我想在10個（增量即+1 ）日期中調用此命令，從而產生10個輸出文件。 其他10個命令的其他2個輸入文件相同。 我想知道如何跨10個線程（Linux）並行調用這些命令。

Answer 1

選項1：在parallel工具中使用。

GNU parallel是一種Shell工具，用於使用一台或多台計算機並行執行作業。 作業可以是單個命令，也可以是必須為輸入中的每一行運行的小腳本。 典型的輸入是文件列表，主機列表，用戶列表，URL列表或表列表。 作業也可以是從管道讀取的命令。 然后，GNU parallel可以拆分輸入並將其並行化為命令。

選項2：手動管理作業要在后台運行作業，只需在命令末尾添加& 。

有用的命令：

jobs -r              # list of running
kill -SIGSTOP %N     # suspend job N
kill -SIGCONT %N     # resume job N

例：

$ sleep 30 & # <- run in background
$ sleep 60 & # <- run in background
$ sleep 60 & # <- run in background

# list of running jobs
$ jobs -r
[1]   Running                 sleep 30 &
[2]-  Running                 sleep 60 &
[3]+  Running                 sleep 40 &

# kill job [3]
$ kill %3

# list of jobs
$ jobs
[1]   Running                 sleep 30 &
[2]-  Running                 sleep 60 &
[3]+  Terminated              sleep 40