Shell腳本，並行和多線程？

Question

我有一個shell腳本，它實際上具有文件/文件夾位置以及運行javascript的命令。 我在具有8個處理器和每個處理器4個CPU內核的Linux集群上運行該作業。 我想在多個處理器上運行它，同時每個作業訪問多個線程以減少腳本的總運行時間。 我的問題是：這可能嗎？ 如果是，此命令或代碼段是什么？

Answer 1

您可能可以使用GNU parallel 。 例：

parallel "zcat {} | bzip2 >{.}.bz2 && rm {}" ::: *.gz

“這將使用bzip2重新壓縮當前目錄中所有名稱以.gz結尾的文件，每個CPU（-j + 0）並行運行一個作業。”

---

如果沒有並行處理，則可以通過以下兩種方式來滾動自己的協調器：

1. 使用make -j
2. 使用bash內置背景（ & ）

您可以使用ssh在遠程計算機上運行命令，也可以使用nfs或它的ilk進行網絡存儲。 無論您這樣做是什么，您都需要考慮如何划分您的工作，以便他們可以合作並根據需要合並結果。