Shell脚本，并行和多线程？

Question

我有一个shell脚本，它实际上具有文件/文件夹位置以及运行javascript的命令。 我在具有8个处理器和每个处理器4个CPU内核的Linux集群上运行该作业。 我想在多个处理器上运行它，同时每个作业访问多个线程以减少脚本的总运行时间。 我的问题是：这可能吗？ 如果是，此命令或代码段是什么？

Answer 1

您可能可以使用GNU parallel 。 例：

parallel "zcat {} | bzip2 >{.}.bz2 && rm {}" ::: *.gz

“这将使用bzip2重新压缩当前目录中所有名称以.gz结尾的文件，每个CPU（-j + 0）并行运行一个作业。”

---

如果没有并行处理，则可以通过以下两种方式来滚动自己的协调器：

1. 使用make -j
2. 使用bash内置背景（ & ）

您可以使用ssh在远程计算机上运行命令，也可以使用nfs或它的ilk进行网络存储。 无论您这样做是什么，您都需要考虑如何划分您的工作，以便他们可以合作并根据需要合并结果。