在 HPC（分布式计算）上运行 Python

Question

如何让我的 python 代码以分布式方式在高性能计算 (HPC) 集群上运行？

（注意：我正在寻找一种替代方法来简化 Pyspark 作业，因为 python 代码在较小的数据集上运行平稳。我不想使用 Pyspark 在这种情况下，因为库中有我的代码依赖项。

请提出一些在分布式 HPC 上利用并行计算范式的有用方法。

Answer 1

这不是一个问题。

这是一个解决方案。

plotly.offline.plot(fig, filename='filepath.html')